AI Web Crawling Bots adalah kecoak internet, banyak pengembang perangkat lunak percaya. Beberapa dev telah mulai melawan dengan cara yang cerdik, seringkali lucu.
Sementara situs web mana pun mungkin ditargetkan oleh perilaku crawler yang buruk – Terkadang mencatat situs – Pengembang open source “terpengaruh secara tidak proporsional”, menulis Niccolò Venerandi, pengembang desktop Linux yang dikenal sebagai plasma dan pemilik blog pustakawan.
Pada dasarnya, situs -situs yang menampung proyek -proyek bebas dan open source (FOSS) berbagi lebih banyak infrastruktur mereka di depan umum, dan mereka juga cenderung memiliki sumber daya yang lebih sedikit daripada produk komersial.
Masalahnya adalah bahwa banyak bot AI tidak menghormati file robot robot.txt robot robot, alat yang memberi tahu bot apa yang tidak dirayapi, yang awalnya dibuat untuk bot mesin pencari.
Dalam “menangis untuk meminta bantuan” Posting Blog Pada bulan Januari, pengembang FOSS XE IASO menggambarkan bagaimana AmazonBot tanpa henti ditumbuk di situs web server git ke titik menyebabkan pemadaman DDOS. Server Git menampung proyek FOSS sehingga siapa pun yang ingin dapat mengunduh kode atau berkontribusi padanya.
Tapi bot ini mengabaikan robot.txt Laso, bersembunyi di balik alamat IP lainnya, dan berpura -pura menjadi pengguna lain, kata Laso.
“Sia -sia untuk memblokir bot crawler AI karena mereka berbohong, mengubah agen pengguna mereka, menggunakan alamat IP perumahan sebagai proksi, dan banyak lagi,” keluh Laso.
“Mereka akan mengikis situs Anda sampai jatuh, dan kemudian mereka akan mengikisnya lagi. Mereka akan mengklik setiap tautan pada setiap tautan di setiap tautan, melihat halaman yang sama berulang -ulang. Beberapa dari mereka bahkan akan mengklik tautan yang sama beberapa kali dalam detik yang sama,” tulis pengembang di pos.
Masukkan Dewa Graves
Jadi IASO melawan dengan kepintaran, membangun alat bernama Anubis.
Anubis adalah Pemeriksaan Bukti Kerja Proxy Terbalik Itu harus diteruskan sebelum permintaan diizinkan untuk menekan server git. Ini menghalangi bot tetapi memungkinkan melalui browser yang dioperasikan oleh manusia.
Bagian yang lucu: Anubis adalah nama dewa dalam mitologi Mesir yang menuntun orang mati untuk menghakimi.
“Anubis menimbang jiwamu (hati) dan jika itu lebih berat dari bulu, hatimu dimakan dan kamu, seperti, Mega mati,” kata Iaso kepada TechCrunch. Jika permintaan web memberikan tantangan dan bertekad menjadi manusia, gambar anime yang lucu mengumumkan kesuksesan. Gambarnya adalah “pendapat saya tentang anubis antropomorfisasi,” kata IASO. Jika itu bot, permintaan ditolak.
Proyek bernama masak telah menyebar seperti angin di antara komunitas Foss. Laso membagikannya di github Pada 19 Maret, dan hanya dalam beberapa hari, ia mengumpulkan 2.000 bintang, 20 kontributor, dan 39 garpu.
Pembalasan sebagai Pertahanan
Popularitas instan Anubis menunjukkan bahwa rasa sakit IASO tidak unik. Faktanya, Venerandi berbagi cerita demi cerita:
- CEO Pendiri SourceHut Drew Devault dijelaskan Menghabiskan “dari 20-100% dari waktu saya dalam minggu tertentu meringankan perayap LLM yang sangat agresif dalam skala,” dan “mengalami lusinan pemadaman singkat per minggu.”
- Jonathan Corbet, seorang pengembang foss terkenal yang mengelola situs berita industri Linux LWN, memperingatkan bahwa situsnya adalah diperlambat oleh lalu lintas tingkat DDOS “Dari AI Scraper Bots.”
- Kevin Fenzi, Sysadmin dari Proyek Linux Fedora yang sangat besar, kata bot pengikis ai Telah menjadi sangat agresif, ia harus memblokir seluruh negara Brasil dari akses.
Venerandi memberi tahu TechCrunch bahwa dia tahu beberapa proyek lain yang mengalami masalah yang sama. Salah satunya “harus sementara waktu melarang semua alamat IP Cina pada satu titik.”
Biarkan itu meresap sejenak – bahwa pengembang “bahkan harus beralih ke melarang seluruh negara” hanya untuk menangkis bot AI yang mengabaikan file robot.txt, kata Venerandi.
Selain menimbang jiwa pemohon web, para pengembang lain percaya pembalasan adalah pertahanan terbaik.
Beberapa hari yang lalu di Berita peretaspengguna xyzal ROBOT LOADING yang disarankan.txt halaman terlarang dengan “beban ember artikel tentang manfaat minum pemutih” atau “artikel tentang efek positif menangkap campak pada kinerja di tempat tidur.”
“Pikirkan kita perlu membidik bot untuk mendapatkan nilai utilitas _negative_ dari mengunjungi perangkap kita, bukan hanya nilai nol,” jelas Xyzal.
Seperti yang terjadi, pada bulan Januari, seorang pencipta anonim yang dikenal sebagai “Aaron” merilis alat bernama Sesuatu yg memberi ketenangan Itu bertujuan untuk melakukan hal itu. Itu menjebak perayap di labirin tanpa akhir dari konten palsu, tujuan yang diakui dev ARS Technica agresif jika tidak benar -benar jahat. Alat ini dinamai tanaman karnivora.
Dan Cloudflare, mungkin pemain komersial terbesar yang menawarkan beberapa alat untuk menangkis AI Crawlers, pekan lalu merilis alat serupa yang disebut AI Labyrinth.
Ini dimaksudkan untuk “memperlambat, membingungkan, dan menyia -nyiakan sumber daya crawler AI dan bot lain yang tidak menghormati arahan ‘tidak merangkak’,” yang dijelaskan Cloudflare di posting blognya. Cloudflare mengatakan itu memberi makan perayap yang berperilaku buruk “konten yang tidak relevan daripada mengekstraksi data situs web Anda yang sah.”
Devault SourceHut mengatakan kepada TechCrunch bahwa “Nepenthes memiliki rasa keadilan yang memuaskan untuk itu, karena memberi makan omong kosong bagi para perayap dan meracuni sumur mereka, tetapi pada akhirnya Anubis adalah solusi yang berhasil” untuk situsnya.
Tetapi Devault juga mengeluarkan permohonan publik yang menyentuh hati untuk perbaikan yang lebih langsung: “Harap berhenti melegitimasi LLM atau generator gambar AI atau kopilot github atau tempat sampah ini. Saya memohon Anda untuk berhenti menggunakannya, berhenti membicarakannya, berhenti membuat yang baru, berhenti saja.”
Karena kemungkinan itu adalah zilch, pengembang, khususnya di Foss, melawan dengan kepintaran dan sentuhan humor.
ADVERTISEMENT:
Hai, sobat pengemar slots pernahkah denger istilah “slot demo”? jika belum, bersiaplah jatuh cinta sama program ini. slot demo adalah mesin slot yang selalu memberi kemenangan. Yup, mesin-mesin ini bisa dibilang sebagai jagoannya tuk bawa come back hasil. tapi, gimana sih
tekniknya nemuin slot gaco yang tepat? Tenang Bro, kita bahas tenang saja di sini
Gaming terbaik waktu sekarang hanya satu berada Indonesia hanya di yang menyediakan return terbesar
Daftarkanlah hanya di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
adipatislot88 permainan paling top dan garansi imbal balik hasil besar bersama adipatislot88.org
akartoto88 permainan paling top dan garansi imbal balik hasil besar bersama akartoto88.biz
allototo88 permainan paling top dan garansi imbal balik hasil besar bersama allototo88.com
alototo88 permainan paling top dan garansi imbal balik hasil besar bersama alototo88.com
an77 permainan paling top dan garansi imbal balik hasil besar bersama an77.biz
an88 permainan paling top dan garansi imbal balik hasil besar bersama an88.net
grandhyatt88 permainan paling top dan garansi imbal balik hasil besar bersama grandhyatt88.com
awan88 permainan paling top dan garansi imbal balik hasil besar bersama awan88.org
banteng88 permainan paling top dan garansi imbal balik hasil besar bersama banteng88.biz
banteng96 permainan paling top dan garansi imbal balik hasil besar bersama banteng96.com
bibir66 permainan paling top dan garansi imbal balik hasil besar bersama bibir66.com
bibir88 permainan paling top dan garansi imbal balik hasil besar bersama bibir88.biz
bocor888 permainan paling top dan garansi imbal balik hasil besar bersama bocor888.biz
boswin888 permainan paling top dan garansi imbal balik hasil besar bersama boswin888.asia
canda88 permainan paling top dan garansi imbal balik hasil besar bersama canda88.org
candatoto permainan paling top dan garansi imbal balik hasil besar bersama candatoto.net
cinta888 permainan paling top dan garansi imbal balik hasil besar bersama cinta888.biz
dalang88 permainan paling top dan garansi imbal balik hasil besar bersama dalang88.info
dalang96 permainan paling top dan garansi imbal balik hasil besar bersama dalang96.org
dinojp88 permainan paling top dan garansi imbal balik hasil besar bersama dinojp88.com
dragon22 permainan paling top dan garansi imbal balik hasil besar bersama dragon22.asia
eyangslot88 permainan paling top dan garansi imbal balik hasil besar bersama eyangslot88.biz
f77bet permainan paling top dan garansi imbal balik hasil besar bersama f77bet.net
f88bet permainan paling top dan garansi imbal balik hasil besar bersama f88bet.asia
haha88 permainan paling top dan garansi imbal balik hasil besar bersama haha88.asia
heroslot888 permainan paling top dan garansi imbal balik hasil besar bersama heroslot888.info
hiwin88 permainan paling top dan garansi imbal balik hasil besar bersama hiwin88.org
hoki222 permainan paling top dan garansi imbal balik hasil besar bersama hoki222.biz
hot99 permainan paling top dan garansi imbal balik hasil besar bersama hot99.info
hotliga88 permainan paling top dan garansi imbal balik hasil besar bersama hotliga88.com
hut88 permainan paling top dan garansi imbal balik hasil besar bersama hut88.info
inajp88 permainan paling top dan garansi imbal balik hasil besar bersama inajp88.net
istanaslot88 permainan paling top dan garansi imbal balik hasil besar bersama istanaslot88.biz
jawatogel88 permainan paling top dan garansi imbal balik hasil besar bersama jawatogel88.com
jayatogel88 permainan paling top dan garansi imbal balik hasil besar bersama jayatogel88.info
jengkol88 permainan paling top dan garansi imbal balik hasil besar bersama jengkol88.info
jeniustoto88 permainan paling top dan garansi imbal balik hasil besar bersama jeniustoto88.org
kakakslot888 permainan paling top dan garansi imbal balik hasil besar bersama kakakslot888.net
kakaslot88 permainan paling top dan garansi imbal balik hasil besar bersama kakaslot88.biz
keltoto88 permainan paling top dan garansi imbal balik hasil besar bersama keltoto88.com
kera33 permainan paling top dan garansi imbal balik hasil besar bersama kera33.com
kera88 permainan paling top dan garansi imbal balik hasil besar bersama kera88.biz
keraktelor permainan paling top dan garansi imbal balik hasil besar bersama keraktelor.org
kuliner88 permainan paling top dan garansi imbal balik hasil besar bersama kuliner88.org
lengkatoto88 permainan paling top dan garansi imbal balik hasil besar bersama lengkatoto88.com
lexitoto88 permainan paling top dan garansi imbal balik hasil besar bersama lexitoto88.net
mahkotajitu88 permainan paling top dan garansi imbal balik hasil besar bersama mahkotajitu88.com
maincuan88 permainan paling top dan garansi imbal balik hasil besar bersama maincuan88.com
menangbet88 permainan paling top dan garansi imbal balik hasil besar bersama menangbet88.asia
menutogel88 permainan paling top dan garansi imbal balik hasil besar bersama menutogel88.com
merdeka88 permainan paling top dan garansi imbal balik hasil besar bersama merdeka88.biz
merdekatoto88 permainan paling top dan garansi imbal balik hasil besar bersama merdekatoto88.info
metrototo permainan paling top dan garansi imbal balik hasil besar bersama metrototo.biz
miegacoan permainan paling top dan garansi imbal balik hasil besar bersama miegacoan.biz
ml88 permainan paling top dan garansi imbal balik hasil besar bersama ml88.net
monas777 permainan paling top dan garansi imbal balik hasil besar bersama monas777.info
monas88 permainan paling top dan garansi imbal balik hasil besar bersama monas88.biz
moris88 permainan paling top dan garansi imbal balik hasil besar bersama moris88.org
nastartoto88 permainan paling top dan garansi imbal balik hasil besar bersama nastartoto88.com
newslot888 permainan paling top dan garansi imbal balik hasil besar bersama newslot888.biz
ngopibet88 permainan paling top dan garansi imbal balik hasil besar bersama ngopibet88.org
omset88 permainan paling top dan garansi imbal balik hasil besar bersama omset88.com
pajaktoto88 permainan paling top dan garansi imbal balik hasil besar bersama pajaktoto88.biz
pc77 permainan paling top dan garansi imbal balik hasil besar bersama pc77.net
pc88 permainan paling top dan garansi imbal balik hasil besar bersama pc88.biz
pin88 permainan paling top dan garansi imbal balik hasil besar bersama pin88.asia
pintoto permainan paling top dan garansi imbal balik hasil besar bersama pintoto.info
pmg888 permainan paling top dan garansi imbal balik hasil besar bersama pmg888.biz
pohon88 permainan paling top dan garansi imbal balik hasil besar bersama pohon88.biz
pulsa77 permainan paling top dan garansi imbal balik hasil besar bersama pulsa77.biz
pulsa88 permainan paling top dan garansi imbal balik hasil besar bersama pulsa88.biz
puma888 permainan paling top dan garansi imbal balik hasil besar bersama puma888.info
pusakajitu88 permainan paling top dan garansi imbal balik hasil besar bersama pusakajitu88.com
qqhok88 permainan paling top dan garansi imbal balik hasil besar bersama qqhok88.org
rapi88 permainan paling top dan garansi imbal balik hasil besar bersama rapi88.info
rt88 permainan paling top dan garansi imbal balik hasil besar bersama rt88.info
rupiahtoto88 permainan paling top dan garansi imbal balik hasil besar bersama rupiahtoto88.asia
s88bet permainan paling top dan garansi imbal balik hasil besar bersama s88bet.org
serba88 permainan paling top dan garansi imbal balik hasil besar bersama serba88.biz
sibukslot88 permainan paling top dan garansi imbal balik hasil besar bersama sibukslot88.com
sinardunia888 permainan paling top dan garansi imbal balik hasil besar bersama sinardunia888.com
sinartogel88 permainan paling top dan garansi imbal balik hasil besar bersama sinartogel88.biz
sloki888 permainan paling top dan garansi imbal balik hasil besar bersama sloki888.info
slotplay88 permainan paling top dan garansi imbal balik hasil besar bersama slotplay88.biz
sp77 permainan paling top dan garansi imbal balik hasil besar bersama sp77.biz
sp88 permainan paling top dan garansi imbal balik hasil besar bersama sp88.org
sparta888 permainan paling top dan garansi imbal balik hasil besar bersama sparta888.co
sukaslot888 permainan paling top dan garansi imbal balik hasil besar bersama sukaslot888.info
sule999 permainan paling top dan garansi imbal balik hasil besar bersama sule999.net
sultanjp88 permainan paling top dan garansi imbal balik hasil besar bersama sultanjp88.com
teluk88 permainan paling top dan garansi imbal balik hasil besar bersama teluk88.biz
teluk88 permainan paling top dan garansi imbal balik hasil besar bersama teluk88.info
tikitoto88 permainan paling top dan garansi imbal balik hasil besar bersama tikitoto88.org
togelsumo88 permainan paling top dan garansi imbal balik hasil besar bersama togelsumo88.com
ultra77 permainan paling top dan garansi imbal balik hasil besar bersama ultra77.biz
userslot88 permainan paling top dan garansi imbal balik hasil besar bersama userslot88.biz
uya88 permainan paling top dan garansi imbal balik hasil besar bersama uya88.biz
uyatoto permainan paling top dan garansi imbal balik hasil besar bersama uyatoto.com
vegasslot777 permainan paling top dan garansi imbal balik hasil besar bersama vegasslot777.asia
vegasslot88 permainan paling top dan garansi imbal balik hasil besar bersama vegasslot88.asia
wajik88 permainan paling top dan garansi imbal balik hasil besar bersama wajik88.asia
