Softverskom razvojnom programeru Xeu Iasu prekipjelo je kad je nedavno agresivan promet Amazonovog alata za indeksiranje s umjetnom inteligencijom preplavio njegovu uslugu Git repozitorija, opetovano uzrokujući nestabilnost i zastoje.

Poduzeo je standardne mjere obrane, ali umjetna inteligencija ih je zaobišla, koristeći pritom razne trikove (uključujući lažno predstavljanje). Na kraju je postavio virtualnu privatnu mrežu (VPN) i stvorio Anubis, sustav koji web preglednike tjera na rješavanje računarskih zagonetki prije nego što pristupe stranici.

Iako se Anubis pokazao učinkovitim u filtriranju bot prometa, dolazi s nedostacima za legitimne korisnike. Kada puno ljudi istovremeno pristupa istoj vezi - kao što je GitLab veza koja se dijeli u sobi za razgovor - posjetitelji stranice mogu se suočiti sa značajnim kašnjenjima.

Ogroman porast troškova

Iasova priča ogledni je primjer krize koja se brzo širi zajednicom otvorenog izvornog računarskog koda. Agresivni alati za indeksiranje s umjetnom inteligencijom sve više preopterećuje njihovu infrastrukturu, uzrokujući de facto stalne distribuirane napade uskraćivanja usluge (DDoS) za vitalne javne resurse.

Prema izvještaju LibreNewsa, čak 97 posto prometa pojedinih projekata otvorenog koda sad dolazi od robota s umjetnom inteligencijom, što dramatično povećava troškove i ugrožava stabilnost usluge. Problem je uočen još u prosincu 2023. godine, nakon što je otkriveno da AI čini 70 posto svih web zahtjeva za pojedine usluge online.

Zajednica kipi nezadovoljstvom zbog bahatog ponašanja velikih tvrtki koje se bave umjetnom inteligencijom. Troškovi su tehnički i financijski, što je težak izazov za projekte otvorenog koda jer imaju znatno manje budžete nego tvrtke i komercijalni projekti.

Blokiranje takvih alata u pojedinim slučajevima donijelo je značajne uštede zbog manjeg internetskog prometa.

Tvrtke koje razvijaju alate umjetne inteligencije poznate su po tome što uzimaju tuđe bez pitanja. Dosad su to činile s podacima i kreativnim sadržajima. Sad su počele pritiskati i resurse.

Neki možda prikupljaju podatke o obuci kako bi izgradili ili poboljšali velike jezične modele dok bi drugi mogli izvršavati pretraživanja u stvarnom vremenu, kada korisnici od pomoćnika temeljenog na umjetnoj inteligenciji traže informacije.

Ti alati ne indeksiraju samo jednu stranicu i onda idu dalje, već se vraćaju svakih šest sati. Ovaj obrazac sugerira kontinuirano prikupljanje podataka, a ne jednokratne vježbe obuke. Iako su svi u pravilu natprosječno agresivni, OpenAI i Anthropic barem teoretski omogućavaju blokiranje njihovih agenata.

Agresivna obrana

Kao odgovor na ove napade pojavili su se novi obrambeni alati.

Programer poznat tek kao Aaron osmislio je alat Nepenthes za zarobljavanje pretraživača u beskrajnim labirintima lažnog sadržaja. Opisuje ga kao "agresivan zlonamjerni softver", stvoren kako bi namjerno trošio resurse tvrtki koje se bave umjetnom inteligencijom i potencijalno kontaminirao njihove podatke o obuci.

Cloudflare je najavio sličan alat AI Labyrinth, a koji preusmjerava promet na stranice generirane umjetnom inteligencijom.

Zajednica također razvija alate za suradnju da bi se zaštitila od ovih pretraživača.

Projekt ai.robots.txt nudi otvoreni popis web indeksiranja i pruža unaprijed pripremljene datoteke robots.txt koje implementiraju Robots Exclusion Protocol, kao i datoteke .htaccess, a one vraćaju stranice s pogreškama prilikom otkrivanja zahtjeva za indeksiranje, piše Ars Technica.