Ботовите за вештачка интелигенција ја голтаат„Википедија“ и ги отповаруваат серверите

Фондацијата „Викимедија“ објави дека агресивното преземање податоци од страна на вештачката интелигенција создава огромен притисок врз серверите на „Википедија“, зголемувајќи го интернет-сообраќајот за 50 отсто од јануари 2024 година.

Автоматизирани ботови кои бараат податоци за тренирање на јазични модели на вештачка интелигенција преземаат терабајти содржина, што значително го оптоварува серверскиот систем. Фондацијата не ја хостира само „Википедија“, туку и други платформи како „Викимедија комонс“, која нуди 144 милиони медиумски датотеки со отворена лиценца. Децении наназад оваа содржина служела како извор за резултати при интернет-пребарувања до училишни проекти. Но, од почетокот на 2024 година компаниите за вештачка интелигенција драстично го зголемија автоматизираното преземање податоци преку директни пребарувања и масовно преземање за да ги „нахранат“ своите сè погладни модели.

Овој проблем не е само теоретски. Фондацијата наведува дека кога поранешниот американски претседател Џими Картер почина во декември 2024 година, неговата википедија-страница имаше милиони посети. Но, вистинското оптоварување се случило кога корисниците истовремено почнале да стримуваат видеоснимка од 90 минути на дебата од 1980 година поставена на „Викимедија комонс“. Ненадејниот пораст го удвоил вообичаениот интернет-сообраќај на „Викимедија“, привремено преоптоварувајќи неколку нејзини интернет-врски. Инженерите на „Викимедија“ морале веднаш да го пренасочат сообраќајот за да го намалат задржувањето, но настанот открил подлабок проблем: основната пропусна моќ веќе била потрошена од ботови што преземаат медиуми во огромни размери.

Внатрешните податоци на „Викимедија“ откриваат зошто овој тип сообраќај е толку скап за отворените проекти. За разлика од луѓето, кои обично читаат популарни и често кеширани статии, ботовите пребаруваат скриени и ретко посетувани страници, со што ги принудуваат серверите директно да ги вчитуваат. Системите за кеширање, кои се дизајнирани според предвидливото човечко однесување, не функционираат кога ботовите ја читаат целата архива.

Како резултат на тоа, „Викимедија“ открила дека ботовите сочинуваат 65 отсто од најскапите барања кон основната инфраструктура, иако учествуваат со само 35 отсто од вкупниот број прегледи на страници.

Ситуацијата дополнително се влошува со тоа што многу од таканаречените ботови насочени кон вештачката интелигенција не ги почитуваат стандардните правила. Некои го игнорираат robots.txt фајлот, други лажно се претставуваат како обични корисници и слично.

Извор: Bug.hr
Фото: Freepik