Utveckling av mjukvara med öppen källkod bygger på just öppenhet – att vem som helst kan komma åt koden, modifiera den och skicka in förslag på ändringar. Men den här modellen är utsatt för påfrestningar som kan leda till mindre öppenhet, rapporterar Ars Technica.
Hotet kommer från AI-bolagen och deras aggressiva botar som trålar nätet och suger i sig allt de hittar. Uppmaningar att lämna sajter ifred i robots.txt ignorerar de, och flera företag försöker dessutom dölja vad de håller på med genom att maskera spindlarna som vanliga webbläsare.
Öppen källkod är väldigt attraktivt för både träningen av nya AI-modeller och för AI-sökmotorer, och till skillnad från traditionella sökmotorer som Google, som indexerar en sajt en gång då och då, kommer AI-bolagens spindlar tillbaka ofta – ibland flera gånger om dagen.
För öppna källkod-projekt som drivs på egna Git-system och egna servrar kan all den här trafiken från botar leda till ohållbart höga kostnader, men också till att sajten ligger nere. KDE, en av de stora skrivbordsmiljöerna för Linux, drabbades till exempel av det när Alibabas botar överbelamrade servrarna.
Gnome-projektets Gitlab-system var också under belägring från AI-spindlar, och valde att införa ett system kallat Anubis, utvecklat av Xe Iaso, som innebär att webbläsare som besöker sajten måste utföra en rad beräkningar innan de släpps in. Det stoppar effektivt botarna, som inte är fullfjädrade webbläsare. När Gnome aktiverade Anubis föll trafiken till sajten med 96,8 procent.
Projektet Read the Docs noterade 75 procent lägre trafik efter att ha blockerat botar med ny teknik, och sänkte därmed serverkostnaderna med 15 000 kronor i månaden.
