Ronalds Vilciņš

Kā pasargāt savu saturu no AI robotiem?

Mūsdienās mājaslapas apmeklē vairāk AI robotu jeb “crawlers” nekā jebkad agrāk. Daži no tiem ir labi - tie palīdz Google un citiem meklētājiem indeksēt tavu saturu. Tomēr citi roboti var to nelikumīgi kopēt vai vākt datus bez tavas atļaujas. Bloķējot šos robotus, tu vari saglabāt kontroli pār savu saturu un tā izmantošanu.

Kāpēc AI roboti rada problēmas? #

1. Saturs bez atsauces #

Daži lielo valodu modeļi (LLM) un čatboti var pārstāstīt tavu saturu, neatsaucoties uz avotu. Cilvēki iegūst tavu ideju un informāciju, bet tu neiegūsti nekādu atzinību par savu darbu. Lai gan labs saturs joprojām ir svarīgs un meklētāji to novērtē, tu neiegūsti atzinību, kas pienākas.

2. Datu un autortiesību zādzība #

Ziņu portāli un e-komercijas vietnes jau ir saskārušies ar šo problēmu. Vairāk nekā 55% ziņu vietņu jau bloķē AI robotus, baidoties no satura zādzības un sagrozīšanas. Tie paši principi attiecas uz e-veikaliem - ja AI roboti nokopē unikālus produktu aprakstus, konkurenti var gūt negodīgu priekšrocību, izmantojot tavu darbu.

3. Servera resursu izšķērdēšana #

Daži roboti var pārmērīgi noslogot tavu serveri, apmeklējot un skenējot lapas lielā apjomā, kas var samazināt mājaslapas veiktspēju citiem apmeklētājiem.

Cloudflare pret Perplexity #

Nesen notikušais konflikts starp Cloudflare un AI uzņēmumu Perplexity izgaismoja jaunas metodes, ko daži roboti izmanto, lai apietu mājaslapu aizsardzību. Cloudflare publicēja pētījumu, kurā apgalvoja, ka Perplexity roboti:

  • Slēpa savu identitāti – pārveidojot “user agent” datus.
  • Mainīja IP adreses, lai apgrūtinātu to izsekošanu.
  • Ignorēja robots.txt failu, kas skaidri norāda, ka noteiktam saturam nedrīkst piekļūt.

Atšķirībā no citiem AI robotiem, piemēram, ChatGPT, kas ievēro mājaslapu norādījumus, Perplexity, iespējams, izmantoja “slepenas” metodes, lai iegūtu saturu, ko mājaslapas vēlējās pasargāt. Reaģējot uz to, Cloudflare no savu uzticamo botu saraksta izslēdza Perplexity un ieviesa jaunas aizsardzības metodes.

Kā bloķēt nevēlamos AI robotus? #

Ir vairākas metodes, kā pasargāt savu mājaslpau no nevēlamiem AI robotiem. Katra metode darbojas savādāk, un labākos rezultātus sniedz to kombinācija.

1. Izmantojot robots.txt failu #

robots.txt fails ir vienkāršākais un populārākais veids, kā norādīt robotu dzinējiem, kādas mājaslapas daļas tie drīkst vai nedrīkst apmeklēt. Tomēr jāatceras, ka tas ir tikai lūgums, nevis obligāta prasība. Ļaunprātīgi roboti šīs norādes parasti ignorē.

Lai bloķētu visus robotus, kas atsaucas uz konkrētu “User-agent”:

User-agent: GPTBot
Disallow: /

Šis piemērs liek GPTBot (ChatGPT izmantotajam robotam) neindeksēt nevienu vietnes sadaļu.

Lai bloķētu vairākus robotus vienlaikus:

User-agent: GPTBot
User-agent: CCBot
Disallow: /

Šeit jūs varat pievienot visus AI robotu nosaukumus, kurus vēlaties bloķēt.

2. Izmantojot Cloudflare #

Cloudflare ir viens no efektīvākajiem veidiem, kā kontrolēt robotu piekļuvi, jo tas darbojas kā starpnieks starp jūsu serveri un apmeklētāju. Ar Cloudflare jūs varat izveidot ugunsmūra noteikumus (Firewall Rules), kas bloķē noteiktus robotus vai to aktivitātes, pirms tie sasniedz jūsu serveri.

  1. Ieiet Cloudflare panelī: Dodieties uz “Firewall” sadaļu un izvēlieties “Firewall Rules”.
  2. Izveidot jaunu noteikumu: Spiediet “Create a new rule”.
  3. Definēt noteikumu:
    • Field (Lauks): Izvēlieties “User Agent”.
    • Operator (Operators): Izvēlieties “contains” vai “equals”.
    • Value (Vērtība): Ievadiet robota nosaukumu, piemēram, “GPTBot” vai “CCBot”.
  4. Izvēlēties darbību: Izvēlieties “Block” (Bloķēt) vai “Challenge” (Izaicināt). Izaicināšana parasti parāda CAPTCHA, lai pārbaudītu, vai apmeklētājs ir cilvēks.

Cloudflare ļauj jums arī redzēt, kuri roboti apmeklē jūsu mājaslapu, un automātiski bloķēt zināmus ļaunprātīgos botus, izmantojot tās “Super Bot Fight Mode” funkciju.

3. Servera līmeņa aizsardzība ( .htaccess fails) #

Ja jūsu mājaslapa izmanto Apache serveri, varat izmantot .htaccess failu, lai bloķētu robotus, pamatojoties uz to “User-agent”. Šī metode ir jaudīgāka par robots.txt, jo tā liedz robotam piekļūt mājaslapai vispār.

Lai bloķētu konkrētu robotu:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} "GPTBot" [NC]
RewriteRule ^ - [F]
</IfModule>

Šis noteikums atsakās apkalpot (F - Forbidden) jebkuru pieprasījumu, kas nāk no GPTBot. Šo kodu var ievietot .htaccess failā, kas atrodas jūsu mājaslapas saknes (root) direktorijā. Varat pievienot vairākas rindas, lai bloķētu dažādus robotus.

Kā rīkoties? #

Nebloķē visus robotus. Bloķē tikai tos, kas nodara kaitējumu. Sadarbojoties ar pareizajiem AI, tu vari gūt labumu no jaunām iespējām, vienlaikus saglabājot kontroli pār savu saturu.