Ronalds Vilciņš

Kas ir robots.txt un kā tas ietekmē SEO?

Robots izslēgšanas protokols (REP), ko parasti sauc vienkārši par robots.txt, ir tīmekļa standarts kopš 1994. gada un joprojām ir viens no svarīgākajiem rīkiem mājaslapu optimizācijā.

Šis vienkāršais, bet spēcīgais fails palīdz kontrolēt, kā meklētājprogrammas (piemēram, Google) un citi roboti mijiedarbojas ar jūsu mājaslapu.

Ņemot vērā nesenos atjauninājumus, ir svarīgi saprast labākos veidus, kā to izmantot šodien.

Kāpēc robots.txt ir nepieciešams?

Robots.txt ir instrukciju kopums tīmekļa rāpuļprogrammām (robotiem), kas tām norāda, ko tās drīkst un ko nedrīkst darīt jūsu mājaslapā. Tas palīdz saglabāt noteiktas mājaslapas daļas privātas vai izvairīties no tādu lapu pārmeklēšanas, kuras nav svarīgas.

Tādā veidā jūs varat uzlabot savu SEO (meklētājprogrammu optimizāciju) un nodrošināt, ka mājaslapa darbojas bez traucējumiem.

Robots.txt faila izveide

Robots.txt faila izveide ir vienkārša. Tas izmanto vienkāršas komandas, lai instruētu robotus.

Galvenās komandas ir:

  • User-agent — norāda, uz kuru robotu attiecas noteikums (piemēram, Googlebot vai visi roboti).
  • Disallow — norāda robotam, kur tas nedrīkst iet.

Šeit ir divi pamata piemēri, kas parāda, kā robots.txt kontrolē piekļuvi.

Piemērs atļauj visiem robotiem pārmeklēt visu mājaslapu:

User-agent: * Disallow:

Piemērs liek robotiem pārmeklēt visu mājaslapu, izņemot mapi “admin”:

User-agent: * Disallow: /admin/

Jūs varat arī norādīt konkrētiem robotiem nepārmeklēt mājaslapu:

User-agent: Googlebot  
Disallow: /

Šis piemērs instruē Googlebot nepārmeklēt nevienu mājaslpas daļu.

Aizstājējzīmju (Wildcards) izmantošana

Kā redzams piemēros, aizstājējzīmes (simbols *) ir noderīgas, lai veidotu elastīgus robots.txt failus. Tās ļauj piemērot noteikumus daudziem robotiem vai lapām, neuzskaitot katru atsevišķi.

Kontrole lapas līmenī

Ja vēlaties bloķēt tikai noteiktas lapas, nevis visu mapi, varat bloķēt konkrētus failus. Tas dod lielāku elastību un precizitāti.

Piemērs:

User-agent: * Disallow: /admin/fails1.html  
Disallow: /admin/fails2.html

Tiek ierobežotas tikai nevajadzīgās lapas, tādējādi jūsu saturs paliek redzams.

Komandu apvienošana

Agrāk bija pieejama tikai Disallow (aizliegt) direktīva. Nesenās izmaiņas ir ieviesušas Allow (atļaut) direktīvu, sniedzot mājaslapu īpašniekiem precīzāku kontroli.

Piemēram, jūs varat instruēt robotus pārmeklēt tikai mapi “svarigi” un neiet nekur citur:

User-agent: * Disallow: /  
Allow: /svarigi/

Ir iespējams arī kombinēt komandas, lai izveidotu sarežģītākus noteikumus. Jūs varat izmantot Allow kopā ar Disallow, lai precizētu piekļuvi.

Piemērs:

User-agent: * Disallow: /privats/  
Allow: /privats/publisks-fails.html

Tas ļauj saglabāt noteiktus failus pieejamus, vienlaikus aizsargājot pārējos mapē esošos failus.

Tā kā robots.txt noklusējuma iestatījums ir “atļaut visu”, parasti nav nepieciešams kombinēt Disallow un Allow. Visbiežāk labākais risinājums ir saglabāt vienkāršību.

Tomēr ir situācijas, kurās nepieciešama sarežģītāka konfigurācija.

Ja pārvaldāt mājaslapu, kas izmanto URL parametrus izvēlņu saitēs, lai izsekotu klikšķus, un jūs nevarat ieviest kanoniskos tagus, varat izmantot robots.txt, lai samazinātu dublēta satura problēmas.

Piemērs:

User-agent: * Disallow: /*?*

Vēl viens scenārijs ir gadījums, ja tehniskas kļūdas dēļ nejaušās mapēs parādās zemas kvalitātes URL adreses. Šādā gadījumā varat izmantot robots.txt, lai atspējotu visas mapes, izņemot tās, kurās ir vērtīgs saturs.

Piemērs:

User-agent: * Disallow: /  
Allow: /butisks-saturs/  
Allow: /vertigs-saturs-1/  
Allow: /vertigs-saturs-2/

Komentāri var būt noderīgs veids, kā paskaidrot informāciju cilvēkiem saprotamā veidā.

Komentāri sākas ar restītes simbolu (#).

Failos, kas tiek atjaunināti manuāli, iesaku pievienot datumu, kad fails tika izveidots vai atjaunināts. Tas var palīdzēt problēmu novēršanā, ja no rezerves kopijas nejauši tiek atjaunota vecāka versija.

Piemērs:

#robots.txt fails vietnei www.piemers.lv – atjaunots 22.03.2025  
User-agent: * #aizliedzam zemas vērtības saturu  
Disallow: /nevajadziga-mape/

Pārmeklēšanas ātruma pārvaldība

Pārmeklēšanas ātruma (crawl rate) pārvaldība ir svarīga, lai kontrolētu servera slodzi un nodrošinātu efektīvu indeksēšanu. Komanda Crawl-delay ļauj iestatīt aizkavēšanos starp robota pieprasījumiem.

Piemērs:

User-agent: * Crawl-delay: 10

Šajā piemērā jūs lūdzat robotiem gaidīt 10 sekundes starp pieprasījumiem, novēršot pārslodzi.

Jāatzīmē, ka mūsdienīgi roboti (kā Google) spēj paši sajust, kad tie pārslogo serveri, tāpēc Crawl-delay direktīva vairs nav tik nepieciešama kā agrāk.

XML mājaslapas kartes (Sitemap) saite

Lai gan Google un Bing dod priekšroku tam, lai mājaslapu īpašnieki iesniegtu savas XML mājaslapas kartes, izmantojot Google Search Console un Bing Webmaster Tools, joprojām ir pieņemts standarts pievienot saiti uz vietnes karti robots.txt faila apakšā.

Tas nav obligāti, bet nekaitē un var būt noderīgi.

Piemērs:

User-agent: * Disallow:  
Sitemap: https://www.mana-lapa.lv/sitemap.xml

Ja pievienojat saiti uz savu XML vietnes karti, pārliecinieties, ka URL adrese ir pilna (sākas ar https://).

Biežākās kļūdas ar robots.txt

1. Nepareiza sintakse

Pārliecinieties, ka komandas ir pareizi noformētas. Kļūdas var novest pie tā, ka roboti pārprot jūsu instrukcijas.

Pārbaudiet savu robots.txt failu, meklējot kļūdas Google Search Console, pārbaudes rīks atrodas sadaļā Settings (Iestatījumi).

2. Pārāk liela piekļuves ierobežošana

Pārāk daudzu lapu bloķēšana var kaitēt jūsu vietnes indeksēšanai.

Izmantojiet Disallow komandas gudri un domājiet par ietekmi uz redzamību meklēšanā.

Tas attiecas arī uz to robotu bloķēšanu, kas baro jaunos mākslīgā intelekta (AI) meklēšanas rīkus. Ja bloķēsiet šos robotus, jums nebūs iespējas parādīties atbildēs, ko ģenerē šie servisi.

3. Aizmirstam, ka roboti ne vienmēr ievēro protokolu

Ne visi roboti pakļaujas robots.txt izslēgšanas protokolam. Ja jums jābloķē roboti, kas “uzvedas” slikti, būs jāveic citi pasākumi, lai tos atturētu (piemēram, servera līmenī).

Ir svarīgi atcerēties: bloķēšana iekš robots.txt negarantē, ka informācija nenonāks Google indeksā.

Piemēram, Google īpaši brīdina, ka lapas, uz kurām ved saites no citām vietnēm, joprojām var parādīties meklēšanas rezultātos.

Ja vēlaties būt drošs, ka lapas nenonāk indeksā, izmantojiet “noindex” meta tagu.

4. AI robotiem nav vajadzīgas īpašas direktīvas

Izplatīts mīts optimizācijas pasaulē ir tāds, ka mākslīgā intelekta robotiem ir nepieciešamas savas Allow (atļaut) direktīvas. Tā nav.

Lielākā daļa AI rāpuļprogrammu seko REP standartam, tādēļ, ja jūsu robots.txt atļauj visiem robotiem piekļuvi, tie pārmeklēs vietni. Ja jūs aizliedzat piekļuvi visiem robotiem, tie to nepārmeklēs. Papildu instrukcijas nav nepieciešamas.