Kako pripraviti robots.txt za WordPress
Kaj je robots.txt in zakaj je pomemben za SEO?
Robots.txt je datoteka, ki se nahaja na korenskem direktoriju spletne strani in vsebuje navodila za iskalnike o tem, katere dele spletne strani naj indeksirajo in katere naj prezrejo. Ta datoteka je ključnega pomena za optimizacijo spletnega mesta za iskalnike (SEO), saj omogoča lastnikom spletnih strani nadzor nad tem, kako njihova vsebina prikazuje v iskalnih rezultatih.
Robots.txt je pomemben za SEO, saj omogoča lastnikom spletnih strani, da določijo, katere strani naj iskalniki indeksirajo in katere naj prezrejo. To je še posebej pomembno, če imate na spletni strani vsebine, ki niso primerne za javno prikazovanje ali so že indeksirane na drugih spletnih mestih. S pravilno uporabo robots.txt lahko zagotovite, da se vaša spletna stran prikazuje v iskalnih rezultatih le s pomembno in relevantno vsebino, kar lahko izboljša vašo vidnost in poveča obiskanost.
Kako ustvariti robots.txt datoteko za WordPress spletno stran?
Ustvarjanje robots.txt datoteke za WordPress spletno stran je preprosto. Najprej morate odpreti besedilni urejevalnik in ustvariti novo datoteko z imenom “robots.txt”. Nato morate vsebino datoteke zapisati v skladu z navodili za iskalnike.
Na primer, če želite, da iskalniki indeksirajo celotno spletno stran, lahko v robots.txt datoteko vnesete naslednje:
User-agent: *
Allow: /To pomeni, da dovolite vsem iskalnikom, da indeksirajo vse strani na vaši spletni strani. Če pa želite, da iskalniki prezrejo določene dele spletne strani, lahko uporabite naslednjo kodo:
User-agent: *
Disallow: /mapa/V tem primeru bodo iskalniki prezrli vsebino, ki se nahaja v direktoriju “mapa”. To je lahko koristno, če imate na spletni strani vsebine, ki niso primerne za indeksiranje ali so že indeksirane na drugih spletnih mestih.
Kaj so posledice neoptimizirane robots.txt datotek?
Posledice neoptimizirane robots.txt datoteke so lahko precejšnje, saj lahko vplivajo na polnjenje iskalnikov in zmanjšajo vidnost spletne strani. Če robots.txt datoteka ni pravilno nastavljena, lahko to prepreči iskalnikom, da bi indeksirali vsebino na spletni strani, zmanjša njeno uvrstitev in zmanjša obiskovalce. To pomeni, da lahko določene vsebine ostanejo neodkrite in nevidne iskalnikom, kar lahko negativno vpliva na promet in prodajo.
Največkrat se posledice neoptimizirane robots.txt datoteke lahko hitro odkrijejo s uporabo Google Search Console, kjer lahko v Page indexing sekciji preverimo kaj točno je indexirano. Google Search Console je ena izmed najboljših orodij za pregledovanje robots.txt datotek. Omogoča uporabnikom, da preverijo kaj je indexirano v svoji spletni strani in v katerih delih, če pa to ni optimizirano, lahko hitro ugotovijo posledice. Uporabniki lahko pregledajo Page indexing sekcijo, da ugotovijo ali so bile vse strani spletnega mesta pravilno indexirane. Če strani niso bile indexirane, imamo na voljo pregled neindexiranih strani.
Največkrat povzroči neoptimiziran robots.txt napako “Discovered – currently not indexed”. Ta napaka pomeni, da je Google dobil informacije o straneh iz vira mape strani (angl. sitemap) ampak še ni utegnil poslati pajka, do posamezne vsebine.
Kaj omogočiti ali onemogočiti za WordPress v robots.txt?
Pri uporabi robots.txt za WordPress spletno stran je pomembno vedeti, kaj omogočiti ali onemogočiti. Na splošno je priporočljivo omogočiti indeksiranje vseh strani, ki vsebujejo pomembno in relevantno vsebino za vaše obiskovalce.
Vendar pa obstajajo nekatere strani ali dele spletne strani, ki jih morda želite izključiti iz indeksiranja. Na primer, strani za prijavo ali košarice v spletni trgovini, ki vsebujejo osebne podatke ali so namenjene samo registriranim uporabnikom. Kar se rado zgodi je to, da Google pajek pregleda tudi linkane stile in skripte, ki se najdejo v kodi vaše spletne strani. Za to je priporočljivo vse takšne direktorije onemogočiti z Disallow iz pregleda pajkov, da boste optimizirano porabili proračun Googlovih pajkov (angl. crawl budget).
Robots.txt lahko uporabite tudi, da izključite določene vrste datotek, kot so slike ali videoposnetki, ki jih ne želite, da se prikažejo v iskalnih rezultatih.
Čeprav je nastavitev robots.txt datoteke drugačna od strani do strani, pa je potrebno vedeti, da je boljše uporabit generalno osnovo, kot pa neoptimiziran robots.txt. Mi uporabljamo to osnovo:
User-agent: *
Allow: /
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /comments-feed/
Disallow: /blog/page/*
Disallow: /index.php?*
Disallow: */feed/
Sitemap: https://kreativna-agencija.com/sitemap.xmlKako preveriti in preizkusiti učinkovitost robots.txt datoteke?
Da bi preverili in preizkusili učinkovitost robots.txt datoteke, lahko uporabite orodja za preverjanje robots.txt, ki so na voljo na spletu. Ta orodja vam omogočajo, da preverite, ali je datoteka pravilno zapisana in ali iskalniki sledijo navodilom v datoteki.
Naše priljubljeno orodje za pregledovanje pravilnosti pajkanje je Google Search Console, ki vam omogoča, da preverite, katere strani je pajek obiskal in kdaj. To vam lahko pomaga ugotoviti, ali je robots.txt datoteka pravilno nastavljena.
Vendar pa je pomembno vedeti, da robots.txt datoteka ni popolna rešitev za nadzor nad indeksiranjem vaše spletne strani. Iskalniki lahko prezrejo navodila v datoteki, če menijo, da so v nasprotju z njihovimi smernicami ali če imajo dostop do drugih virov informacij o vaši spletni strani.
Priprava robots.txt datoteke za WordPress spletno stran je pomembna za optimizacijo spletnega mesta za iskalnike. Z ustrezno uporabo robots.txt lahko lastniki spletnih strani nadzorujejo, katere strani naj iskalniki indeksirajo in katere naj prezrejo. Pomembno je tudi vedeti, kaj omogočiti ali onemogočiti za WordPress v robots.txt ter preveriti in preizkusiti učinkovitost datoteke. S pravilno uporabo robots.txt lahko izboljšate vidnost in obiskanost svoje spletne strani ter zagotovite, da se prikazuje le pomembna in relevantna vsebina v iskalnih rezultatih.
