Discourage search engines from indexing this site – Ne koristiti za blokiranje crawlovanja i indeksiranja sajta.
Ako čekirate ovu opciju u WordPress-u ne znači da će se 100% blokirati indeksiranje i crawlovanje. Čak ispod ove opcije stoji natpis:
| It is up to search engines to honor this request. |
Ono što treba uraditi kada želimo da zaustavimo indeksiranje i crawlovanje je dodavanje koda ispod u head na svim stranicama sajta.
Ako ipak želimo da blokiramo crawl na samo jednoj strani koju testiramo na live serveru, onda se vrši umetanje koda u head samo te strane. Tose radi tako što se postavi robots meta tag unutar head sekcije samo te strane:
Kako izgleda taj meta tag?
Evo ga: <meta name=”robots” content=”noindex, nofollow”>
Pošto je često potrebno da se omogući crawlovanje strane (ili sajta), onda je potrebno da deo “nofollow” postane “follow”, te tag izgleda ovako:
<meta name=”robots” content=”noindex, follow”>
