Jak zabezpieczyć stronę przed indeksowaniem, czyli noindex i nofollow

Indeksowanie strony www przez wyszukiwarki internetowej jest, ogólnie rzecz biorąc, pozytywnym zjawiskiem. W wyniku tego działania Twoja witryna może być lepiej widoczna w wynikach wyszukiwania, co automatycznie przekłada się na zwiększony ruch na stronie. Są jednak takie sytuacje, kiedy indeksowanie się nie przydaje i dziś o nich opowiemy. Wspomnimy też tagach noindex i nofollow oraz ich zastosowaniu. Zostań z nami!

Czym jest indeksowanie stron internetowych?

Indeksowanie stron internetowych jest procesem, w którym roboty wyszukiwarek (znane również jako „web crawlers” lub „web spiders„) przeglądają i analizują zawartość stron internetowych, aby zrozumieć ich treść, strukturę i kontekst. Zakaz indeksowania strony internetowej, kolokwialnie mówiąc, „utrudnia” takim robotom pracę. To nic innego jak plik tekstowy o nazwie robots.txt umieszczany na serwerze witryny, zawierający wytyczne dla robotów mówiące o tym, które części strony internetowej powinny być indeksowane, a które powinny zostać pominięte. Sprawdź nasz poradnik Jak blokować boty SEO na stronie? Robots.txt.

Kiedy zakaz indeksowania strony internetowej ma sens?

Głównym celem zakazu indeksowania jest kontrola dostępu robotów wyszukiwarek do określonych części witryny, co pozwala Tobie, jako właścicielowi strony www, zdecydować, które podstrony mają być uwzględnione w wynikach wyszukiwania, a które nie. Kiedy szczególnie warto wdrożyć zakaz indeksowania?

• Kiedy Twoja strona internetowa jest w trakcie budowy, lub gdy pracujesz nad jej aktualizacją – dzięki temu w wynikach wyszukiwania nie będą pojawiały się błędne informacje lub niedokończone treści.
• Jeśli prowadzisz stronę internetową z płatną zawartością – zakaz indeksowania pomoże Ci „ukryć” treści premium, dzięki czemu przeciętny Internauta nie będzie miał do nich dostępu.
• Jeśli posiadasz jedną witrynę w kilku różnych wersjach językowych – zakaz indeksowania pomoże Ci uniknąć „kar” za duplikację treści.
• Jeśli nie chcesz, by konkretna podstrona na Twojej witrynie wyświetlała się w wynikach wyszukiwania (np. regulamin sklepu internetowego).
• Jeśli prowadzisz stronę internetową związaną z sezonowymi wydarzeniami lub organizujesz promocje na wybrane produkty/usługi, która jest mocno ograniczona czasowo.
• Jeśli posiadasz duplikat serwisu, wersję rozwojową dev, na której testujesz rozwiązania i aktualizacje

Jak widzisz, zakaz indeksowania strony internetowej może być naprawdę przydatny. Pamiętaj jednak o tym, że nie jest to niezawodne narzędzie. Zaawansowane roboty wyszukiwarek internetowych mogą zignorować Twoje wytyczne dotyczące wyświetleń. Dlatego też warto zastosować np. dodatkowe zabezpieczenia serwerowe jak np. ustawienie hasła.

Prosty sposób na nieindeksowanie wybranych podstron witryny – tagi noindex i nofollow

Stosowanie tagów noindex i nofollow pozwoli Ci szybko wykluczyć wybraną podstronę www z wyników wyszukiwania. Choć wymienione wyżej tagi wyglądają podobnie, mają odmienne funkcje. Jeżeli strona internetowa posiada w nagłówku tag noindex, daje tym samym robotom indeksującym informację, aby nie indeksować jej w wynikach wyszukiwania. Z kolei, gdy dodasz tag nofollow do swojej witryny, zablokujesz wyszukiwarce możliwość indeksowania linków na tej witrynie/podstronie. Oznacza to, że wszystkie linki zdefiniowane jako nofollow będą ignorowane przez wyszukiwarkę. Jednocześnie linki te nie będą przekazywały mocy witrynom, do których prowadzą.

Noindex i nofollow – razem czy osobno?

Wymienione wyżej tagi mogą być stosowane zarówno oddzielnie, jak i razem. Jak już wspomnieliśmy – atrybut noindex służy do oznaczania strony lub podstrony, a atrybut nofollow używany jest do oznaczania pojedynczych linków bądź wszystkich odnośników znajdujących się na danej stronie/podstronie. Kiedy ogólnie warto stosować tag nofollow?

• Kiedy nie masz zaufania do podlinkowanej strony internetowej (np. gdy prowadzi ona forum, gdzie nie masz kontroli nad publikowanymi treściami).
• Kiedy link na Twojej stronie/podstronie został opłacony (np. w artykule sponsorowanym).
• Kiedy na Twojej witrynie/podstronie znajduje się mnóstwo różnych linków i nie chcesz, by były one brane pod uwagę przez wyszukiwarki.

A kiedy warto skorzystać z atrybutu noindex?

• W przypadku podstron, które nie zawierają żadnej treści lub mają jej mało (np. formularz do kontaktu, opcja logowania).
• W przypadku podstron, które są słabo zoptymalizowane pod kątem SEO (np. regulaminy, podstrony ze zduplikowanymi treściami)
• Kiedy dana strona/podstrona została stworzona w innym celu niż generowanie ruchu (np. landing page).
• W przypadku stron adresowanych do konkretnej grupy użytkowników (np. witryny stanowiące element badania rynku/grupy docelowej przed wypuszczeniem jakiego produktu na rynek).

Atrybuty noindex i nofollow nie muszą mieć negatywnego wpływu na pozycjonowanie się Twojej strony w wynikach wyszukiwania, pod warunkiem, że będą stosowane zgodnie z ich przeznaczeniem.

Jak dodać noindex na serwisie z WordPress?

Jeśli chcesz zablokować przed indeksowaniem cały swój serwis WordPress, w bardzo łatwy sposób możesz ustawić opcję w Kokpicie.

Zaloguj się do swojego Kokpitu WordPress i przejdź do [1] Ustawienia -> Czytanie po czym zaznacz ustawienie [2] Proś wyszukiwarki o nieindeksowanie tej witryny i następnie kliknij [3] Zapisz zmiany.

Po zapisaniu i odświeżeniu frontu strony możesz zaobserwować dodany tag robots noindex.

Jak ustawić noindex na zwykłej stronie?

Jeśli twoja strona korzysta z innego systemu zarządzania treścią niż WordPress, spróbuj odnaleźć podobną opcję w ustawieniach systemowych. Jeśli posiadasz stronę w czystym HTML możesz zawsze dodać ręcznie odpowiedni tag meta w kodzie w nagłówku <head> strony.

<meta name='robots' content='noindex, nofollow' />

Zamiast tagu – blokada strony na hasło

W przypadku jeśli dysponujesz klonem rozwojowym strony i nie chcesz aby świat miał do niej dostęp – możesz zablokować wejście na stronę ustawiając blokadę katalogu na hasło bezpośrednio z panelu hostingowego.

Jeśli strona jest zabezpieczona za pomocą hasła i nie jest dostępna publicznie, to nie powinno to wpłynąć negatywnie na SEO dla wersji rozwojowej lub wewnętrznej strony, która nie jest przeznaczona dla ogółu użytkowników. Wyszukiwarki nie będą miały dostępu do tej treści, więc nie powinno to mieć wpływu na indeksowanie i wyniki wyszukiwania.

To skuteczny sposób ochrony wersji rozwojowej przed indeksacją i dostępem publicznym. Dzięki temu można uniknąć potencjalnych problemów związanych z duplikacją treści lub wyświetlaniem wersji rozwojowej w wynikach wyszukiwania.