SEO Services Poland

 

 

specjalista seo krakow


 

AdSecur na Facebook AdSecur na YouTube Specjalista SEO na GooglePlus Kontakt - Specjalista SEO Follow on Linkedin RSS Seoblog - AdSecur

Robots.txt - to plik w formacie tekstowym, który należy umieścić w katalogu domowym hostowanej witryny internetowej. Katalog domowy to miejsce na serwerze WWW, gdzie znajdują się wszystkie pliki i podkatalogi składające się na Twój serwis internetowy. Plik robots.txt spełnia funkcję podobną jak lampy sygnalizacyjne na skrzyżowaniu - wskazuje robotom wyszukiwarek internetowych mapę strony (mapa serwisu internetowego) oraz zabrania im indeksowania podkatalogów. Niektóre podkatalogi mogą zawierać pliki z treściami (np. fotografie, filmy) które nie powinny być indeksowane przez wyszukiwarki. To Ty decydujesz o tym, które treści chcesz udostępniać robotowi. Możesz to uczynić poprzez odpowiedni wpis w pliku robots.txt.

 

Każdy serwis internetowy powinien posiadać plik robots.txt, zwłaszcza, że jego obecność wpływa korzystnie na pozycjonowanie strony w wyszukiwarce Google.

 

Musisz jednak być świadom/a, że robot wyszukiwarki nie musi respektować poleceń zawartych w pliku robots.txt i może odwiedzić podkatalogi (podstrony serwisu). Jeśli naprawdę chcesz je zabezpieczyć - możesz do tego celu wykorzystać inne sposoby, np. plik .htaccess na serwerach Apache.

 

Przykład zawartości pliku robots.txt - znak # oznacza komentarz:
#####################################################

# Pierwsza zasada SEO - przygotuj mapę serwisu (sitemap.xml lub sitemap.xml.gz)

# Wskaż  robotom gdzie ją mogą znaleźć, aby zrobiły jej kopię dla wyszukiwarki

Sitemap: http://www.adsecur.com/sitemap.xml


# Wpis wskazuje, że chodzi o wszystkie roboty (User-agent) odwiedzające serwis

# Znak * oznacza wszystkie roboty
User-agent: *

 

# Wpis wskazuje że w/w roboty nie powinny indeksować poniższych katalogów
Disallow: /Zakazane

Disallow: /SEOTajniki

 

# Wpis wskazuje że robot Google ma dostęp do wszystkich podkatalogów serwisu
User-agent: googlebot
Allow: /

 

# Wpis wskazuje że robot określonej wyszukiwarki nie powinien mieć dostępu

# do wszystkich podkatalogów serwisu, przestrzegaj tej zasady SEO
User-agent: robot-z-marsa
Disallow: /

 

# Wpis wskazuje że robot Google-Image nie powinien mieć dostępu

# do plików graficznych - nie powinien ich indeksować
User-agent: googlebot-image
Disallow: /*.png$

 

# Wpis wskazuje że roboty nie powinien mieć dostępu do numeru sesji (sklepy)

# nie powinien indeksować stron z określonym końcem adresu (numer sesji)

User-agent: *
Disallow: /*?vmcchk=1

#####################################################

Matt Cutts z Google dokładnie tłumaczy, więcej na jego blogu.

 

Jak zrobić plik robots.txt dla robotów wyszukiwarki Google, Bing, Yahoo?
Podejrzyj sobie i skopiuj do edytora tekstu, takiego jak notepad++ -> uniwersalny wzór robots.txt, pamiętaj, że Twoja strona ma pewnie inne katalogi, do których chcesz zabronić dostępu. Zamień w pliku nazwę domeny example.com na nazwę Twojej domeny.

 

Jeśli nie masz pewności czy firma, która zrobiła dla Ciebie stronę internetową, przygotowała plik robots.txt, możesz to sprawdzić, wpisując za nazwą swojej domeny: /robots.txt
Jeśli zobaczysz błąd (Not Found -The requested URL /robots.txt was not found on this server.) to znaczy, że tego pliku nie ma (nie jest widoczny dla robotów), mało tego, oznacza to, że Twoja strona nie ma zaimplementowanej obsługi błędu 404.

Jeśli nie wiesz, czy firma, która zrobiła dla Ciebie stronę internetową, przygotowała ten plik, możesz to łatwo sprawdzić, wpisując za nazwą swojej domeny: /sitemap.xml
Jeśli nie zobaczysz mapy strony, to znaczy, że jej nie ma.

Plik robots.txt możesz utworzyć za pomocą dowolnego programu - edytora tekstu - np. notatnika Windows (notepad.exe). Polecamy jeden z lepszych programów z rodziny open source - notepad++. Robots.txt ma wpływ na widoczność stron internetowych w wyszukiwarce Google - robot internetowy widzi otwarte drzwi do Twojego serwisu (wpis Allow: /).

Wpada do niego i szuka pliku sitemap.xml, jeśli go nie znajdzie, sam buszuje po serwisie.

Overall Rating (0)

0 out of 5 stars

Skomentuj

Komentuj jako gość

0 Ograniczenie ilości znaków
Twoja wiadomość powinna zawierać więcej niż 50 znaków
Your comments are subject to administrator's moderation.
  • Brak komentarzy

@ 2014 AdSecur - Ethical SEO Services Poland - Szkolenia SEO - Etyczne pozycjonowanie stron: Kraków | Warszawa | Katowice | Poznań | Rzeszów | Wrocław | Zakopane

Serwis używa ciasteczek (cookie) dla wygody Internautów. Aby dowiedzieć się więcej przeczytaj naszą politykę prywatności.

Akceptuję ciasteczka z tej strony: