Pająk, Bot, Crawler, Robot wyszukiwarki – pod takimi nazwami funkcjonuje w sieci Googlebot, czyli program komputerowy, z którego korzysta Google w celu indeksowania sieci. Czym dokładnie jest i na jakiej zasadzie działa?
Bot podczas swojej pracy pobiera bardzo duże ilości stron i w czasie tego procesu wykrywa nowe lub zaktualizowane strony, dodając je do indeksu Google. Dzięki temu Bot widzi o wiele więcej stron niż zwykły użytkownik.
Do indeksowania stron Googlebot wykorzystuje proces algorytmiczny, który polega na tym, że to programy komputerowe decydują, które strony są skanowane, z jaką częstotliwością oraz ile z nich ma być pobieranych z każdej witryny.
W jaki sposób Googlebot trafia na stronę www?
Googlebot ma na celu zdobywanie informacji o stronach, które istnieją w internecie. Śledzi linki, które prowadzą go do konkretnych stron. Bot przeszukując określone domeny, analizuje ich adresy URL, które następnie przekierowują go na zewnątrz. Linki działają dla niego jak drogowskazy dla kierowców, dlatego, gdy dany adres URL znajduje się w widocznym miejscu, łatwiej jest go zauważyć Botowi.
Posiadacze strony, do której nie prowadzi żaden link zewnętrzny mogą za pomocą Google Search Console przesłać o niej informacje, a tym samym doprowadzić do tego, że zostanie ona “odwiedzona” przez Bota.
Co robi Googlebot, gdy odwiedza stronę internetową?
Kiedy Googlebot trafia już na daną stronę, ma za zadanie odszyfrować, jaka treść została na niej umieszczona. Dzięki właściwemu wykonaniu tego zadania Bot może ją prawidłowo zakwalifikować i wybrać słowa kluczowe, które później zostaną wyświetlone w wynikach wyszukiwania. Cały ten proces nazywa się indeksowaniem.
O miejscu, gdzie trafi dana strona, decyduje jej zawartość. Google oficjalnie przyznaje się do tego, że ich Bot bazuje na przeglądarce Chrome w wersji o numerze 41, której premiera miała miejsce w 2015 roku. Jest to już teraz bardzo przestarzała technologia, a jej wykorzystanie skutkuje tym, że Bot ma często problemy z odpowiednim odczytaniem kodu opartego o Java Script.
Na jednej z konferencji dla developerów Google zapowiedziało jednak, że wkrótce zaktualizują przeglądarkę Chrome, na której działa ich Bot. To powinno rozwiązać większość problemów, z którymi boryka się obecnie Robot.
Po poprawnym wyrenderowaniu strony, Bot starannie analizuje jej zawartość. Kluczowe są tu teksty opublikowane pod danym adresem URL, dlatego optymalizowanie treści pod kątem SEO oraz odpowiednie dostosowanie plików graficznych do pozycjonowania jest niezbędne.
Warto też pamiętać, że od dłuższego czasu priorytet w procesie indeksowania mają wersje mobilne. Oznacza to, że jeżeli dana strona nie jest przystosowana do wyświetlania na telefonach komórkowych i tabletach, to jej wartość dla Googlebota jest bardzo niska.
Zablokowanie Googlebotowi dostępu do treści witryny internetowej
Współcześnie bardzo trudno jest utrzymać serwer internetowy “w tajemnicy” nawet poprzez nietworzenie żadnych linków przekierowujących do niego. Jeśli komuś się jednak powiedzie, to musi być świadomy pewnego ryzyka. Może się bowiem zdarzyć, że na serwerze ktoś skorzysta z linku, który prowadzi go do innego serwera internetowego. Wówczas dotąd „tajny” adres URL może pojawić się w tagu, który zawiera informacje o stronie przekierowującej i może następnie zostać zapisany i opublikowany przez ten drugi serwer internetowy w jego dzienniku przekierowań.
Uniemożliwienie Botowi skanowania treści na stronie jest jednak wykonalne. Można to zrobić na kilka sposobów. Po pierwsze każdy ma opcję uniemożliwienia skanowania strony przez Robota. Można na przykład zablokować indeksowanie strony lub uniemożliwić dostęp do strony przez roboty i użytkowników.
Googlebot to sprytne narzędzie przeglądarkowe. To właśnie od niego zależy, czy dana strona zostanie zaindeksowana, czy nie. Czasem zdarza się, że nieistotny szczegół może doprowadzić do tego, że strona w ogóle nie pojawi się w indeksie. Dlatego bardzo ważne jest aktualizowanie wszystkich linków, które prowadzą do witryny, w tym także tych wewnętrznych. Doprowadzi to do wzrostu wartości strony dla Bota, a co za tym idzie – zwiększy się jej atrakcyjność w rankingu, a o to przecież chodzi.