Jak roboty przeglądają sieć?

Otóż naśladują zachowania internauty - podążają za linkami. Najłatwiej jest im odczytywać statyczny tekst, więc najlepiej jak link jest w postaci tagu "<a href". Mają problem z linkami w skryptach java, stronami dynamicznymi (w adresie ze zmiennymi po znaku zapytania). W pierwszym przypadku mogą go przeoczyć w drugim ignorują go. Roboty są ciągle ulepszane. Teraz są w stanie odczytać linki we flashu, choć w dość ograniczonym zakresie.

Oprócz samej indeksacji obraz serwisu zostaje zapisany na serwerze wyszukiwarki, można go zobaczyć pod linkiem Kopia w wynikach wyszukiwania. Roboty nie przeglądają całości serwisu, zagłębiają się tylko w kilka "warstw" podstron. Jeżeli chcemy, aby został zaindeksowany cały serwis najlepiej wysłać do wyszukiwarki mapę strony. Może to być zwykły plik tekstowy z linkami osobno w każdym wierszu, jednak lepiej zrobić mapę w formacie XML w oparciu o protokół Sitemap, w której oprócz samych linków zostaną zapisane dodatkowe informacje o treści. Sitemap jest standardem obsługiwanym przez wszystkie wyszukiwarki.

Anchor

Anchor text można określić jako nazwę celu, jakim jest strona docelowa linku i pod ową nazwą zostanie zapisany głos na stronę, będzie on frazą pod jaką najłatwiej znaleźć stronę docelową w wyszukiwarce, dlatego ważne jest, żeby oprócz  poprawnego  odczytania linku robot potrafił zaindeksować ją poprawnie pomimo często nieregularnych odmian wyrazów w jakimś języku np. polskim. To również jest powód, dla którego powstają lokalne oddziały wyszukiwarek lub też dlaczego krajowe wyszukiwarki mogą być skuteczniejsze od globalnych.

Wynik wyszukiwania
    
Gdy robot przejrzy już witrynę i ją zaindeksuje, algorytmy wyliczają wagę serwisu rozwiązując równania nawet z 500 milionami zmiennych i 2 miliardami terminów. Oprócz analizy wyników "metody głosowania" brana jest np. pod uwagę zależność między wyrazami ze strony głównej i podstronami serwisu. Oczywiście algorytm wyliczający jest ściśle strzeżoną tajemnicą każdej wyszukiwarki, każdy jest inny i dlatego wyniki mogą się różnić w wyszukiwarkach. Ten algorytm jest to silnik wyszukiwarki, a SEO oznacza optymalizację strony pod silnik, aby on zwrócił wyższą pozycję witryny w wynikach. Wiedza o SEO wynika z badań, prób i doświadczeń wielu specjalistów.

Raz jeszcze o pliku robots.txt

Roboty są coraz szybsze i dokładniejsze i jest ich więcej, ponieważ roboty jednej wyszukiwarki są rozmieszczone na różnych serwerach i bywa, że mogą zajrzeć na stronę nawet kilka razy dziennie. Oczywiście można zakazać robotom przeglądania witryny. Decyduje o tym meta  tag "robots", w którym można zabronić robotowi indeksowania, a nawet przeglądania podstron. Jeśli natomiast robot ma mieć zakaz wstępu tylko do kilku folderów na serwerze lub chcemy, żeby tylko wybrane spidery przeglądały serwis trzeba stworzyć plik robots.txt w głównym katalogu. Jest to pierwszy plik odczytywany przez robota. Określa on dokładne na co może sobie pozwolić robot każdej wyszykiwarki, jednak trzeba pamiętać, że jest to tylko informacja dla robota, który wcale nie musi się do niej zastosować.