Blokowanie lub usuwanie stron przy użyciu metatagów.

Zamiast używać pliku robots.txt do zapobiegania indeksowaniu stron, możesz umieścić na stronie HTML tag <META> informujący roboty, że tej strony nie powinny indeksować. Standard ten opisano na stronie http://www.robotstxt.org/wc/exclusion.html#meta (dostępnej w języku angielskim).

Aby zapobiec indeksowaniu strony z witryny przez wszystkie roboty, można umieścić na tej stronie następujący metatag w sekcji <HEAD>:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Aby umożliwić innym robotom indeksowanie strony z witryny, a uniemożliwić to tylko robotom Google, możesz użyć następującego tagu:

<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">

Aby umożliwić robotom indeksowanie strony z witryny, ale uniemożliwić im korzystanie z linków do witryn zewnętrznych, możesz użyć następującego tagu:

<META NAME="ROBOTS" CONTENT="NOFOLLOW">

Aby umożliwić robotom indeksowanie strony z witryny, ale uniemożliwić im indeksowanie umieszczonych na niej grafik, możesz użyć następującego tagu:

<META NAME="ROBOTS" CONTENT="NOIMAGEINDEX">