Yahoo! Хвостом за GoogleYahoo! стал поддерживать “тэги исключения” посредством директивы x-Robot-Tag, сообщает Yahoo! Search Blog. В связи с этим в ближайшее время поисковик собирается обновить алгоритмы индексирования и краулинга. Изменения будут видны в начале следующей недели. x-Robot-Tag предоставляют веб-мастерам больше контроля над индексированием контента сайта. Если раньше прописать запрещающие тэги можно было только в META директиве, теперь система позволяет запретить индексирование директивой x-Robot-Tag в заголовке …
Источник