Западные SEO-специалисты развернули бурную дискуссию относительно того, может ли URL индексироваться, если страница закрыта noindex или файлом robots.txt. Казалось бы, ответ очевиден. Однако, если задать такой вопрос в комнате, наполненной гуру SEO, ответы могут быть самые неожиданные, пишет редактор Search Engine Roundtable Барри Шварц. Причина тому, что в выдаче Google часто можно увидеть ссылки на сайты, доступ к страницам которых ограничен поисковым роботам. Считается ли в данном случае URL проиндексированным или нет? Вот мнения некоторых западных SEO‑специалистов по этому поводу.
Ann Smarty: страница может быть проиндексирована, даже если робот ее не посетит.
Andy Beard: в терминологии Google это просто обращение к странице.
Andy Beard: робот сначала должен посетить страницу, чтобы проиндексировать ее. Переход по ссылке = индексация.
Rishi Lakhani: «обнаружение» ограничивает возможность, чтобы URL был показан. Посещение роботом и индексация – это немного другое.
Ann Smarty: индексация – это появление в выдаче. Посещение роботом = прохождение через страницу.
В итоге, получилась довольно оживленная дискуссия. Впрочем, специалисты могли пропустить, что вопрос индексации закрытых robots.txt страниц поднимал сам Мэтт Каттс еще в 2009г. Он заметил, что Google не обходит закрытую страницу, если информация о ней присутствует в каталогах или другие ресурсы ссылаются на нее. В таких случаях поисковик берет ссылку, но саму страницу не индексирует, хотя она и может попасть в выдачу. Если специалисты хотят, чтобы страницы не появлялись в SERP, надо использовать noindex, говорит Мэтт.
Напоминаем, что если вебмастера хотят удалить какие-то страницы из результатов поиска, самый быстрый способ это сделать – напрямую в панели управления поисковиков в Google removal tool и в Яндекс.Вебмастере.