# Robots.txt

читать 2 мин.
0 17

Западные SEO-специалисты обсуждают, может ли URL индексироваться, если страница закрыта noindex или файлом robots.txt. Мнения разделились, но Мэтт Каттс заметил, что Google не обходит закрытую страницу, если информация о ней присутствует в каталогах или другие ресурсы ссылаются на нее. Если специалисты хотят, чтобы страницы не появлялись в SERP, надо использовать noindex.

Прочитать полностью