Настройка файла robots.txt

Вебинар из цикла «Введение в SEO» от Сергея Devaka Кокшарова. В этом видео автор рассказывает об основных директивах файла robots.txt и инструментах проверки файла.

Файл robots.txt содержит инструкции для поискового краулера.
Директивы, которые содержатся в файле robots.txt:
User-agent:*
Disallow: /wp-content/
# открыть изображения;
Allow: /wp-content/uploads/
Disallow:/category/$
Allow:*.css*
User-agent: Bingbot
Disallow: /

Сергей Кокшаров рассказывает об инструментах и инструкциях поисковых систем для проверки созданных директив файла robots.txt. В Google: Search Console – Сканирование – Инструмент проверки файла robots.txt. В «Яндекс»: «Яндекс.Вебмастер» – «Инструменты» – Анализ robots.txt.

Инструкции:
https://yandex.com/support/webmaster/...
https://support.google.com/webmasters...