Настройка файла robots.txt
Вебинар из цикла «Введение в SEO» от Сергея Devaka Кокшарова. В этом видео автор рассказывает об основных директивах файла robots.txt и инструментах проверки файла.
Файл robots.txt содержит инструкции для поискового краулера.
Директивы, которые содержатся в файле robots.txt:
User-agent:*
Disallow: /wp-content/
# открыть изображения;
Allow: /wp-content/uploads/
Disallow:/category/$
Allow:*.css*
User-agent: Bingbot
Disallow: /
Сергей Кокшаров рассказывает об инструментах и инструкциях поисковых систем для проверки созданных директив файла robots.txt. В Google: Search Console – Сканирование – Инструмент проверки файла robots.txt. В «Яндекс»: «Яндекс.Вебмастер» – «Инструменты» – Анализ robots.txt.
Инструкции:
https://yandex.com/support/webmaster/...
https://support.google.com/webmasters...
Кокшаров Сергей (ещё 15 видео)
Настройка файла robots.txt
Категория: Robots.txt -
Вебинар из цикла «Введение в SEO» от Сергея Devaka Кокшарова. В этом видео автор рассказывает об основных директивах файла robots.txt и ин...