Как поисковый робот видит HTML-документы.

Вебинар из цикла «Введение в SEO» от Сергея Кокшарова (Devaka). В этом видео автор объясняет, что на что обратить внимание при разработке сайта и верстке страниц, чтобы хорошо ранжироваться. Избежать ошибок поможет знание о том, как поисковик видит HTML-документы.
Автор вебинара систематизирует перечень документов, которые сканируются поисковыми роботами:
text/html, text/plain, application/pdf;
image/gif, image/png, image/jpeg.
Обращает внимание на то, что незакрытые документы в robots.txt не сканируются, как и незакрытые в http-заголовках.
После того, как робот обнаруживает необходимый документ и планирует его отсканировать, он уделяет внимание управляющим мета-тегам. Теги, которые напрямую дают инструкции поисковым системам:
<meta name=“robots” content=“noindex” />;
<link rel=“canonical” href=“http://adres.com” />;
<meta charset=“…”>;
http-заголовки.
Автор рекомендует, как упростить работу поискового робота. Не стоит использовать:
фреймы с важным контентом;
контент и навигацию, формируемые Javascript;
flash-навигацию;
скрытый контент;
закрывать js/css в robots.txt.