Краулинг сайта и краулинговый бюджет сайта

Краулинговый бюджет
Вебинар из цикла «Введение в SEO» от Сергея Кокшарова (Devaka). В этом видео ведущий рассматривает, что такое краулинговый бюджет и для кого он важен.
Краулинговый бюджет – это количество страниц, которые поисковик может просканировать за определенный отрезок времени. Краулинговый бюджет важен для больших сайтов. Небольшой, с количеством страниц до ста будет, рано или поздно будет проиндексирован поисковиками.

Автор детально объясняет, как устроен поисковый краулер, что ему важно:
- экономия серверных ресурсов;
- максимальный охват сети;
- отказ от сканирования закрытых разделов;
- оценка полезности документа до захода в него;
- оценка полезности ресурса в целом;
- не перегрузить сервер, с которого сканируется контент.
В заключении вебинара автор рассказывает, как оптимизировать краулинговый бюджет.

Для оптимизации краулингового бюджета необходимо уделить внимание следующему:
- скорости отдачи и размеру документа;
- объему страниц и их посещаемости;
- качество контента – недопустимо наличие взломанных страниц;
- коды статусов, отличные от200/304;
- выделенный IP-адрес;
- ссылочная популярность.