Что такое ползание?
Поисковые роботы (также известные как роботы или пауки) начинают с загрузки того, что они считают наиболее важными страницами (например, домашней страницей) на вашем сайте. Они собирают все ссылки на странице и помещают их в очередь для последующей загрузки. Если они считают одну из обнаруженных страниц маловажной , они могут вообще не загрузить ее.
После сканирования страницы поисковая система проанализирует ее и определит, достойна ли она включения в свой поисковый индекс. С течением времени поисковые системы будут продолжать запрашивать страницы, которые они ранее загружали, чтобы увидеть, изменилось ли их содержимое.
Исходя из того, насколько важным поисковая система, например Google, считает ваш сайт, она выделит определенный объем пропускной способности для сканирования вашего сайта. Пропускная способность потребляется по мере загрузки каждой страницы вашего сайта поисковой системой. Когда поисковая система достигает своего предела пропускной способности для вашего сайта, она прекращает сканирование ваших веб-страниц до следующего периода сканирования.
Как улучшить сканирование
Поскольку поисковая система выделяет вашему сайту пропускную способность сканирования, важно направлять поисковые роботы на контент, который вы хотите видеть в их поисковом индексе, а не на дублирующий или ненужный контент. Некоторые из этих методов довольно техничны, но для вашего общего SEO очень важно, чтобы команда разработчиков веб-сайта понимала и решала основные проблемы.
1. Сосредоточьте поисковые роботы на желаемом контенте
Помогите поисковым роботам найти нужный вам контент и сосредоточиться на нем.
Используйте карту сайта: XML или HTML (карты сайта должны содержать наиболее важный контент)
Используйте файл robots.txt, чтобы заблокировать контент, который поисковые системы не должны сканировать.
Отключите все внутренние ссылки на страницы, которые вы не хотите индексировать, например: «Вход», «Условия использования», «Политика конфиденциальности» и т. д.
Страницы 301-редирект (постоянный редирект), которые больше не существуют, либо на одну страницу 404, либо, что еще лучше, на другой связанный контент на вашем веб-сайте.
Ограничьте использование перенаправлений 302 (временных), вместо них используйте перенаправления 301 (постоянные).
Не разрешайте поисковой системе индексировать внутренние результаты поиска на сайте (заблокируйте с помощью robots.txt)
Уменьшите или избегайте использования браузера для создания ссылок в контенте на другие страницы вашего сайта. Избегайте ссылок в JavaScript, AJAX, Flash и т. д., если у вас нет эквивалента HTML на странице.
2. Увеличьте важность страницы
Поисковые роботы начинают с тех страниц, которые они считают наиболее важными, и возвращаются к ним чаще всего. Чтобы повысить важность страниц:
Уменьшите количество переходов с домашней страницы на более глубокий контент (расположение рядом с другими важными страницами делает страницу более важной)
Увеличьте количество внутренних ссылок на страницы (количество ссылок на страницу делает страницу более важной)
Увеличьте количество внешних прямых ссылок на страницы или на страницы, которые ссылаются на многие страницы вашего сайта, например, на страницу категорий верхнего уровня (значительно увеличивает важность страницы и повышает важность всего сайта)
Избегайте использования nofollow для внутренних ссылок на важный контент (nofollow лишает одну страницу голоса, который она может дать другой).
3. Увеличьте количество страниц, сканируемых за сеанс сканирования.
Уменьшение раздутия страниц помогает увеличить количество страниц, просканированных за сеанс.
Уменьшите размер страниц вашего веб-сайта в килобайтах, исключив пустое/белое пространство в HTML-коде.
Используйте общие внешние файлы CSS и JavaScript. (Поисковые системы не будут постоянно загружать эти файлы)
4. Избегайте дублирования контента
Остановите трату времени поисковых систем на дублирующийся контент. Наличие нескольких страниц с одинаковым контентом не поможет вам ранжироваться лучше и приведет к потере пропускной способности сканирования.
Не создавайте дублирующийся контент на своем сайте. Это часто происходит случайно из-за использования плохо настроенной системы управления контентом.
Если у вас есть дублированный контент, перенаправьте запросы 301 для дублированной страницы на правильную страницу или используйте канонический тег META, если у вас есть более одной легитимной версии веб-страницы. (Эти методы сообщают поисковой системе, какая страница является оригинальной)
Не используйте переменные сеанса в URL-адресах для отслеживания пользователей, вместо этого используйте файлы cookie. Переменные сеанса могут выглядеть так: http://domain.com/product.php? SESSID=BX56J7AS4096H (Переменные сеанса в URL-адресах часто приводят к тому, что поисковые системы сканируют дублирующийся контент)
Создайте только одну версию вашего веб-сайта: www.domainname.com или domainname.com. 301-перенаправление нежелательной версии на желаемую.
5. Факторы на странице
Весь текстовый контент веб-страницы, перед Число данных WhatsApp в Саудовской Аравии: 5 миллионов аваемый с вашего веб-сайта и отображаемый на странице пользователю, должен содержаться в HTML-коде запрашиваемой страницы.
Избегайте использования фреймов и фреймов для загрузки контента (часто приводит к отображению дополнительных фрагментов страниц в индексе)
Избегайте использования Ajax/Javascript для загрузки контента или ссылок (эти методы затрудняют поиск контента поисковыми системами)
На страницах, которые должны быть в индексе, убедитесь, что у вас НЕТ МЕТА-тегов, которые указывают поисковой системе НЕ индексировать контент.
6. Обнаружение и предотвращение проблем со сканером
Зарегистрируйте свой веб-сайт для инструментов веб-мастера Google. Их инструмент отчетов о краулерах укажет на проблемы сканирования, с которыми Google сталкивается при сканировании вашего веб-сайта
Избегайте ловушек пауков. Это своего рода внутренние черные дыры ссылок на динамических страницах, которые создают много новых страниц путем добавления параметров или подкаталогов к URL, которые создают бесконечные циклы для поисковых систем.
Избегайте включения таких элементов, как календари, содержащие ссылки, ведущие вперед и назад бесконечно во времени.
Обнаружение и устранение этих проблем со сканером может значительно увеличить поисковый трафик вашего сайта. В зависимости от вашей системы управления контентом, устранение этих проблем со сканером может потребовать некоторых усилий, но обычно это окупается в долгосрочной перспективе.
