Как благополучно «скормить» страницы роботам: индексация сайта в поисковых системах


Как благополучно "скормить" страницы роботам: индексация сайта в поисковых системахИндексацию сайта в поисковых системах можно назвать успешной в том случае, если в базу данных благополучно попали абсолютно все страницы. А для этого вы не должны мешать роботу выполнять его работу, то есть, нужно поискать возможные «тормозные» факторы в коде и убрать их. Также следует провести и кое-какие дополнительные внешние улучшения.

Сначала надобно разработать два файла: robots.txt и sitemap.xml. Первый из них имеет текстовый формат, и в нем прописываются цельные каталоги и страницы, которые вы не хотели бы афишировать перед общественностью. К примеру, это могут быть папки с техническими компонентами, или же страницы с какими-то конфиденциальными данными пользователей и т.д. Файл robots.txt выполняется веб-мастером собственноручно, он устанавливается в корневой каталог сайта. То есть, этот файл отвечает за непосредственное сокрытие от индекса определенных путей. Когда робот приходит на сайт, он осматривает содержимое robots.txt, получает из него инструкции и следует им.

Есть и второй помощник – sitemap.xml, но он, наоборот, указывает на все страницы, которые обязательно должны быть задействованы при индексации сайта в поисковых системах. Если вы переведете название файла, то сразу поймете, что это – карта сайта, и предназначается она для поисковиков. Но подобную карту сделать самостоятельно очень трудно, поскольку для этого пришлось бы изучать синтаксис XML. Так что, вы можете воспользоваться любым подходящим сервисом-генератором. Как правило, подобные услуги являются бесплатными, а вам нужно будет лишь указать URL своего веб-проекта. Полученный файл нужно также отправить в корневую папку.

Чтобы поисковая система не заметила ничего из того, что вы не хотите ей показывать, можно прятать отдельные элементы на страницах. То есть, вы можете спрятать подобным образом внешнюю ссылку или же счетчик. Для этого применяются парные теги Nofollow и Noindex. Первый нужен для закрытия от Google, второй – для Яндекс.

Теперь стоит дополнительно напомнить вам о некоторых условиях, без которых индексация сайта поисковыми системами может быть неполноценной. К примеру, если вы применяете Flash и Java-Script в важных для поисковых систем местах (к примеру, в навигации), то от них нужно избавиться. Робот не умеет работать с подобными технологиями, а значит, он не сможет переходить по путям, которые вы в них использовали. Ну и конечно, нежелательно удалять страницы очень глубоко. Проверьте, к каждой ли страничке можно пройти, совершив всего три клика от главной? Если да, значит, у вас хорошая и слаженная структура, если нет, то она излишне глубока и было бы неплохо внести усовершенствования.

Похожие темы:

Оставьте комментарий