Как увеличить скорость индексации

От чего зависит скорость индексации новых страниц сайта? Прежде всего, скорость индексации страниц зависит от частоты обновления контента. Чем чаще публикуются новые материалы, тем чаще к вам заглядывают поисковые боты в надежде поживиться чем-нибудь свеженьким. Не секрет, что на часто обновляемых, посещаемых ресурсах роботы находятся постоянно. Примером таких площадок могут служить новостные сайты.

Один важный момент – регулярность добавления новых статей. Гораздо полезнее публиковать каждый день (или через день и т.д.) по одной статье и выдерживать этот темп постоянно, чем выкладывать 30 статей скопом раз в месяц. Регулярно обновляя контент, вы формируете правило заглядывать к вам чаще для поисковых пауков.

Стоит знать, что несколько десятков переходов пользователей на вашу новую страницу с раскрученных ресурсов – гарантия её моментальной индексации (Яндексом в том числе).  Как вы этого добьётесь – ваше дело. Один из вариантов – анонсирование новых статей в тематические группы в социальных сетях или сервис типа Subscribe.ru (об этом ниже) либо любой другой. Речь именно о переходах, а не просто о ссылке, по которой никто не переходит, для достижения результата ссылка должна работать.

* Как увеличить скорость индексации страниц с помощью сервисов и инструментов для веб-мастеров:

С Гулом всё довольно просто. У него достаточно мощностей для быстрого отслеживания и индексации новых страниц. Чтобы загнать страницу в индекс Гугла, достаточно скормить её роботу в панели «Инструментов для веб-мастеров Google». Если ещё не добавили туда свой сайт – сделайте это, зарегистрировавшись и нажав на кнопку «Добавить сайт» справа вверху.

После этого кликаем по названию нужного сайта и попадаем в панель управления.

Справа выбираем «Состояние» – «Посмотреть как Googlebot».

В новом окне открывается форма оповещения Google о новых страницах вашего сайта. Как видите, домен уже прописан, осталось ввести в поле недостающую часть адреса конкретной страницы и жмакнуть справа на «Получить содержание».

После выполнения запроса адрес страницы появится чуть ниже, рядом с отправленными на индексацию ранее. Нам осталось только нажать на кнопку «Отправить в индекс»

И в открывшемся окне просто нажать «Ok». Если хотите отправить в индекс не только эту страницу, но и все связанные с ней, переставляйте переключатель на «URL и все связанные страницы».

Как правило, данная процедура позволяет Гуглу проиндексировать предложенную страницу в течение одного-двух часов, а то и гораздо быстрее.

----------------------

С Яндексом всё намного сложнее, ибо он совсем не такой расторопный как Гугл. Ну нет у него в запасе таких мощностей и ресурсов, как у Гугла. Именно индексация Яндексом – головная боль для многих веб-мастеров.

Стандартные действия по оповещению ПС Яндекс о новой странице:

• добавление адреса страницы в аддурилку
• отправка содержания страницы через сервис «Оригинальные тексты» (только для сайтов с тиц 10 и выше. напрямую к индексации не относится)

На практике эти методы далеко не всегда приносят желаемый результат, однако пренебрегать ими всё равно не стоит.

* Что дополнительно мы можем предпринять для ускорения индексации  и от чего ещё она зависит:

1. Поведенческие факторы и интересный контент
   Чем активнее и чаще люди посещают ваш сайт, тем больше интересуются данным веб-ресурсом поисковые системы. Оставление комментариев (которые ПС тоже индексируют), клики по кнопкам социальных сетей и других сервисов – всё это сигналы для ПС и плюсы в сторону быстрейшей индексации вашего ресурса.
2. Карта сайта
   Следите за своевременным добавлением адресов новых страниц в карту сайта. Карта сайта в формате xml должна располагаться по адресу – http://ваш сайт.ru/sitemap.xml. Первое, что делает поисковый бот при заходе на сайт — проверяет карту сайта – sitemap.xml и если находит в ней незнакомые ему адреса – индексирует эти странички.
3. Кросспостинг и анонсы
   Ссылка – основной путеводитель и указатель во Всемирной паутине. Поисковые пауки следуют по всем ссылкам, которые попадают в их зону видимости. Наша задача – с помощью ссылок направить ботов на свой сайт любыми доступными способами.
   Что такое анонс – это краткое описание материала со ссылкой на него. Один из старейших сервисов всевозможных анонсов и рассылок – портал Subscribe.ru. Вы пишете краткое описание новой статьи со ссылкой на неё и добавляете этот анонс в тематические группы на Subscribe. В результате получаете ускорение индексации и новых посетителей. Кроме Subscribe, есть ещё множество подобных сервисов, типа Grabr.ru, Webice.ru и других, которые тоже можно использовать. Поисковые боты кишат на таких сервисах и моментально пробегают по всем опубликованным ссылкам. Чтобы не дублировать контент, текст анонсов лучше писать отдельно, а не выдёргивать из содержания статьи, особенно если она ещё не проиндексирована.
   Что такое кросспостинг – это публикация поста, либо части содержания материала, либо просто ссылки на него  в различные соц.сервисы типа: В контакте, Я.ру, Twitter, Google+, Facebook и др. Если на вашем сайте после каждого материала выводятся кнопки этих сервисов и у вас есть в них аккаунты – вам остаётся только пробежать по этим кнопкам и опубликовать в них ссылку на новый материал, можно ещё и прокомментировать её. Никто не запрещает сделать это и вручную (без помощи кнопок), опять же при наличии аккаунтов в этих сервисах. Многие вебмастера также пользуются кросспостингом в соцзакладки.
4. RSS лента
   Если ваш веб-ресурс – блог и есть лента RSS – добавьте её в различные RSS-агрегаторы, типа Feedburner. Как правило, сами ленты запрещаются к индексации в файле robots.txt, но боты резво бегают по ссылкам из них.
5. Сервисы уведомления ПС об обновлении контента (Ping). Если используете WordPress, пройдите в админке по ссылкам: «Параметры» – «Написание», и в самом низу, в поле «Сервисы обновления» добавьте список сервисов, в которые будут рассылаться уведомления об изменениях контента вашего сайта. Не забудьте сохранить изменения. Я использую такой список:http://rpc.pingomatic.com/
   http://blogsearch.google.ru/ping/RPC2
   http://blogsearch.google.com/ping/RPC2
   http://ping.blogs.yandex.ru/RPC2
   http://rpc.weblogs.com/RPC2
   http://www.blogdigger.com/RPC2
   http://www.feedsky.com/api/RPC2
   http://www.snipsnap.org/RPC2
   http://api.moreover.com/RPC2
   http://api.my.yahoo.com/RPC2
   http://pingoat.com/goat/RPC2
   http://rcs.datashed.net/RPC2
   http://rpc.blogbuzzmachine.com/RPC2
   http://pingoat.com/goat/rpc2
   -------------------------------------

* Как проверить проиндексирована ли страница Яндексом и Гуглом?

Проверить, проиндексирована ли страница Яндексом можно посмотрев список проиндексированных страниц сайта в Я.вебмастер, или с помощью следующего запроса в эту поисковую систему:
url:http://www.адрес страницы | url:http://адрес страницы
Адрес проверяемой страницы желательно прописать дважды, с www и без www. И забить получившуюся «конструкцию» в строку поиска Яндеса. Если страница проиндексирована — Яндекс вам её покажет.

Чтобы увидеть все страницы сайта, проиндексированные Яндексом, нужно ввести адрес проверяемого сайта здесь. Получите список всех проиндексированных Яндексом страниц.

Чтобы проверить проиндексирована ли страница Гуглом, опять же посмотреть в ВМТ или ввести в строку поиска Google следующий запрос:

site:http://адрес проверяемой страницы/

Либо:

site:http://адрес проверяемой страницы/*

Также для проверки индексации страниц в ПС существуют различные онлайн-сервисы (например, сервис xseo.in/indexed) и инструменты (пример – плагин для браузеров RDS бар).

Скорость индексации новых страниц сайта – достаточно важный показатель отношения поисковых систем (ПС) к вашему ресурсу, который к тому же имеет немалое практическое значение. Вы, наверное, знаете, что сейчас полно нечистых на руку веб-мастеров, наполняющих собственные ресурсы ворованным контентом.

Теперь представьте ситуацию, что ваша статья сначала проиндексировалась на стороннем веб-сайте, а когда дело дойдёт до её индексации на вашей площадке, это уже будет считаться банальным дублированием чужого контента, осуждаемым и, зачастую, наказуемым поисковыми системами. Вот таким образом за собственноручно написанную статью вы можете «получить по шапке».

А потому очень важно добиться быстрой индексации новых материалов на своём сайте. И дело тут не только в воровстве контента. Чем раньше документ попадёт в индекс, тем короче путь к его продвижению, так как именно с индексации начинается продвижение любого контента.

Вот, вкратце, и всё о том как увеличить скорость индексации страниц сайта основными поисковыми системами. Если что-то забыл – рад буду увидеть замечания в комментариях.

Читать дальше:

Продвижение сайта под пингвином Почему не лезут в топ низкочастотные запросы? Конкурентность запросов Что влияет на ранжирование сайтов в Яндексе? Чуть-чуть подсматриваем запросы у Шакина