10 дек 2014

8 причин, по которым сайт может не индексироваться

Казалось бы, простой вопрос, но, тем не менее, очень актуальный для многих. В особенности, это касается новых сайтов. Ни для кого не секрет, что для получения посетителей на свой сайт из поисковых систем, он должен быть проиндексирован.

В данной статье мы рассмотрим основные причины, почему не индексируется сайт.

  1. Поисковые системы пока не знают о вашем сайте

Если вы только создали свой сайт, то поисковым роботам нужно время, чтобы проиндексировать его. Вам нужно сообщить поисковым системам о том, что ваш сайт создан и готов к индексации. Для этого:

  1. Добавьте сайта в панель вебмастеров Google.
  2. Добавьте сайт в панель вебмастера Яндекс.
  3. Добавьте страницы сайта в addurl.
  4. Поставьте несколько ссылок на сайт из социальных сетей и попросите об этом товарищей.

Новый сайт на 100 страниц может попасть в индекс поисковой системой Google в течение дня. Яндекс добавляет в индекс медленнее, в течение одной или двух недель. Но бывают исключения.

  1. Включена блокировка в .htaccess

Иногда программисты закрывают доступ к сайту и к индексации через файл .htaccess на этапе разработки. После открытия сайта эту настройку благополучно оставляют. Как итог – поисковые системы просто не могут посмотреть сайт. Иногда его не могут посмотреть и другие пользователи, а только те, у которых прописан ip сайта в файле hosts.

Это очень редкий случай, но прецеденты были, поэтому стоит учесть.

  1. Сайт закрыт для индексации в robots.txt

А вот этот момент встречается очень часто. Администраторы и программисты в большинстве случаев просто не любят смотреть в этот файл. Robots.txt находится по адресу site.ru/robots.txt и объясняет поисковым роботам: что можно индексировать, а что - нет.

Если вы открыли этот файл и увидели Diallow: / — это значит, что поисковым роботам запрещено индексировать ваш сайт. Это касается и разных разделов. Disallow: /catalog/ — дает руководство не индексировать каталог сайта и все страницы, которые содержат в адресе /catalog/.

К счастью этот файл можно быстро и легко исправить. Но не стоит забывать, что служебную информацию все же нужно закрывать от индексации.

  1. Настройки в CMS WordPress.

WordPress самая распространённая система управления сайтами в мире. При создании сайта, вы могли по умолчанию нажать кнопку «попросить поисковые системы не индексировать сайт». Как следствие, на все страницы сайта дописывался код <noindex>. При заходе на сайт поисковые системы игнорируют контент и не индексируют сайт.

Чтобы исправить это, зайдите в настройки CMS, перейдите на вкладку «Чтение» и снимите «чекбокс» напротив надписи «попросить поисковые системы не индексировать сайт». Сохраните новые настройки.

  1. Очень низкая скорость загрузки сайта.

Скорость загрузки сайтов это один из самых важных факторов ранжирования сайтов в поисковых системах. Этот показатель может влиять и на индексацию проекта.  Мало кто из пользователей интернета в 21-ом веке будет ждать больше, чем 10 секунд, пока ваша страница загрузится. Поисковые системы не исключение, если ваш сайт очень долго грузится, они попросту могут его не индексировать, т.к. у них есть лимит времени на обработку каждого сайта и запроса.

В сети есть масса сервисов, которые позволяют проверить скорость загрузки сайта. Один из лучших, это http://tools.pingdom.com/fpt/.  В идеале скорость загрузки должна составлять 1-2 секунды, иногда 3. Если больше, то рекомендуем вам обратиться к своим программистам или в тех. поддержку компании, которая предоставляет услуги хостинга. Причин может быть множество.

  1. Noindex в мета тегах.

Часто, при разработке нового сайта, индексация страниц сайта закрывается мета-тегами в коде. Это очень легко проверить и исправить.

  1. Найдите мата теги в коде странице: <meta name=«robots» content=«no index, no follow»>
  2. Удалите это строку кода или замените follow и index.
  1. Нестабильная работа хостинга

Нередки случаи, когда серьезные компании покупают очень дешевый и нестабильный хостинг. Либо же сайт настроен неправильно и использует все ресурсы сервера. В таком случае сайт часто не работает. При заходе на сайт, поисковый бот не может получить контент и покидает сайт, следующий раз он зайдет чуть позже, но в итоге сайт может опять быть недоступным.

Как вы понимаете, от такого сайта почти нет пользы для посетителей. Если он будет индексироваться, то очень плохо и не стабильно. При этом пользователи, зашедшие на недоступный сайт, наврядли захотят на него вернуться снова.

Для того чтобы избежать таких проблем:

  1. Перенесите сайт на стабильный хостинг с хорошей технической поддержкой.
  2. Оптимизируйте работу CMS, если она потребляет много ресурсов.
  3. Настройте на сайте информирование о недоступности с помощью Яндекс. Метрики или других ресурсов.

 

  1. Домен был ранее «забанен» поисковыми системами

Иногда компании покупают для своих сайтов домены на аукционах либо у других владельцев. Ранее сайт мог быть взломан и рассылать спам или же нарушать правила поисковых систем. Как следствие домен будет забанен. Предугадать это перед покупкой домена не всегда возможно.

Поэтому, если ваш сайт долго не индексируется и вы проверили все вышеописанные рекомендации, есть вероятность, что ваш сайт «забанен» поисковыми системами.

Чтобы это исправить, нужно написать в тех. поддержку Яндекса и написать об этом на форуме для вебмастеров Google.

В данной статье мы рассмотрели самые частые случаи, по которым не индексируется сайт. Больше все же они подходят к новым сайтам. У сайтов часто бывают проблемы с неполной либо медленной индексацией. Об этом мы обязательно расскажем в одном из следующих постов.

А пока развивайте свой сайт, делайте его полезным и ценным для пользователей и не нарушайте рекомендаций поисковых систем.

Хорошей индексации и замечательного дня!

Подписаться на блог

Оставить свой комментарий

Задать вопрос Вверх