8 причин, по которым сайт может не индексироваться
Казалось бы, простой вопрос, но, тем не менее, очень актуальный для многих. В особенности, это касается новых сайтов. Ни для кого не секрет, что для получения посетителей на свой сайт из поисковых систем, он должен быть проиндексирован.
В данной статье мы рассмотрим основные причины, почему не индексируется сайт.
- Поисковые системы пока не знают о вашем сайте
Если вы только создали свой сайт, то поисковым роботам нужно время, чтобы проиндексировать его. Вам нужно сообщить поисковым системам о том, что ваш сайт создан и готов к индексации. Для этого:
- Добавьте сайта в панель вебмастеров Google.
- Добавьте сайт в панель вебмастера Яндекс.
- Добавьте страницы сайта в addurl.
- Поставьте несколько ссылок на сайт из социальных сетей и попросите об этом товарищей.
Новый сайт на 100 страниц может попасть в индекс поисковой системой Google в течение дня. Яндекс добавляет в индекс медленнее, в течение одной или двух недель. Но бывают исключения.
- Включена блокировка в .htaccess
Иногда программисты закрывают доступ к сайту и к индексации через файл .htaccess на этапе разработки. После открытия сайта эту настройку благополучно оставляют. Как итог – поисковые системы просто не могут посмотреть сайт. Иногда его не могут посмотреть и другие пользователи, а только те, у которых прописан ip сайта в файле hosts.
Это очень редкий случай, но прецеденты были, поэтому стоит учесть.
- Сайт закрыт для индексации в robots.txt
А вот этот момент встречается очень часто. Администраторы и программисты в большинстве случаев просто не любят смотреть в этот файл. Robots.txt находится по адресу site.ru/robots.txt и объясняет поисковым роботам: что можно индексировать, а что - нет.
Если вы открыли этот файл и увидели Diallow: / — это значит, что поисковым роботам запрещено индексировать ваш сайт. Это касается и разных разделов. Disallow: /catalog/ — дает руководство не индексировать каталог сайта и все страницы, которые содержат в адресе /catalog/.
К счастью этот файл можно быстро и легко исправить. Но не стоит забывать, что служебную информацию все же нужно закрывать от индексации.
- Настройки в CMS WordPress.
WordPress самая распространённая система управления сайтами в мире. При создании сайта, вы могли по умолчанию нажать кнопку «попросить поисковые системы не индексировать сайт». Как следствие, на все страницы сайта дописывался код <noindex>. При заходе на сайт поисковые системы игнорируют контент и не индексируют сайт.
Чтобы исправить это, зайдите в настройки CMS, перейдите на вкладку «Чтение» и снимите «чекбокс» напротив надписи «попросить поисковые системы не индексировать сайт». Сохраните новые настройки.
- Очень низкая скорость загрузки сайта.
Скорость загрузки сайтов это один из самых важных факторов ранжирования сайтов в поисковых системах. Этот показатель может влиять и на индексацию проекта. Мало кто из пользователей интернета в 21-ом веке будет ждать больше, чем 10 секунд, пока ваша страница загрузится. Поисковые системы не исключение, если ваш сайт очень долго грузится, они попросту могут его не индексировать, т.к. у них есть лимит времени на обработку каждого сайта и запроса.
В сети есть масса сервисов, которые позволяют проверить скорость загрузки сайта. Один из лучших, это http://tools.pingdom.com/fpt/. В идеале скорость загрузки должна составлять 1-2 секунды, иногда 3. Если больше, то рекомендуем вам обратиться к своим программистам или в тех. поддержку компании, которая предоставляет услуги хостинга. Причин может быть множество.
- Noindex в мета тегах.
Часто, при разработке нового сайта, индексация страниц сайта закрывается мета-тегами в коде. Это очень легко проверить и исправить.
- Найдите мата теги в коде странице: <meta name=«robots» content=«no index, no follow»>
- Удалите это строку кода или замените follow и index.
- Нестабильная работа хостинга
Нередки случаи, когда серьезные компании покупают очень дешевый и нестабильный хостинг. Либо же сайт настроен неправильно и использует все ресурсы сервера. В таком случае сайт часто не работает. При заходе на сайт, поисковый бот не может получить контент и покидает сайт, следующий раз он зайдет чуть позже, но в итоге сайт может опять быть недоступным.
Как вы понимаете, от такого сайта почти нет пользы для посетителей. Если он будет индексироваться, то очень плохо и не стабильно. При этом пользователи, зашедшие на недоступный сайт, наврядли захотят на него вернуться снова.
Для того чтобы избежать таких проблем:
- Перенесите сайт на стабильный хостинг с хорошей технической поддержкой.
- Оптимизируйте работу CMS, если она потребляет много ресурсов.
- Настройте на сайте информирование о недоступности с помощью Яндекс. Метрики или других ресурсов.
- Домен был ранее «забанен» поисковыми системами
Иногда компании покупают для своих сайтов домены на аукционах либо у других владельцев. Ранее сайт мог быть взломан и рассылать спам или же нарушать правила поисковых систем. Как следствие домен будет забанен. Предугадать это перед покупкой домена не всегда возможно.
Поэтому, если ваш сайт долго не индексируется и вы проверили все вышеописанные рекомендации, есть вероятность, что ваш сайт «забанен» поисковыми системами.
Чтобы это исправить, нужно написать в тех. поддержку Яндекса и написать об этом на форуме для вебмастеров Google.
В данной статье мы рассмотрели самые частые случаи, по которым не индексируется сайт. Больше все же они подходят к новым сайтам. У сайтов часто бывают проблемы с неполной либо медленной индексацией. Об этом мы обязательно расскажем в одном из следующих постов.
А пока развивайте свой сайт, делайте его полезным и ценным для пользователей и не нарушайте рекомендаций поисковых систем.
Хорошей индексации и замечательного дня!
