Почему страницы исчезают из поиска яндекс. Почему страницы выпадают из индекса поисковых систем

Массовое выпадение посадочных страниц из индекса поисковых систем, а следовательно и из поиска, черевато падением позиций сайта и снижением объема органического трафика.

Можно отметить несколько основных и часто встречающихся причин, почему поисковые системы выкидывают страницы сайта из своего индекса и перестают их учитывать в ранжировании.

Причины выпадения страниц из индекса

Страницы, которые перенаправляют 301 или 302 редиректом на другие страницы или сторонние сайты, либо содержат слишком большое кол-во исходящих на сторонние ресурсы ссылок. Иначе их можно назвать дорвейными страницами .
Страницы которые отдают контент для поисковых систем отличный от того что видит пользователь, так называемый клоакинг .
Размещение на странице скрытого для пользователя контента, это может быть использовано программно (ошибки в коде или умышленно), а также с помощью разметки текста (очень маленький шрифт или цвет под фон)
Не уникальный или малополезный контент, а также страницы с дублирующимся контентом с других страниц сайта.
Страницы с большим количеством рекламных блоков, созданных преимущественно или исключительно, для заработка на рекламе.
Избыточное количество ключевых фраз на странице – переоптимизация.
Накрутка поведенческих факторов путем имитации действий пользователей
Использование на сайте технологии кликджекинга - размещением на сайте невидимых пользователю элементов, взаимодействие с которыми осуществляется без его ведома или создание на сайте невидимых пользователю элементов поверх кнопок, форм, видеороликов и т.п.
Ошибочное закрытие раздела сайта или страницы в файле robots.txt или мета-тегом robots.
Заражение сайта вредоносным кодом с точки зрения ПС.
Сбои в работе хостинга или CMS из-за чего страница длительное время не доступна для роботов ПС.

Как определить выпавшие из индекса Яндекса страницы

В Яндекс Вебмастере имеется достаточно удобный инструмент по анализу страниц, которые поисковая система посчитала не соответствующими необходимым критерия качества. Владея этой информацией Вы сможете устранить допущенные ошибки для возврата возврата необходимых страниц в индекс поисковой системы Яндекс.

Резюме:

Чтобы избежать выпадения страниц сайта из индекса ПС следует следить за техническим состоянием ресурса и своевременно устранять возникающие ошибки. Не злоупотреблять рекламными блоками для информационных проектов, а для E-commerce проектов вообще от них отказаться. Не использовать запрещенных поисковыми системами техник, таких как клоакинг, дорвеи и кликджекинг. А также наполнять свой ресурс качественным и уникальным контентом полезным не только для SEO , но и для пользователей.

Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам:

Страница перенаправляет робота на другие страницы.

Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.

Если вы устранили причину удаления страницы, . Так вы сообщите роботу об изменениях.

Вопросы и ответы про исключенные из поиска страницы

На странице правильно заполнены метатеги Description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?

Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег Description и элемент title могут создаваться автоматически, повторять друг друга.

Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.

Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?

Это может происходить по нескольким причинам:

Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.

Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. по интересеющему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.

В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?

В этой статье мы расскажем, почему Яндекс может не индексировать конкретную страницу на сайте, раздел или весь проект целиком. Описанные проблемы могут повлиять и на индексацию в Google, и в любых других поисковых системах. Выпадение страниц из индекса – серьезная проблема, поскольку напрямую влияет на потенциальное количество переходов, которое может получить ресурс из поисковых систем.

1. Яндекс не индексирует сайт полностью

Если у вас новый сайт, то он появится в поисковой системе не сразу – может пройти от 2-3 недель до месяца. Как правило, Google быстрее находит и индексирует новые проекты, Яндекс – медленнее.

Если 2-3 недели прошло и все равно Яндекс не индексирует сайт – возможно, он просто о нем не знает:

Добавьте ссылку на сайт в специальную форму: http://webmaster.yandex.ru/addurl.xml
Добавьте сайт в сервис Яндекс.Вебмастер: http://webmaster.yandex.ru
Добавьте на сайт Яндекс.Метрику
Разместите на сайт ссылки из социальных сетей и блогов (роботы поисковых систем активно индексируют новый контент в социальных сетях и блогах);

1.2. Старый сайт частично или полностью выпал из индекса

Данную проблему вы заметите, сравнив число страниц на сайте и количество страниц в индексе поисковой системы (можно посмотреть через сервис Яндекс.Вебмастер).

Если из индекса выпало большинство страниц, и осталась только главная страница или главная и несколько внутренних – проблема скорее всего в наложенном фильтре АГС . Яндекс посчитал контент вашего сайта неуникальным или мало привлекательном для пользователей. Необходимо переработать содержание сайта.

Помимо наложения фильтров, Яндекс может не индексировать сайт по следующим причинам:

Случайно запретили индексацию в файле Robots.txt . Проверьте его содержание.
Робот не может получить доступ к сайту по причине нестабильной работы хостинга или IP-адрес робота случайно забанили (например, сайт отражал DDOS-атаку и робота поисковой системы приняли за атакующего).

2. Яндекс не индексирует страницы на сайте

Данная проблема встречается чаще, чем выпадение всего сайта из индекса. Из типичных проблем, при которых Яндекс может не индексировать страницу, можно выделить:

Робот поисковой системы не доходит до страницы из-за запутанной структуры сайта или высокого уровня вложенности. Постарайтесь сделать так, чтобы на любую страницу сайта можно было попасть, сделав два щелчка мышкой. Создайте карту сайта.
На странице мало уникального, интересного контента, и поисковая система не считает ее полезной для посетителей. Проверьте уникальность текста, доработайте его, сделайте более полезным.
Количество страниц на сайте превышает лимит, выделенный поисковой системой для проекта. Например, Яндекс готов взять в индекс с вашего сайта 10 тысяч страниц, а на вашем проекте – 15 тысяч страниц. В любом случае 5 тысяч страниц в индекс не попадут. Старайтесь развивать проект, чтобы повысить лимит – и закрывайте от индексации ненужные, служебные страницы, чтобы освободить место в индексе для продвигаемых страниц.
На страницу нет ссылок – соответственно, поисковая система не может ее найти.
Страница запрещена к индексации в файле Robots.txt . Проверьте содержание файла.
Страница содержит атрибут noindex в мета-теге robots, поэтому не индексируется поисковыми системами. Проверьте код страницы.
Меню сайта сделано на флеше, который поисковые системы не обрабатывают. Соответственно, Яндекс не индексирует страницы сайта, ссылки на которые спрятаны во флеше. Необходимо сделать альтернативное меню, ссылки в котором будут доступы для роботов поисковых систем.

Кто не хочет быть первым в поисковой выдаче Яндекса и Google? Даже если ваш сайт некоммерческий. Таких нет. Ибо, как гласит народная мудрость, плох тот солдат который не хочет быть генералом.
Примерно вот так выглядит первая страница поисковой выдачи Яндекса по запросу «Купить фотоаппарат»:

Как видите первыми идут рекламные материалы, а затем Яндекс.Маркет и сайты популярных сетевых магазинов торгующих бытовой техникой М.Видео и Эльдорадо.
Попасть на первую страницу в выдаче по запросу «купить фотоаппарат » означает обеспечить себя гарантированным потоком пользователей, заинтересованных в покупке фотоаппарата. Это ли не мечта любого владельца сайта по продаже фототехники?

Как гарантированно попасть на первую страницу в поисковой выдаче?

Вариантов всего два. Первый — это создать сайт, который попадёт в десятку лучших по нужным запросам. Второй — заказать рекламу в Яндекс.Директ.
Рассмотрим оба варианта.

1. Создать сайт, который попадёт в десятку лучших по нужным запросам.

Задача сложная, но вполне решаемая. Для этого необходимо заняться SEO-продвижением. Можно это сделать самостоятельно, а можно обратиться к профессионалам.
Что конкретно можно сделать, чтобы поднять свой сайт на первую страницу?

Провести юзабилити-аудит сайта и получить квалифицированные рекомендации по его улучшению. Что это даст?
Во-первых , специалисты выявят существующие на сайте проблемы, и дадут рекомендации о том, как их устранить. Чем лучше сайт, тем выше вероятность, что он попадёт в топ-10.
Во-вторых , если сайт вдруг удастся продвинуть на заветное место поисковой выдачи, и пользователи начнут на него переходить, а затем сразу же закрывать, то долго на этом месте сайт не продержится. Поисковики скоро поймут, что сайт не нравится пользователям, и вновь отодвинут его подальше.
Поэтому легче и лучше продвигать действительно хорошие сайты, а улучшить сайт можно как раз с помощью юзабилити-аудита.
Написать самому хорошие продающие тексты для сайта или заказать их у seo-копирайтеров. Такие тексты написаны по определённым правилам. С одной стороны, в них учтено вхождение достаточного количества ключевых слов. А с другой стороны, они написаны именно для пользователей – с учётом интересов и поведенческих особенностей целевой аудитории. Иными словами мало просто писать для людей, нужно чтобы сайт отвечал поисковым запросам. Главное правило: не что люди ищут, а как люди ищут . Ваш сайт должен разговаривать с посетителями на одном языке.
Заказать регистрацию в каталогах статей , с целью получить весомые ссылки на свой сайт и зарекомендовать себя в качестве эксперта.
После этого зарегистрировать сайт в каталогах сайтов – это поможет получить ссылки на ваш сайт с нужными анкорами, кроме того, они будут разнородные, что более естественно.

Только помните, что любые действия по оптимизации сайта занимают время и не дают гарантированного результата. Чем выше конкуренция в интересующей вас сфере, тем сложнее продвинуть сайт. Позиции сайта, скорее всего, улучшатся, но никто не сможет дать гарантий, что вы попадёте именно в топ-10 по всем интересующим ключевым запросам.
Если решите обратиться к профессионалам, то тут главное выбрать правильную компанию. Я рекомендую специалистов Сервиса 1PS.RU, которые уже 13 лет занимаются продвижением сайтов в поисковых системах и предоставляют все перечисленные выше услуги, что достаточно удобно. Рекомендую почитать отзывы о работе Сервиса 1PS.RU .

2. Заказать контекстную рекламу на Яндекс.Директ.

По некоторым запросам очень трудно попасть в ТОП-10. Если не получилось, то не беда! Ведь есть контекстная реклама, которая показывается выше поисковой выдачи. А первые места на странице выдачи поиска гарантированы вам уже через 3 дня. К тому же платить придётся только за тех клиентов, которые заинтересуются вашим предложением и перейдут по ссылке объявления на ваш сайт. Это очень эффективный и удобный способ рекламы.
Что нужно сделать, чтобы получить максимальную отдачу от рекламы в поисковых системах?

Подобрать ключевые слова с учётом интересов целевого посетителя.
Совет: поручите этот вопрос интернет-маркетологу, который проведёт предварительные исследования целевой аудитории и проверит популярность каждого запроса.
Написать объявления, которые привлекут клиента и побудят его к действию.
Установить на сайте специальные программы-счётчики.
Проводить периодический срез по результатам рекламной компании с тем, чтобы вовремя внести корректировки.

Сервис 1PS.RU предлагает три тарифа по размещению контекстной рекламы : Тариф Базовый, Тариф Стандартный и Тариф Премиум. Вы можете выбрать любой из них, в зависимости от ваших познаний Интернет-маркетинга, уровня конкуренции в вашей сфере бизнеса и ваших финансовых возможностей.
И SEO, и контекстная реклама имеют свои плюсы и минусы. Какой способ продвижения сайта выбрать – решать вам. Если вы всё ещё сомневаетесь, то обратитесь к специалистам Сервиса 1PS.RU . Они подскажут оптимальный вариант именно для вашего сайта.

P.S.

Все действия по продвижению сайта с целью его появления на первых местах в поисковой выдаче Яндекса можно проводить самостоятельно и совершенно бесплатно. Методика и способы не меняются. Это написание статей которые попадают в ТОП-10 по поисковым запросам и реклама в Яндекс.Директ.
Но помните, что когда вы выполняете работу самостоятельно вы платите зарплату сами себе, ведь все равно несете некоторые издержки, кроме того в это же самое время вы могли бы преуспеть в том деле которое у вас лучше всего получается.
По части продвижения сайта все зависит от того, что вы хотите получить на выходе и какой ваш уровень профессионализма в той или иной области. Ведь ничто не мешает самостоятельно выращивать пшеницу, молоть муку и выпекать хлеб. Но человечество уже давно отошло от натурального хозяйства и предпочитает разделение труда. Да и быть специалистом во всех областях просто невозможно.

Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.

Нет уверенности, но кое-какие наблюдения наводят на мысль, что эффект проявляется при проигрывании флеш баннеров. Может быть такое прооисходит, если у клиента установлен плеер старой и дырявой версии? Вообщем, проблема есть, не распространенная, но есть. Было бы проще, конечно, если бы гарантировано можно было вопсроизводить этот эффект. А так, клиентов не удобно просить- выключть, включить и пр для экспериментов. МОжет такое встречаплось у кого-нибудь?

","contentType":"text/plain"},"proposedBody":{"source":"

","contentType":"text/plain"},"authorId":"6446625","slug":"8396","canEdit":false,"canComment":false,"isBanned":false,"canPublish":false,"viewType":"old","isDraft":false,"isOnModeration":false,"isSubscriber":false,"commentsCount":33,"modificationDate":"Thu Oct 17 2013 14:14:00 GMT+0000 (UTC)","showPreview":true,"approvedPreview":{"source":"

","html":"Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.","contentType":"text/plain"},"titleImage":null,"tags":,"isModerator":false,"publishCount":1,"commentsEnabled":true,"url":"/blog/partner/8396","urlTemplate":"/blog/partner/%slug%","fullBlogUrl":"https://yandex.ru/blog/partner","addCommentUrl":"/blog/createComment/partner/8396","updateCommentUrl":"/blog/updateComment/partner/8396","addCommentWithCaptcha":"/blog/createWithCaptcha/partner/8396","changeCaptchaUrl":"/blog/api/captcha/new","putImageUrl":"/blog/image/put","urlBlog":"/blog/partner","urlEditPost":"/blog/56a93308d97351872e73283f/edit","urlSlug":"/blog/post/generateSlug","urlPublishPost":"/blog/56a93308d97351872e73283f/publish","urlUnpublishPost":"/blog/56a93308d97351872e73283f/unpublish","urlRemovePost":"/blog/56a93308d97351872e73283f/removePost","urlDraft":"/blog/partner/8396/draft","urlDraftTemplate":"/blog/partner/%slug%/draft","urlRemoveDraft":"/blog/56a93308d97351872e73283f/removeDraft","urlTagSuggest":"/blog/api/suggest/partner","urlAfterDelete":"/blog/partner","isAuthor":false,"subscribeUrl":"/blog/api/subscribe/56a93308d97351872e73283f","unsubscribeUrl":"/blog/api/unsubscribe/56a93308d97351872e73283f","urlEditPostPage":"/blog/partner/56a93308d97351872e73283f/edit","urlForTranslate":"/blog/post/translate","urlRelateIssue":"/blog/post/updateIssue","urlUpdateTranslate":"/blog/post/updateTranslate","urlLoadTranslate":"/blog/post/loadTranslate","urlTranslationStatus":"/blog/partner/8396/translationInfo","urlRelatedArticles":"/blog/api/relatedArticles/partner/8396","author":{"id":"6446625","uid":{"value":"6446625","lite":false,"hosted":false},"aliases":{},"login":"rlocman","display_name":{"name":"Муратов С..mds.yandex.net/get-yapic/0/0-0/islands-middle","isYandexStaff":false},"originalModificationDate":"2013-10-17T10:14:40.000Z","socialImage":{"orig":{"fullPath":"http://avatars.yandex.net/get-yablog/4611686018427441880/normal"}}}}}">