Проверить индексацию сайтов списком: Как быстро проверить индексацию сайта в Google и Яндекс

Содержание

Индексация страниц и сайта в Яндексе и Google

Индекс поисковой системы — база данных, которая хранит информацию о веб-документах. Назначение этого «хранилища» очевидно — используя базу данных, поисковик может быстро и точно вычислять значения факторов ранжирования, численное значение релевантности URL по запросу пользователя и формировать результаты выдачи.

Для SEO-специалистов и владельцев сайтов это означает одно — какое количество страниц проиндексировано, такое количество документов и может быть найдено в результатах выдачи по целевым запросам и столько же URL может привлекать трафик.

Как быстро проверить индексацию в Яндексе и Google?

Способов и сервисов массовой проверки индексации страниц достаточно много и у нас есть три инструмента, которые определяют количество документов в индексе по домену:

Просто укажите домен в любом из них. Инструмент поможет проверить сайт и обозначит количество проиндексированных страниц в базе данных Google и Яндекс, с учётом поддоменов или без них:

Если данные нескольких проверок разнятся, обратите внимание на историю индексации сайта в панелях Яндекс. Вебмастера и Google Search Console. Данные в них являются наиболее достоверными, так как результаты выдачи поисковых систем с использованием операторов с течением времени могут немного отличаться.

Поисковые операторы для проверки индексации

Узнать индексацию сайта можно, используя операторы поиска. Для Яндекса это операторы «site:», «host:» и «url:».

Для Google — «site:», «inurl:» и «info:».

В обеих поисковых системах указываются приблизительные результаты, но можно использовать дополнительные параметры, чтобы узнать, сколько страниц было проиндексировано, например, за неделю:

Для того, чтобы проверить индексацию определённой страницы сайта используйте оператор «url:» для Яндекса и «info:» для Google.

Вебмастер и Search Console

Если вы уже добавили свой сайт в панель Яндекс.Вебмастер и/или Google Search Console, то можете детально отслеживать статус сканирования и индексирования документов.

В Вебмастере переходим на вкладку «индексирование» — «страницы в поиске». Здесь расположилась статистика по добавленным и удалённым из поиска документам. Также можно посмотреть историю изменений для всего сайта за определённый интервал дат:

Проверить индексацию сайта в Google можно с помощью Search Console. В новой версии консоли переходим на вкладку «статус» — «индексирование отправленных URL» и получаем картину изменений, ошибок, исключенных страниц и график показов:

Возможный контроль индексации

Важно понимать, что сканирование или обход страницы сайта не означает её попадание в индекс. Иногда необходимо запретить индексирование страниц, которые не нужны в поиске, например: URL с техническими GET-параметрами, служебные или пользовательские документы (корзина, личный кабинет и прочие), документы с UTM-метками. Поэтому каждому сайту желательно иметь:

Sitemap.xml — файл, который помогает поисковым роботам сканировать сайт, с учётом заданных приоритетов.

Robots. txt — файл, задающий правила и параметры обхода для всех роботов поисковых систем или индивидуально для каждой:
- С помощью команды Disallow можно запрещать индексирование отдельных URL или разделов сайта.
- Crawl delay — задаёт минимальное время обращения робота к серверу для избегания нагрузок на сайт.
- Clean param — позволяет указать неважные для индексации CGI-параметры в URL-адресах, то есть различные идентификаторы пользователей, сессий и так далее. Используется только в Яндексе.

Открытые страницы должны быть в поиске, только тогда можно думать о ранжировании. Не забывайте проверять сайт на индексацию, отслеживайте изменения и удачных позиций в выдаче!

Задайте вопрос или оставьте комментарий

Другие вопросы нашего FAQ

Как проверить индексацию конкретной страницы и всего сайта в Яндексе и Google?

Индексация — процесс добавления сведений о сайте роботом в базу данных, которая потом используется для поиска. Бот индексирует ссылки, изображения, видео, и другие элементы на сайте. Если сайт или отдельная страница не проиндексированы, то поисковая система просто не их увидит. Рассказываем как проверить индексацию.

Яндекс

Проверка индексации страницы

Необходимо в строку поиска Яндекс написать следующий запрос:

url:domain.ru/page/

domain.ru/page/ — адрес проверяемой страницы. Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www, и без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.

url: — оператор для проверки индексации страницы.

Если в результатах поиска страница найдена, значит она проиндексирована данной поисковой системой. Пример.

Если по запросу ничего не найдено, страница не проиндексирована

Проверка индексации всего сайта в Яндексе

Для проверки индексации всего сайта в Яндекс необходимо использовать следующий запрос:

url:domain. ru/*

domain.ru — доменное имя проверяемого сайта.

url: — оператор для проверки индексации страницы.

* — оператор «любой символ».

Важно! Вводить необходимо адрес с www, если страницы на сайте открываются с www и без www, если на сайте они без www. Если вы не уверены — проверьте оба варианта.

В результате получаем список проиндексированных страниц, а справа от результатов выдачи написано, сколько всего страниц данного сайта находится в поиске. Пример.

Иногда данный запрос не работает и вместо него можно использовать оператор site:domain.ru

Google

Проверка индексации страницы

Необходимо ввести в строку поиска Google запрос:

info:domain.ru/page

domain.ru/page — адрес проверяемой страницы.

info: — оператор для проверки индексации страницы.

Если страница проиндексирована, значит в результатах поиска будет ссылка на проверяемую страницу. Пример.

Проверка индексации всех страниц сайта в Google

Для проверки индексации страницы в поисковой системе Google необходимо ввести в строку поиска запрос:

site:domain.ru

domain.ru — доменное имя сайта.

site: — оператор проверки индексации всех страниц сайта.

В результатах поиска появится список страниц в поиске, а под поисковой строкой общее количество проиндексированных страниц.
Пример.

Проверка индексации сайта в поисковых системах Яндексе и Google

Как проверить индексацию для неподтвержденного сайта мы рассказали ранее. В данной статье расскажем о проверке с помощью данных, которые предоставляет Яндекс Вебмастер и Google Search Console.

Список проиндексированных страниц

Для того чтобы получить полный список проиндексированных страниц в Яндексе, необходимо зайти в раздел Индексация > Страницы в поиске > вкладка «Все страницы».

Ниже представлен список всех страниц, находящихся в поиске, и возможность выгрузить таблицу в XLS и CSV.

В новой версии Google Search Console также появилась возможность увидеть список всех проиндексированных страниц. Для этого нужно зайти в отчет «Покрытие» (в разделе «Индекс»).

В списке ниже представлена информация о страницах, о которых известно поисковой системе и дополнительная информация по ним.

Детальный список проиндексированных страниц можно получить из списка со статусом «Страница без ошибок».

Проверка индексации

Чтобы обнаружить «мусорные страницы», нужно следовать следующему алгоритму:

Получаем полный список страниц, которые должны быть проиндексированы. Для этого мы используем программу Screaming Frog SEO Spider. При правильной настройке файла robots.txt спарсится список всех доступных для индексации страниц.

Выгружаем индексируемые страницы сайта из Вебмастеров.

Сравниваем попарно получившиеся списки с помощью инструмента «Условное форматирование» в Excel, подсветив все уникальные значения.

В ходе сравнения могут возникнуть следующие ситуации:

подсветка страниц, которые есть только в списке парсера. В таком случае нужно диагностировать причину, почему страница не находится в индексе. Если она должна индексироваться, то отправляем ее на переобход. Как это делать, описано в статье.

подсветка страниц, которые есть только в индексе. В данном случае пытаемся понять, почему ее нет в списке всех страниц сайта. Возможно, это страница с кодом 404, которая так и не была удалена поисковым роботом или деактивированный элемент, у которого неверно настроен код ответа.

Для удаления страниц в Вебмастере существует инструмент «Удаление страниц из поиска», позволяющий единовременно удалить до 500 отдельных страниц или группу страниц по префиксу в url. Главное, чтобы страницы были закрыты от индексации.

Инструмента для принудительного удаления страниц у Google нет, но можно временно удалить свои URL из результатов поиска.

Для этого необходимо зайти в старую версию Search Console и в левом меню выбрать «Индекс Google» > «Удалить URL-адреса».

Далее указываем URL страницы, которую вы хотите скрыть. Выбираем из списка необходимое действие и отправляем запрос.

#104

Февраль’19

1058

#60

Февраль’18

3327

Проверить индексацию сайта 🚀 – анализ индексации страниц Яндексом и Google

Сегодня любой крупный поисковик постоянно меняет алгоритмы ранжирования и предпочтения в сортировке сайтов. Одновременно изменяется время индексирования страниц, каждая из которых может стать весомым плюсом в поисковой выдаче или во внешней ссылочной массе. Иногда страницы после нового ранжирования «вылетают» из индексированной базы, а значит и из поиска целыми пачками. Соответственно оптимизаторы и владельцы сайтов обязаны постоянно проверять наличие конкретных страниц в индексе Яндекса и Google. Подобный анализ позволяет избегать досадных ситуаций, когда серьёзные надежды строятся в расчёте на раздел или статью, которая по каким-то причинам не попала в индексированный массив.

Очередной сервис от Серпхант предлагает простой и удобный инструмент, позволяющий быстро и бесплатно проверить индексацию страницы сайта в Яндексе и Google. Эта автоматическая программа выгодно отличается следующими преимуществами:

максимально быстрая выдача результатов;

возможность загрузки и до 100 адресов;

гарантия достоверности предоставляемых сведений;

отсутствие платы за использование.

Поэтому вам достаточно просто ввести до 100 адресов страниц сайта, чтобы уже через пару минут посмотреть, индексируются ли введенные разделы Яндексом и Google. Наш автоматизированный онлайн сервис индексации сайта не даёт сбоев и всегда работает как швейцарские часы!

Напоследок стоит отметить один ключевой момент. Профессиональным SEO-специалистам и владельцам сайтов стоит помнить о том, что каждый день неиндексированная страница постепенно утрачивает свою уникальность из-за массового пополнения информационного поля интернета новыми материалами. Своевременная индексация сайта является своеобразным подтверждением авторских прав на контент страницы, которая будет зарегистрирована в базе данных поисковой системы. В противном случае вы рискуете не только оригинальным содержимым, которое может быть попросту украдено. В этом случае можно потерять авторство в целом, которое может быть присвоено мошенниками, умеющими ускорять индексацию.

Предлагаемый сервис позволит вам быстро посмотреть, как обстоят дела у каждой страницы с индексом и принять соответствующие меры в случае отсутствия положительного результата.

Сервис проверки индексации сайта от Серпхант – бесплатно, быстро, достоверно и результативно!

Проверка индексации сайта. Как найти мусорные или недостающие страницы — SEO на vc.ru

Как проверить индексацию для неподтвержденного сайта мы рассказали ранее. Сейчас же расскажем о проверке с помощью данных, которые предоставляет Яндекс Вебмастер и Google Search Console.

3125

просмотров

Список проиндексированных страниц

Ниже представлен список всех страниц, находящихся в поиске, и возможность выгрузить таблицу в XLS и CSV.

Детальный список проиндексированных страниц можно получить из списка со статусом «Страница без ошибок».

Проверка индексации

Чтобы обнаружить «мусорные страницы», нужно следовать следующему алгоритму:

Получаем полный список страниц, которые должны быть проиндексированы. Для этого мы используем программу Screaming Frog SEO Spider. При правильной настройке файла robots.txt спарсится список всех доступных для индексации страниц.
Выгружаем индексируемые страницы сайта из Вебмастеров.
Сравниваем попарно получившиеся списки с помощью инструмента «Условное форматирование» в Excel, подсветив все уникальные значения.

В ходе сравнения могут возникнуть следующие ситуации:

подсветка страниц, которые есть только в списке парсера. В таком случае нужно диагностировать причину, почему страница не находится в индексе. Если она должна индексироваться, то отправляем ее на переобход.
подсветка страниц, которые есть только в индексе. В данном случае пытаемся понять, почему ее нет в списке всех страниц сайта. Возможно, это страница с кодом 404, которая так и не была удалена поисковым роботом или деактивированный элемент, у которого неверно настроен код ответа.

Для этого необходимо зайти в старую версию Search Console и в левом меню выбрать «Индекс Google» > «Удалить URL-адреса».

Ждите новые заметки в блоге или ищите на нашем сайте.

Как проверить индексацию всего сайта и конкретной страницы в Яндексе и Google: инструкция по сервисам и рекомендации

Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.

Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.

Рассмотрим каждый вариант подробнее.

Оглавление:

Проверка индексирования сайта через панель Яндекс. Вебмастера и Google Search Console

Проверка количества проиндексированных страниц в ПС при помощи операторов

Анализ индексации сайта при помощи плагинов и расширений

Отслеживание проиндексированных страниц с помощью online сервисов

Программы для контроля индексации сайта

Проверка индексации страницы

Почему сайт может не индексироваться

Выводы SEO-специалиста Веб-центра

1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

Бесплатный и достоверный способ с использованием сервисов для вебмастеров.

Яндекс.Вебмастер

В первую очередь выполняем авторизацию в аккаунте Яндекса и входим в сервис Вебмастер. Далее вводим url ресурса и нажимаем кнопку «Добавить».

Добавление сайта в вебмастер Яндекса

После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.

Просмотр страниц в поиске Яндекса через панель для вебмастеров

Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».

Просмотр количества страниц в поиске на вкладке «Мои сайты»

Для анализа список страниц можно скачать из сервиса файлом в форматах .xls и .csv.

Google Search Console

Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис search. google, вводим url сайта и нажимаем кнопку «Добавить ресурс».

Пример верификации в панели вебмастеров в Гугл

После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».

Просмотр страниц в ПС Гугл через панель для вебмастеров

Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.

Примеры проверки индексации сайта

На скриншоте – сайт, у которого нет проблем с индексацией в Яндексе

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Яндекса

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Гугл

2.

Проверка количества проиндексированных страниц в ПС при помощи операторов

Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru».

Пример использования оператора «site» в Яндексе

Пример использования команды «site» в Гугле

3. Анализ индексации сайта при помощи плагинов и расширений

Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.

Пример использования плагина SEO-tools

Установить расширение вы можете по ссылке

Пример использования расширения RDS bar

Установить расширение вы можете по ссылке

4.

Отслеживание проиндексированных страниц с помощью online сервисов

Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru
вводим url и нажимаем «Анализировать».

Скриншот проверки индексации сайта в a.pr-cy.ru

Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.

5. Программы для контроля индексации сайта

Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.

Скриншот фрагмента анализа сайта в программе Site-Auditor

Проверка индексации страницы

Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:

1. В панели для вебмастеров:

Яндекс – следовать по пути «Индексирование» – «Проверить статус URL». В поле для ввода данных ввести либо полный урл интересующей страницы, либо путь от корня сайта начинающийся с «/». Далее нажать кнопку «Проверить».

Проверяемая страница в поиске Яндекса

Google – перейти во вкладку «Проверка URL» и ввести урл интересующей страницы.

Проверяемая страница проиндексирована в Google

2. Оператор «url»

В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».

Пример использования оператора «url» в ПС Яндекс

3. Оператор «info»

В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»

Пример использования оператора «info» в ПС Гугл

Почему сайт может не индексироваться

В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.

Ошибки в файле robots.txt

Файл robots.txt – это текстовый документ в формате .txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.

Отсутствие файла sitemap.xml

Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.

Новый сайт

Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.

Приватные настройки

В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.

Тег «noindex»

Страницы могут быть закрыты от индекса в коде с помощью мета тега name=»robots» content=»noindex, nofollow» />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».

Мусорные страницы

Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.

Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле .htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.

Выводы SEO-специалиста Веб-центра

Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.

Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap. xml, также можно отправлять на переобход важные страницы ресурса.

Подробно эту тему мы разобрали в видео на нашем Ютуб-канале

Проверка индексации сайта в Google и Яндекс

Ситуация не из приятных: сканирование сайта поисковыми роботами проходит достаточно быстро, но процесс добавления страниц в индекс не оправдывает ожиданий. Одни страницы сайта не попадают в базу поисковых систем, а другие удаляются. В результате ресурс ранжируется по проиндексированным данным. Если в индекс попали целевые страницы, вам повезло чуть больше. Так или иначе на позиции сайта в выдаче проблемы с индексацией влияют отрицательно. Особенным «приколом» 2021 года стало то, что функция принудительного переобхода страниц (когда обновляешь контент старых страниц) перестала корректно работать в Google.

Мы подготовили чек-лист, который поможет быстро оценить видимость страниц индексе и их количество.

Корректное управление индексацией позволяет оптимизировать расход краулингового бюджета: роботы индексируют только важные для продвижения страницы.

Панели веб-мастеров

В Google Search Console проверяем «Статус индексирования» в разделе «Индекс». Проблемы с индексацией выглядят следующим образом:

Отметка «Проиндексировано всего» указывает число адресов, добавленных в индекс.

Просмотр удаленных страниц, прошедших индексацию успешно или с ошибкой доступен в отчете «Покрытие». Также можете проверить определенную страницу на попадание в индекс.

Проверка в Яндекс.Вебмастере осуществляется через путь «Индексирование сайта» — «Страницы в поиске». Далее при выборе «История» получим динамику количества страниц в поиске.

Проверка вручную: поисковые операторы

Операторы поисковых систем используются для уточнения результатов поиска. Оператор «site:» выводит список проиндексированных страниц. Для применения параметра в поисковую строку Google или Яндекс введите «site:[url сайта]». Для получения точных данных в Google необходимо перейти на последнюю страницу поиска. Различия в полученных цифрах — показатель наличия проблем на сайте или его попадания под фильтр поисковых систем.

Оператор Cache проверяет частоту посещения сайта поисковым ботом. Настройте дополнительные инструменты поиска, чтобы просмотреть данные об индексации за час, день, неделю, месяц, год или все время.

Автоматизированная проверка: плагины и букмарклеты

Букмарклеты — скрипты, сохраняемые в закладках браузера. Принцип работы плагинов и букмарклетов одинаковый: открываете сайт для проверки и призываете на помощь закладку из браузера. В результате получаете необходимую информацию за один клик, ничего не прописывая и не настраивая.

Расширения: SEO-tools, RDS bar, SimilarWeb, MozBar.

Работа с плагином RDS bar

Специальные сервисы проверки

Специальные сервисы облегчают работу SEO-специалистов: позволяют не только проверить индексацию, но и выявить возможные проблемы. Среди таких сервисов: Netpeak Spider, SEO-reports, Rush Analytics. Кроме проиндексированных страниц дополнительно получаете код ответа, заголовки, метаописания, robots.txt и пр.

Возможные причины выпадения страниц из индекса и их решение:

Недавний запуск сайта.

Индексирование недавно появившегося сайта занимает много времени. Для ускорения процесса пройдите регистрацию в «Add url», разместите сайт в каталоге и добавьте ссылки с рейтинговых ресурсов, социальных сетей.

Отсутствие карты сайта (sitemap.xml).

Ее основная функция: сообщать поисковым системам об изменениях на ресурсе и задавать частоту проверки. Такие карты помогают сайту индексироваться быстрее с более эффективной скоростью обхода.

Чтобы проверить, есть ли страница в файле sitemap, используйте инструмент проверки URL в Search Console.

Как использовать Google Search Console маркетологу (длительность 8 минут)

Приватные настройки WordPress.

В настройках чтения уберите галочку с пункта «Видимость для поисковых систем».

Ошибка в метатегах в коде страниц<meta name = “robots” content = “noindex”, nofollow” />.

Чтобы найти все страницы с метатегом noindex на вашем сайте, выполните аудит сайта через Ahrefs: просмотрите предупреждения в отчете “Внутренние страницы”. Для борьбы с этой ошибкой необходимо избавиться от строки или заменить элементы на «index» и«follow».

Ошибка в использовании директив в файле robots.txt. Закрытие доступа в robots.txt черезUser-agent: * Disallow: /

Подробнее о работе с индексным файлом читайте здесь.

Отсутствие уникального контента.
Дублирование страниц.

Заполните сайт качественным и собственным контентом, удалите мусорные страницы, чтобы избежать санкций от поисковиков.

Чтобы максимально повысить скорость индексации, обновляйте сайт не реже 3 раз в неделю. Например, размещайте новые публикации и обновляйте старый контент. Google будет чаще сканировать ваш сайт, а обновленные старые публикации сохранят актуальность для новых посетителей.

Собирайте информацию о соотношении проиндексированных страниц, динамике их индексации, отслеживайте тренды. Необходимо регулярно отслеживать индексирование сайта, чтобы своевременно решать проблемы и предотвращать отрицательные последствия, вносить изменения в стратегию продвижения.

Павел Савицкий, SEO-специалист GUSAROV:
В большинстве случаев я пользуюсь таким сервисом, как Netpeak Spider. После сканирования сайта можно определить не просто страницы, которые не индексируются, но и выявить причины непопадания их в индекс поисковых систем. Этих причин может быть много: отсутствие или некорректно заполненные заголовки, мета-теги (заголовки в выдаче), закрытие от индексации в служебном файле robots. txt, некорректно настроенный редирект и т.д. Наличие многофункциональных возможностей Netpeak Spider позволяет выгрузить различные типы страниц (например, индексируемые и неиндексируемые) с техническими ошибками в Excel, что в дальнейшем приводит к ускорению работы по исправлению неиндексируемых URL.

12.05.2021

10 способов заставить Google индексировать ваш сайт (которые на самом деле работают)

Если Google не индексирует ваш сайт, вы в значительной степени невидимы. Вы не будете отображаться ни по каким поисковым запросам и вообще не получите никакого органического трафика. Пшик. Нада. Нуль.

Учитывая, что вы здесь, я полагаю, это не новость для вас. Итак, приступим непосредственно к делу.

В этой статье рассказывается, как решить любую из этих трех проблем:

Весь ваш веб-сайт не проиндексирован.
Некоторые из ваших страниц проиндексированы, а другие нет.
Ваши недавно опубликованные веб-страницы не индексируются достаточно быстро.

Но сначала давайте удостоверимся, что мы находимся на одной странице и полностью понимаем эту ошибку индексирования.

Новичок в SEO? Ознакомьтесь с нашим

Что такое сканирование и индексирование?

Google обнаруживает новые веб-страницы путем сканирования Интернета, а затем добавляет эти страницы в свой индекс . Они делают это с помощью веб-паука под названием Googlebot .

Запутались? Определим несколько ключевых терминов.

Сканирование : процесс перехода по гиперссылкам в Интернете для обнаружения нового контента.
Индексирование : процесс сохранения каждой веб-страницы в обширной базе данных.
Web spider : Часть программного обеспечения, предназначенная для выполнения процесса сканирования в любом масштабе.
Googlebot : веб-паук от Google .

Вот видео от Google, которое более подробно объясняет этот процесс:

https: // www.youtube.com/watch?v=BNHR6IQJGZs

Когда вы что-то гуглите, вы просите Google вернуть все соответствующие страницы из их индекса. Поскольку часто есть миллионы страниц, отвечающих всем требованиям, алгоритм ранжирования Google делает все возможное, чтобы отсортировать страницы так, чтобы вы сначала увидели наилучшие и наиболее релевантные результаты.

Важный момент, который я здесь подчеркиваю, заключается в том, что индексирование и рейтинг — это две разные вещи .

Индексирование отображается для гонки; рейтинг выигрывает.

Невозможно выиграть, не заняв первое место в гонке.

Как проверить, проиндексированы ли вы в Google

Зайдите в Google, затем выполните поиск по сайту : yourwebsite. com

Это число примерно показывает, сколько ваших страниц проиндексировал Google.

Если вы хотите проверить статус индекса определенного URL, используйте тот же сайт : оператор yourwebsite.com/web-page-slug .

Никаких результатов не будет, если страница не проиндексирована.

Стоит отметить, что если вы пользователь Google Search Console, вы можете использовать отчет Охват , чтобы получить более точное представление о статусе индекса вашего веб-сайта. Просто перейдите по ссылке:

Google Search Console> Индекс> Покрытие

Посмотрите количество допустимых страниц (с предупреждениями и без них).

Если в сумме эти два числа не равны нулю, значит, Google проиндексировал по крайней мере некоторые страницы вашего веб-сайта. В противном случае у вас серьезная проблема, потому что ни одна из ваших веб-страниц не проиндексирована.

Примечание.

Не пользуетесь Google Search Console? Зарегистрироваться. Это бесплатно. Каждый, кто управляет веб-сайтом и заботится о трафике от Google, должен использовать Google Search Console. Это , что важно.

Вы также можете использовать Search Console, чтобы проверить, проиндексирована ли конкретная страница. Для этого вставьте URL-адрес в инструмент проверки URL-адресов.

Если эта страница проиндексирована, будет написано «URL находится в Google».

Если страница не проиндексирована, вы увидите слова «URL не в Google.”

Как получить индекс в Google

Вы обнаружили, что ваш веб-сайт или веб-страница не проиндексированы в Google? Попробуйте следующее:

Перейдите в Google Search Console
Перейдите к инструменту проверки URL-адресов
Вставьте URL-адрес, который Google должен проиндексировать, в строку поиска.
Подождите, пока Google проверит URL-адрес
Нажмите кнопку «Запросить индексирование»

Этот процесс является хорошей практикой при публикации нового сообщения или страницы. Вы фактически сообщаете Google, что добавили что-то новое на свой сайт и что они должны это изучить.

Однако запрос индексации вряд ли решит основные проблемы, мешающие Google индексировать старые страницы. В этом случае следуйте приведенному ниже контрольному списку, чтобы диагностировать и устранить проблему.

Вот несколько быстрых ссылок на каждую тактику — на случай, если вы уже попробовали:

Удалите блоки сканирования в файле robots.txt
Удалите мошеннические теги noindex
Включите страницу в вашу карту сайта
Удалите мошеннические канонические теги
Убедитесь, что страница не осиротела
Исправьте внутренние ссылки nofollow
Добавьте «мощные» внутренние ссылки
Убедитесь, что страница ценная и уникальная
Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет» )
Создавайте качественные обратные ссылки

1) Удалите блоки сканирования в ваших роботах.

txt

Google не индексирует весь ваш веб-сайт? Это может быть связано с блокировкой сканирования в файле robots.txt.

Чтобы проверить наличие этой проблемы, перейдите по адресу yourdomain.com/robots.txt .

Найдите любой из этих двух фрагментов кода:

 User-agent: Googlebot
Disallow: /

 Агент пользователя: *
Disallow: /

Обе они сообщают роботу Googlebot, что им не разрешено сканировать какие-либо страницы вашего сайта. Чтобы решить проблему, удалите их.Это , что просто.

Блок сканирования в robots.txt также может быть причиной, если Google не индексирует одну веб-страницу. Чтобы проверить, так ли это, вставьте URL-адрес в инструмент проверки URL-адресов в Google Search Console. Щелкните блок «Покрытие», чтобы получить более подробную информацию, затем найдите «Сканирование разрешено? Нет: заблокировано файлом robots.txt ».

Это означает, что страница заблокирована в robots.txt.

В таком случае еще раз проверьте файл robots. txt на наличие каких-либо запрещающих правил, относящихся к странице или соответствующему подразделу.

Удалите, если необходимо.

2) Удалите ложные теги noindex

Google не будет индексировать страницы, если вы им запретите. Это полезно для сохранения конфиденциальности некоторых веб-страниц. Это можно сделать двумя способами:

Метод 1: метатег

Страницы с любым из этих метатегов в разделе не будут проиндексированы Google:

Это метатег роботов, который сообщает поисковым системам, могут ли они индексировать страницу.

Примечание.

Ключевой частью является значение «noindex». Если вы это видите, значит для страницы задано значение noindex.

Чтобы найти все страницы с метатегом noindex на вашем сайте, запустите сканирование с помощью Ahrefs Site Audit. Перейдите к отчету Индексируемость . Ищите предупреждения «Страница Noindex».

Щелкните, чтобы увидеть все затронутые страницы. Удалите метатег noindex со всех страниц, которым он не принадлежит.

Метод 2: X ‑ Robots-Tag

Сканеры также учитывают заголовок HTTP-ответа X ‑ Robots-Tag.Вы можете реализовать это, используя язык сценариев на стороне сервера, такой как PHP, или в файле .htaccess, или изменив конфигурацию сервера.

Инструмент проверки URL-адресов в Search Console сообщает, заблокирован ли Google сканирование страницы из-за этого заголовка. Просто введите свой URL и найдите «Индексирование разрешено? Нет: «noindex» обнаружен в http-заголовке «X ‑ Robots-Tag»

Если вы хотите проверить наличие этой проблемы на своем сайте, запустите сканирование в инструменте аудита сайта Ahrefs, затем используйте «Информация о роботах в HTTP-заголовке». »В проводнике страниц:

Попросите разработчика исключить страницы, которые вы хотите проиндексировать, из возврата этого заголовка.

Рекомендуемая литература: Спецификации метатега роботов и HTTP-заголовка X ‑ Robots-Tag

3) Включите страницу в карту сайта

Карта сайта сообщает Google, какие страницы на вашем сайте важны, а какие нет т. Это также может дать некоторые рекомендации о том, как часто их следует сканировать повторно.

Google должен иметь возможность находить страницы на вашем веб-сайте независимо от того, есть ли они в вашей карте сайта, но по-прежнему рекомендуется включать их.В конце концов, нет смысла усложнять жизнь Google.

Чтобы проверить, есть ли страница в вашей карте сайта, используйте инструмент проверки URL в Search Console. Если вы видите ошибку «URL не в Google» и «Sitemap: N / A», значит, его нет в вашей карте сайта или он не проиндексирован.

Не используете Search Console? Перейдите по URL-адресу карты сайта — обычно yourdomain.com/sitemap.xml — и выполните поиск страницы.

Или, если вы хотите найти все просканируемые и индексируемые страницы, которых нет в вашей карте сайта, запустите сканирование в Ahrefs Site Audit. Перейдите в Page Explorer и примените эти фильтры:

Эти страницы должны быть в вашей карте сайта, поэтому добавьте их. После этого сообщите Google, что вы обновили карту сайта, выполнив ping по этому URL:

http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml

Replace эту последнюю часть с URL-адресом вашей карты сайта. Вы должны увидеть что-то вроде этого:

Это должно ускорить индексацию страницы Google.

4) Удалите ложные канонические теги

Канонический тег сообщает Google, какая версия страницы является предпочтительной.Выглядит это примерно так:

Большинство страниц либо не имеют канонического тега, либо так называемого канонического тега, ссылающегося на себя. Это говорит Google сама страница является предпочтительной и, вероятно, единственной версией. Другими словами, вы хотите, чтобы эта страница была проиндексирована.

Но если на вашей странице есть ложный канонический тег, то он может сообщать Google о предпочтительной версии этой страницы, которая не существует. В этом случае ваша страница не будет проиндексирована.

Чтобы проверить каноничность, воспользуйтесь инструментом Google для проверки URL. Вы увидите предупреждение «Альтернативная страница с каноническим тегом», если канонический тег указывает на другую страницу.

Если этого не должно быть и вы хотите проиндексировать страницу, удалите канонический тег.

ВАЖНО

Канонические теги не всегда плохи. У большинства страниц с этими тегами есть причины. Если вы видите, что ваша страница имеет канонический набор, проверьте каноническую страницу. Если это действительно предпочтительная версия страницы и ее также не нужно индексировать, то канонический тег должен остаться.

Если вы хотите быстро найти ложные канонические теги на всем сайте, запустите сканирование с помощью инструмента аудита сайта Ahrefs. Перейдите в проводник страниц. Используйте эти настройки:

Это ищет страницы в вашей карте сайта с несамодвижущимися каноническими тегами. Поскольку вы почти наверняка захотите проиндексировать страницы в карте сайта, вам следует дополнительно изучить, возвращает ли этот фильтр какие-либо результаты.

Весьма вероятно, что у этих страниц либо неверный канонический файл, либо их вообще не должно быть в вашей карте сайта.

5) Убедитесь, что страница не «осиротевшая».

Сиротские страницы — это страницы без внутренних ссылок, указывающих на них.

Поскольку Google обнаруживает новое содержание, сканируя Интернет, они не могут обнаружить потерянные страницы с помощью этого процесса. Посетители веб-сайта тоже не смогут их найти.

Чтобы проверить наличие лишних страниц, просканируйте свой сайт с помощью Ahrefs Site Audit. Затем проверьте отчет Ссылки на наличие ошибок «Потерянная страница (нет входящих внутренних ссылок)»:

Здесь показаны все страницы, которые одновременно индексируются и присутствуют в вашей карте сайта, но не имеют внутренних ссылок, указывающих на них.

ВАЖНО

Этот процесс работает только в том случае, если верны два условия:

Все страницы, которые вы хотите проиндексировать, находятся в ваших картах сайта
Вы установили флажок, чтобы использовать страницы в ваших картах сайта в качестве отправных точек для сканирования при настройке. проект в Ahrefs Site Audit.

Не уверены, что все страницы, которые вы хотите проиндексировать, есть в вашей карте сайта? Попробуйте следующее:

Загрузите полный список страниц вашего сайта (через вашу CMS)
Просканируйте ваш сайт (используя такой инструмент, как Ahrefs Site Audit)
Сделайте перекрестные ссылки на два списка URL-адресов

Любые URL-адреса не обнаружены во время сканирования, являются потерянными страницами.

Вы можете исправить потерянные страницы одним из двух способов:

Если страница не важна , удалите ее и удалите из карты сайта.
Если страница важна , включите ее во внутреннюю структуру ссылок вашего веб-сайта.

6) Исправить внутренние ссылки nofollow

Ссылки Nofollow — это ссылки с тегом rel = «nofollow». Они предотвращают передачу PageRank на целевой URL. Google также не сканирует ссылки nofollow.

Вот что Google говорит по этому поводу:

По сути, с использованием nofollow заставляет нас отбрасывать целевые ссылки из нашего общего графа сети. Однако целевые страницы могут по-прежнему отображаться в нашем индексе, если другие сайты ссылаются на них без использования nofollow или если URL-адреса отправлены в Google в файле Sitemap.

Короче говоря, вы должны убедиться, что следуют все внутренние ссылки на индексируемые страницы.

Для этого используйте инструмент Ahrefs Site Audit для сканирования вашего сайта.Проверьте отчет Ссылки на наличие индексируемых страниц с ошибками «Страница имеет только входящие внутренние ссылки nofollow»:

Удалите тег nofollow из этих внутренних ссылок, предполагая, что вы хотите, чтобы Google проиндексировал страницу. Если нет, либо удалите страницу, либо не индексируйте ее.

Рекомендуемая литература: Что такое ссылка Nofollow? Все, что вам нужно знать (без жаргона!)

7) Добавьте «мощные» внутренние ссылки

Google обнаруживает новый контент, сканируя ваш веб-сайт.Если вы не укажете внутреннюю ссылку на рассматриваемую страницу, они не смогут ее найти.

Одно из простых решений этой проблемы — добавить на страницу несколько внутренних ссылок. Вы можете сделать это с любой другой веб-страницы, которую Google может сканировать и индексировать. Однако, если вы хотите, чтобы Google проиндексировал страницу как можно быстрее, имеет смысл сделать это с одной из ваших наиболее «мощных» страниц.

Почему? Потому что Google, вероятно, будет повторно сканировать такие страницы быстрее, чем менее важные страницы.

Для этого перейдите в Site Explorer Ahrefs, введите свой домен, затем перейдите в отчет « Лучшее по ссылкам ».

Здесь показаны все страницы вашего веб-сайта, отсортированные по рейтингу URL (UR). Другими словами, сначала отображаются наиболее авторитетные страницы.

Просмотрите этот список и найдите соответствующие страницы, с которых можно добавить внутренние ссылки на рассматриваемую страницу.

Например, если бы мы хотели добавить внутреннюю ссылку на наше руководство по размещению гостевых сообщений, наше руководство по созданию ссылок, вероятно, предложило бы подходящее место для этого. И эта страница оказалась 11-й по значимости страницей в нашем блоге:

Google увидит эту ссылку и перейдет по ней в следующий раз, когда они повторно просканируют страницу.

pro tip

Вставьте страницу, с которой вы добавили внутреннюю ссылку, в инструмент проверки URL-адресов Google. Нажмите кнопку «Запросить индексирование», чтобы сообщить Google, что что-то на странице изменилось и что они должны повторно сканировать это как можно скорее. Это может ускорить процесс обнаружения внутренней ссылки и, следовательно, страницы, которую вы хотите проиндексировать.

8) Убедитесь, что страница ценная и уникальная

Google вряд ли будет индексировать некачественные страницы, потому что они не представляют ценности для пользователей.Вот что сказал об индексировании в 2018 году Джон Мюллер из Google:

Мы никогда не индексируем все известные URL, это нормально. Я бы сфокусировался на том, чтобы сделать сайт потрясающим и вдохновляющим, тогда все обычно получается лучше.
— 🍌 John 🍌 (@JohnMu) 3 января 2018 г.

Он подразумевает, что если вы хотите, чтобы Google проиндексировал ваш веб-сайт или веб-страницу, он должен быть «потрясающим и вдохновляющим».

Если вы исключили технические проблемы из-за отсутствия индексации, то причиной может быть отсутствие ценности.По этой причине стоит просмотреть страницу свежим взглядом и спросить себя: действительно ли эта страница ценна? Сможет ли пользователь найти ценность на этой странице, если щелкнет по ней в результатах поиска?

Если ответ на любой из этих вопросов отрицательный, то вам необходимо улучшить свой контент.

Вы можете найти больше потенциально некачественных страниц, которые не проиндексированы, с помощью инструмента аудита сайта Ahrefs и профилировщика URL. Для этого перейдите в Page Explorer в Ahrefs Site Audit и используйте следующие настройки:

Это вернет «тонкие» страницы, которые можно индексировать и которые в настоящее время не получают органического трафика.Другими словами, есть большая вероятность, что они не проиндексированы.

Экспортируйте отчет, затем вставьте все URL-адреса в URL Profiler и запустите проверку индексации Google.

ВАЖНО

Рекомендуется использовать прокси, если вы делаете это для большого количества страниц (т. Е. Более 100). В противном случае вы рискуете, что ваш IP-адрес будет забанен Google. Если вы не можете этого сделать, другой альтернативой является поиск в Google «бесплатной массовой проверки индексации Google». Есть несколько таких инструментов, но большинство из них ограничено <25 страницами за раз.

Проверьте все не проиндексированные страницы на предмет проблем с качеством. При необходимости улучшите, а затем запросите переиндексацию в Google Search Console.

Вы также должны стремиться исправить проблемы с дублирующимся контентом. Google вряд ли проиндексирует повторяющиеся или почти повторяющиеся страницы. Используйте отчет Дублированное содержимое в Аудите сайта, чтобы проверить наличие этих проблем.

9) Удалите некачественные страницы (для оптимизации «краулингового бюджета»)

Наличие на вашем сайте слишком большого количества некачественных страниц приводит только к потере краулингового бюджета.

Вот что Google говорит по этому поводу:

Потеря ресурсов сервера на [малоценных страницах] приведет к истощению активности сканирования со страниц, которые действительно имеют ценность, что может вызвать значительную задержку в обнаружении отличного содержания на сайте. .

Думайте об этом как об учителе, оценивающем эссе, одно из которых ваше. Если им предстоит оценить десять эссе, они довольно быстро доберутся до вашего. Если у них будет сотня, им потребуется немного больше времени. Если у них тысячи, их рабочая нагрузка слишком высока, и они, возможно, никогда не дойдут до оценки вашего эссе.

Google заявляет, что «сканирование бюджета […] — это не то, о чем следует беспокоиться большинству издателей», и что «если на сайте меньше нескольких тысяч URL-адресов, в большинстве случаев он будет сканироваться эффективно».

Тем не менее, удаление некачественных страниц с вашего веб-сайта никогда не бывает плохим. Это может только положительно повлиять на краулинговый бюджет.

Вы можете использовать наш шаблон аудита контента, чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.

10) Создавайте качественные обратные ссылки

Обратные ссылки говорят Google, что веб-страница важна.В конце концов, если кто-то на него ссылается, значит, он должен иметь какую-то ценность. Это страницы, которые Google хочет проиндексировать.

Для полной прозрачности Google индексирует не только веб-страницы с обратными ссылками. Есть много (миллиарды) проиндексированных страниц без обратных ссылок. Однако, поскольку Google считает страницы с качественными ссылками более важными, они, скорее всего, будут сканировать — и повторно сканировать — такие страницы быстрее, чем те, у которых нет. Это приводит к более быстрой индексации.

У нас есть много ресурсов для создания качественных обратных ссылок в блоге.

Взгляните на несколько руководств ниже.

Индексирование ≠ ранжирование

Индексирование вашего веб-сайта или веб-страницы в Google не означает рейтинга или трафика.

Это разные вещи.

Индексирование означает, что Google знает о вашем веб-сайте. Это не значит, что они будут ранжировать его по каким-либо релевантным и стоящим запросам.

Вот где приходит на помощь SEO — искусство оптимизации ваших веб-страниц для ранжирования по конкретным запросам.

Короче говоря, SEO включает:

Поиск того, что ищут ваши клиенты;
Создание контента по этим темам;
Оптимизация этих страниц под ваши целевые ключевые слова;
Создание обратных ссылок;
Регулярно переиздайте контент, чтобы он оставался «вечнозеленым». ”

Вот видео, которое поможет вам начать работу с SEO:

… и некоторые статьи:

Заключительные мысли

Есть только две возможные причины, по которым Google не индексирует ваш веб-сайт или веб-страницу:

Им мешают технические проблемы.
Они считают ваш сайт или страницу некачественными и бесполезными для своих пользователей.

Вполне возможно, что существуют обе эти проблемы.Однако я бы сказал, что технические проблемы встречаются гораздо чаще. Технические проблемы также могут привести к автоматическому созданию индексируемого некачественного контента (например, проблемы с фасетной навигацией). Это нехорошо.

Тем не менее, выполнение приведенного выше контрольного списка должно решить проблему индексации в девяти случаях из десяти.

Просто помните, что индексирование ≠ ранжирование. SEO по-прежнему жизненно важен, если вы хотите ранжироваться по любым полезным поисковым запросам и привлекать постоянный поток органического трафика.

Как заставить Google мгновенно индексировать ваш новый веб-сайт

Хотите, чтобы на ваш сайт было больше обычного поискового трафика?

Готов поспорить, что да, мы все делаем!

Органический поисковый трафик имеет решающее значение для развития вашего веб-сайта и бизнеса.

Согласно некоторым исследованиям, около 53% трафика вашего сайта можно отнести к обычному поиску.

Но статистика не имеет большого значения, если ваш сайт вообще не отображается в результатах поиска.

Как вы индексируете свой новый сайт или блог в Google, Bing и других поисковых системах?

Что ж, у вас есть два варианта.

Вы можете использовать «черепаховый» подход — просто сядьте и подождите, пока это произойдет естественным образом, но это может занять недели или месяцы.

(Поверьте, я бывал там раньше — не весело.)

Или вы можете сделать это сейчас, давая вам больше времени и энергии для увеличения коэффициента конверсии, улучшения вашего социального присутствия и, конечно же, написания и продвижения отличного и полезного контента.

Не знаю, как вы, но я бы предпочел, чтобы мои сайты были проиндексированы как можно быстрее, потому что это дает мне больше времени для расширения моей аудитории.

Именно с помощью этих стратегий я увеличил количество посетителей этого блога до 600 000 в месяц так же быстро, как и я!

Хотите сделать то же самое?

Не сдавайтесь, потому что в этом пошаговом руководстве я рассказываю обо всем, что узнал о SEO и о том, как быстро проиндексировать ваш сайт!

Я расскажу, как заставить Google быстро проиндексировать наш веб-сайт, что приведет к увеличению органического поискового трафика и повышению рейтинга.

Приступим!

Зачем вам нужен Google для индексации вашего сайта?

Во-первых, очевидный ответ.

Если вы хотите, чтобы ваш сайт вообще отображался в результатах поиска, его необходимо проиндексировать.

Однако вы не хотите, чтобы ваш сайт индексировался только один раз. Вы хотите, чтобы поисковые системы продолжали переиндексировать ваш сайт.

Поисковые системы, такие как Google, не обновляются автоматически.

Они полагаются на пауков — маленькие кусочки компьютерного кода, которые каждая поисковая система отправляет для «сканирования» сети (отсюда и «паук»).

Вам нужна эффективная частая скорость сканирования.

Работа паука — искать новые материалы в сети и обновлять уже проиндексированную версию вашего сайта. Этим «новым материалом» может быть новая страница на существующем сайте, изменение существующей страницы или совершенно новый сайт или блог.

Как только паук находит новый сайт или страницу, ему необходимо выяснить, о чем этот новый сайт или страница.

Еще на Диком Диком Западе ранней сети пауки поисковых машин были далеко не такими умными, как сегодня.Вы можете заставить паука проиндексировать и ранжировать вашу страницу, основываясь только на том, сколько раз конкретная поисковая фраза («ключевое слово») появлялась на странице.

Для сегодняшнего успеха контента нельзя полагаться на эти старые стратегии поисковой оптимизации.

Ключевое слово даже не обязательно должно быть в теле страницы. Многие люди оценивали торговую марку своего крупнейшего конкурента, просто вставляя десятки вариантов этой торговой марки в метатеги страницы!

К счастью для пользователей поиска Google и этичных владельцев веб-сайтов, те времена давно прошли.

Сегодня за наполнение ключевыми словами и метатегами вы будете наказаны, а не вознаграждены. А мета-теги ключевых слов на самом деле вообще не являются частью алгоритма (хотя все же есть веские причины их использовать).

Если вы не будете осторожны, ваш сайт может вообще исключить из индекса, а это значит, что ваш сайт вообще не будет ранжироваться ни по одному ключевому слову.

В наши дни Google больше заботится об общем опыте пользователей на вашем сайте и о намерениях пользователей, стоящих за поиском — i.д., хочет ли пользователь что-то купить (коммерческое намерение) или чему-то научиться (информационное намерение)?

Они даже сделали Page Experience фактором ранжирования.

Не поймите меня неправильно — ключевые слова по-прежнему имеют значение. По словам Брайана Дина из Backlinko, важны и другие факторы — всего до 200. К ним относятся такие вещи, как качественные входящие ссылки, социальные сигналы (хотя и не напрямую) и действительный код на всех ваших страницах.

Ничего из этого не будет иметь значения, если пауки не смогут определить поисковые системы, где находятся ваши страницы, то есть они не будут отображаться в результатах поиска.

Вот почему индексирование веб-сайтов так важно.

Проще говоря, индексирование — это способ паука собирать и обрабатывать все данные со страниц и сайтов во время их обхода по сети.

Частое индексирование улучшает результаты поиска.

Паук отмечает новые документы и изменения, которые затем добавляются в поисковый индекс, поддерживаемый Google. Эти страницы добавляются только в том случае, если они содержат качественный контент и не вызывают никаких тревог из-за таких сомнительных действий, как наполнение ключевыми словами или создание кучи ссылок из источников с сомнительной репутацией.

Когда паук видит изменение на вашем веб-сайте, он обрабатывает как контент (текст) на странице, так и те места на странице, где размещены условия поиска. Он также анализирует теги заголовков, метатеги и атрибуты alt для изображений.

Затем этот паук добавляет или «индексирует» этот контент в Google.

Вкратце об индексировании. Это важный инструмент для веб-мастеров.

Когда поисковый пользователь приходит в поисках информации, вводя ключевые слова для поиска, алгоритм Google начинает работать.Затем алгоритм решает, где оценить страницу по сравнению со всеми другими страницами, связанными с этими ключевыми словами.

Частота индексации вашего сайта может повлиять на вашу эффективность в результатах поиска. Вы хотите, чтобы весь ваш последний контент был всегда доступен для тех, кто ищет, и для пауков Google.

Это краткая и несколько упрощенная версия того, как Google находит, анализирует и индексирует новые сайты, подобные вашему.

Многие другие поисковые системы, такие как Bing или Yahoo, следуют аналогичным процедурам, хотя могут быть различия в специфике, поскольку каждая имеет свой собственный алгоритм.

Какие факторы индексации веб-сайтов имеют значение?

Вам нужна эффективная индексная ставка для вашего веб-сайта.

Это означает, что вы хотите, чтобы пауки поисковых систем как можно быстрее находили ваш новый контент после того, как вы нажали кнопку «Опубликовать».

Вы можете проверить, как часто Google сканирует ваши страницы, войдя в Search Console.

Еще не настроили Google Search Console? Перейдите к шагу 2, чтобы узнать, как настроить свой веб-сайт.

В Search Console щелкните свой веб-сайт.Затем нажмите «Настройки»> «Статистика сканирования»> «Открыть отчет». Вы увидите следующие графики:

Первый график показывает, как часто Google сканирует ваш сайт.

График «Запросы сканирования» показывает, как часто Google сканирует мой сайт каждый день.

Как показывает практика, чем больше ползать, тем лучше.

Однако в некоторых случаях чрезмерное сканирование может перегрузить ресурсы сервера. Обычно это результат неправильной конфигурации сервера, а не проблемы с пауками Google.

Это случается очень редко, поэтому вам, вероятно, не стоит об этом беспокоиться. Google позволяет вам изменять скорость сканирования (только вниз, а не вверх), если это происходит с вами.

Итак, как мне увеличить скорость сканирования?

В последнее время я много публикую и обновляю старый контент, поэтому Google стремится получать все мои обновления и изменения как можно быстрее. Он учится чаще проверять меня.

Я также перешел на новый веб-хостинг в апреле, который намного быстрее, чем мой старый.

Чем быстрее загружается ваш сайт, тем быстрее Google может его проиндексировать!

Google хочет рекомендовать своим пользователям лучшие веб-сайты. Он ищет сайты, которые удобны для пользователей. Хотя это включает в себя множество факторов, очень важны качественный контент и скорость загрузки сайта.

Проще говоря:

Более быстрый сайт = лучший пользовательский опыт.

Лучший пользовательский опыт = более высокий рейтинг в результатах поиска.

Гораздо важнее, чем то, как часто Google индексирует ваш сайт, сколько страниц он индексирует.Вы хотите, чтобы как можно больше страниц вашего сайта было проиндексировано.

(Не волнуйтесь, ваша карта сайта позаботится об этом, о чем я подробно расскажу в шаге 7.)

Но сначала давайте начнем с самого начала. Следующие 18 шагов проведут вас через все, что вам нужно знать об индексировании вашего сайта.

Вам не обязательно делать все 18 шагов, чтобы иметь хорошо проиндексированный веб-сайт, но если вам интересно, как повысить рейтинг в Google, это единственное руководство, которое вам когда-либо понадобится!

Шаг 1. Индексирован ли мой сайт?

Если вы не создаете новый сайт, он, вероятно, уже проиндексирован.

Если вы не уверены, вот как это узнать.

Самый простой способ проверить это — поискать site: yourdomain.com в Google. Если Google знает, что ваш сайт существует и уже просканировал его, вы увидите список результатов, аналогичный тому, который был показан для NeilPatel.com на снимке экрана ниже:

Если Google еще не нашел ваш сайт, вы не получите никаких результатов, например:

Если ваш сайт уже проиндексирован, это хорошо, но, вероятно, его можно улучшить.

Остальные шаги в этом руководстве помогут вам убедиться, что ваш сайт проиндексирован в полной мере.

Шаг 2. Установка и настройка Google Analytics и Search Console

Если вы еще не знакомы с этими бесплатными инструментами Google, вот краткое описание.

Google Analytics: Измеряет статистику вашего веб-сайта, такую как посетители, время, проведенное на сайте, какие страницы они просматривали, откуда они и т. Д.

Консоль поиска Google (ранее известная как Google Webmaster Tools): Она позволяет отслеживать различные аспекты вашего веб-сайта, такие как время последнего сканирования, любые ошибки индексации, проблемы с безопасностью и т. Д.

Search Console также позволяет вам управлять некоторыми ключевыми аспектами вашего появления в результатах поиска и вручную отправлять карты сайта — все это я расскажу позже в этой статье.

Но сначала давайте приступим.

Если у вас уже есть Google Analytics и Search Console, нажмите здесь, чтобы перейти к Шагу 3: Создание стратегии контент-маркетинга.

Чтобы настроить Google Analytics, нажмите здесь и войдите в свою учетную запись Google.

Это может быть ваш @gmail.com или ваш адрес электронной почты @ mydomain.com, если вы используете сервис Google G Suite for Business.

Затем нажмите «Зарегистрироваться».

Введите имя и URL-адрес своего веб-сайта, затем нажмите «Получить идентификатор отслеживания» внизу страницы.

Вы увидите такую страницу. Не паникуйте!

Есть несколько способов установить Google Analytics на свой сайт.

Настройка Google Analytics

Если вы используете WordPress или другую систему управления контентом, которая запрашивает ваш идентификатор отслеживания Google Analytics, вам просто нужен номер в самом верху.В моем случае это UA-98962030-1.

Это не мой настоящий идентификатор отслеживания! Просто говорю, не размещайте это в Интернете! 😉

Плагин Google Analytics от MonsterInsights для WordPress очень прост в настройке.

Просто скачайте его, загрузите плагин в WordPress, активируйте его, и вы увидите этот экран.

Нажмите синюю кнопку «Аутентифицировать», и она проведет вас через все остальное.

Для настройки плагина у вас должен быть уже создан профиль Analytics, что мы и сделали на предыдущем шаге.

Если вы не используете WordPress или хотите добавить код Google Analytics вручную, вот как это сделать.

Вам необходимо поместить этот код (в красном поле) на каждую страницу вашего веб-сайта.

Самый простой способ сделать это — создать один файл с кодом в нем, а затем создать строку кода на каждой странице вашего веб-сайта, которая будет загружать этот файл.

Кусок торта, правда?

Не волнуйтесь, вот как это сделать!

Для этого шага вам необходимо иметь доступ к файлам вашего веб-сайта на сервере вашей хостинговой компании.Обычно это делается через FTP.

Откройте свой FTP-клиент (FileZilla — отличный, бесплатный) и войдите на свой сервер. Если у вас нет этой информации, вы можете создать учетную запись FTP в cPanel своего веб-хостинга или просто обратиться к своему веб-хостеру и попросить у них информацию.

Ваша регистрационная информация должна выглядеть примерно так:

После подключения вы увидите список подобных файлов и папок.

Откройте новый текстовый файл (для этого подойдут Блокнот для Windows или TextEdit для Mac).Убедитесь, что для него установлено значение «Только обычный текст».

В TextEdit вы нажимаете «Формат» -> «Сделать обычный текст», чтобы сделать это.

Это действительно важно, потому что текстовые процессоры, такие как Word, могут добавлять в код форматирование, которое может испортить код на вашем сайте. При работе с кодом всегда используйте обычный текст .

Когда у вас будет обычный текстовый документ, вставьте код Google Analytics. В итоге вы получите:

Сохраните файл как analyticstracking.php. Убедитесь, что у него есть расширение.php, а не .txt.

Если ваш текстовый редактор по какой-то причине сохранил его с именем «analyticstracking.php.txt», просто переименуйте файл на своем компьютере в «analyticstracking.php».

Загрузите этот файл в корневой каталог через FTP (первая папка вашего веб-сайта).

Вам нужно добавить одну строку кода для каждого шаблона страницы, который у вас есть. Это «вызывает» файл, который мы только что создали, и обеспечивает отслеживание каждой страницы вашего веб-сайта, использующей этот шаблон, в Google Analytics.

Для этого загрузите все файлы шаблонов PHP для своего веб-сайта и отредактируйте их.

Если у вас есть один с именем header.php, который загружается на каждой странице, вам нужно сделать это только один раз!

Загрузите header.php.

Затем откройте загруженный файл в текстовом редакторе.

Найдите тег и начало, например:

Вставьте одну строку кода сразу после тега.

Скопируйте этот код:

И вставьте сюда:

Сохраните файл header.php и повторно загрузите его на свой веб-сайт.

Готово!

Если у вас нет файла header.php, вам нужно повторить этот процесс для каждого шаблона страницы php, который есть на вашем веб-сайте, например index.php, blog.php и т. Д.

Если вы используете WordPress, у вас определенно преимущество. Все, что вам нужно сделать, это установить плагин.

Хорошо, нужно настроить еще кое-что, и мы перейдем к шагу 3.

Настройка консоли поиска Google

Теперь, когда мы настроили Google Analytics, пора добавить наш веб-сайт в Google Search Console (ранее известный как Google Webmaster Tools).

Щелкните здесь, чтобы перейти в Search Console. Войдите в свою учетную запись Google.

Вы увидите этот экран:

Нажмите «Начать сейчас».

Затем вам нужно будет подтвердить, что вы являетесь владельцем этого домена. Есть несколько способов сделать это.

По умолчанию он может показать вам вариант подтверждения через ваш веб-хостинг.

Щелкните раскрывающееся меню, чтобы найти поставщика доменного имени.

Если вашего нет в списке, вы можете нажать «Другое» (внизу).

Search Console затем попросит вас создать запись TXT, которая включает изменение конфигурации вашего домена.

Это немного над головой? Не волнуйтесь, у меня есть способ попроще!

Если вы все же хотите добавить запись TXT, вот как это сделать.

Щелкните «Альтернативные методы» вверху.

Есть два простых способа подтвердить свой домен: с помощью Google Analytics или с помощью загрузки файла HTML.

Я расскажу о них обоих.

Чтобы подтвердить с помощью Google Analytics, просто выберите его и нажмите «Подтвердить».

Google проверит вашу учетную запись Google Analytics, чтобы убедиться, что вы являетесь тем, кем себя называете, и если это так, вы увидите сообщение об успешном завершении.Убедитесь, что вы используете тот же аккаунт Google для Search Console, что и для Analytics.

Процесс загрузки файлов в формате HTML все еще довольно прост.

Щелкните, чтобы загрузить файл на свой компьютер на шаге 1, затем снова откройте программу FTP. Загрузите HTML-файл Google в свой корневой каталог.

Затем перейдите по URL-адресу, который Google дал вам, чтобы убедиться, что файл там. В моем случае это https://neilpatel.com/googlefba739b2a6dd0306.html.

Если вы загрузили его правильно, вы увидите имя файла в окне браузера.

Вернитесь в Search Console и нажмите «Подтвердить» внизу.

Вот и все!

Не забудьте оставить HTML-файл на вашем сервере. Это гарантирует, что ваш сайт будет оставаться подтвержденным в Search Console.

Есть еще две действительно важные вещи, которые вам нужно сделать сейчас:

Добавьте обе версии своего домена neilpatel.com и www.neilpatel.com
Установите предпочтительный домен

Почему вы должны это делать, спросите вы?

Это может вызвать ошибки сканирования, которых мы пытаемся избежать!

Добавить другую версию вашего URL-адреса просто — повторите тот же процесс, который я только что объяснил.В приведенном выше примере я подтвердил свой домен neilpatel.com. Поэтому я бы пошел в Search Console и проделал те же шаги, но вместо этого использовал бы neilpatel.com.

После того, как вы добавили в Search Console и yourdomain.com, и www.yourdomain.com, вам нужно установить предпочтительный домен.

Для этого нажмите на свой веб-сайт в Search Console.

В правом верхнем углу щелкните значок шестеренки и выберите Параметры сайта.

Выберите, хотите ли вы, чтобы ваши URL отображались с префиксом www.»Или без.

Я собираюсь показать вам все удивительные вещи, которые вы можете делать с помощью Search Console, позже в этой статье, так что держите эту вкладку открытой!

Но теперь нам нужно вернуться к основам маркетинга и поговорить о создании стратегии SEO для вашего контента.

Шаг 3. Создание стратегии контент-маркетинга

В ваших интересах иметь письменную стратегию контент-маркетинга, ориентированную на результаты поиска.

Но не верьте мне на слово.

От Института контент-маркетинга:

«Те, у кого есть задокументированная стратегия контент-маркетинга:

С гораздо большей вероятностью считают себя эффективными в контент-маркетинге
Чувствуют себя значительно менее сложными во всех аспектах контент-маркетинга
Считают себя более эффективными в использовании всех тактик контент-маркетинга и каналов социальных сетей
Могут оправдать расходы более высокий процент их маркетингового бюджета на контент-маркетинг »

Все это абсолютно верно.Что касается меня, я чувствую себя намного лучше, когда у меня есть письменный план действий, на который я могу ссылаться и отслеживать свой успех.

Мои блоги и многочисленные предприятия не росли бы так быстро, как они, без письменного плана.

Помимо того, что вы будете сосредоточены на своих целях, документированная стратегия содержания также поможет вам проиндексировать страницы вашего сайта путем создания новых страниц содержания.

Согласно отчету HubSpot «Not Another State of Marketing Report 2020», 60% контент-маркетологов заявили, что контент очень важен или чрезвычайно важен для их общей стратегии.

Одно исследование показало, что у компаний, использующих контент-маркетинг, коэффициент конверсии в шесть раз выше.

Делать все возможное, чтобы публиковать ценный, интересный и полезный контент, а затем делать все возможное, чтобы ваши потенциальные клиенты видели его.

Вот пример.

Когда я создаю и публикую на своем сайте профессиональную инфографику, и она публикуется на другой веб-странице со ссылкой на мою страницу, я получаю «кредит» контент-маркетинга за оба сообщения.

Поскольку это инфографика, у меня больше шансов привлечь аудиторию на обоих сайтах.

Инфографика

имеет один из самых высоких показателей вовлеченности читателей. Доказано, что большинство людей тратят больше времени на просмотр инфографики, чем на чтение текста на странице.

Но вы все это читаете, верно ?!

Инфографика распространяется в социальных сетях примерно в 3 раза чаще, чем любым другим типом контента.

Когда вы разрабатываете свою стратегию контент-маркетинга, блоггинг обязательно должен быть в списке.

Но вам также необходимо учитывать контент, который вы будете публиковать на других веб-сайтах. Это не только помогает увеличить ваш трафик, но также помогает повысить скорость индексации и получить входящие ссылки.

Вот несколько примеров внешнего контента, который можно использовать в вашем плане:

Гостевые посты на других сайтах в вашей нише
Пресс-релизы, отправленные на сайты, которые публикуют такой контент
Статьи на сайтах высококачественных каталогов статей (Примечание: здесь будьте осторожны — подавляющее большинство каталогов статей — это , а не высокое качество и может навредить вашему бренду, репутации и поисковой оптимизации.)
Некоторые авторитетные каталоги — это Medium и HubPages.
Видео, размещенные на Vimeo или на вашем канале YouTube

Конечно, любой контент , на котором вы размещаете свое имя или бренд, должен быть высокого качества и опубликован на авторитетном сайте с хорошей репутацией.

В противном случае вы нарушите цель поисковой оптимизации и нанесете ущерб своему трафику и бренду.

Контент, опубликованный на сайтах со спамом и имеющий обратную ссылку на ваш сайт, подсказывает результатам поиска Google, что ваш сайт также является спамом.

Примерами сайтов с хорошей репутацией, на которых можно публиковать гостевые сообщения, могут быть Forbes, Entrepreneur, Smashing Magazine и т. Д. Это известные веб-сайты с репутацией качественного контента, а это именно то, что вы хотите ассоциировать со своим брендом.

Не очень хорошие места для публикации? Сайты, полные некачественных красных флажков: загроможденные рекламой, с множеством грамматических или орфографических ошибок или неизвестные в той отрасли, на которую вы пытаетесь настроить таргетинг.

Я не хочу называть здесь никаких имен, но вашего здравого смысла должно хватить, чтобы сказать вам, что такое сайт, рассылающий спам.Например, сайт под названием neilsbestmarketingadvice101.tumblr.com, вероятно, мало что вам даст, верно?

Хорошо продуманный план контент-маркетинга поможет вам избежать безумной спешки по публикации большего количества контента. Это ставит вас на место водителя поисковой оптимизации, поэтому вы можете сосредоточиться на привлечении потенциальных клиентов и повышении коэффициента конверсии.

Создание стратегии письменного контента не должно быть трудным.

Вот фреймворк, который я использую для своего:

Каковы ваши цели? Укажите цели SMART и то, как вы будете измерять свой прогресс (т.е., метрики).
Кто ваша целевая аудитория? Профили клиентов или личности важны для понимания вашей аудитории и того, что они хотят / в чем они нуждаются.
Какие типы контента вы будете создавать? Вы должны быть уверены, что доставляете контент, который хочет видеть ваша целевая аудитория.
Где это будет опубликовано? Конечно, вы будете размещать свой собственный контент на своем веб-сайте, но вы также можете обратиться к другим сайтам или использовать такие платформы, как YouTube, LinkedIn и Slideshare.
Как часто вы будете публиковать свой контент? Гораздо лучше последовательно выпускать одну хорошо написанную и качественную статью в неделю, чем публиковать каждый день в течение недели, а затем ничего не публиковать в течение месяца. Последовательность — ключ к успеху.
Какие системы вы выберете для публикации своего контента? Системы — это, по сути, просто повторяемые процедуры и шаги для выполнения сложной задачи. Они помогут вам сэкономить время и быстрее писать контент, чтобы вы могли не отставать от графика.Все, что помогает вам публиковать контент за меньшее время, не жертвуя качеством, улучшит вашу прибыль.
Какие инструменты вы будете использовать? Укажите инструменты и технологии ведения блогов / контента, которые вы будете использовать, и то, как они вписываются в вашу систему.

После того, как вы задокументируете свой план контент-маркетинга, вам станет проще публиковать качественный контент по согласованному графику. Это поможет быстрее проиндексировать новые веб-страницы вашего сайта.

Шаг 4. Начните вести блог

Зачем нужен блог?

Это просто: блоги — это трудолюбивые SEO-машины.Контент блога сканируется и индексируется быстрее, чем статические страницы.

Блоги также привлекают больше трафика. Компании, которые ведут блог, регулярно привлекают на свои сайты на 55% больше посетителей, чем те, которые этого не делают.

Блоги подходят для любого бизнеса, отрасли или ниши, а также почти для всех бизнес-моделей — даже для сайтов B2C и электронной коммерции.

Не бойтесь вести блог.

Да, это требует постоянных усилий. Вы должны регулярно писать (или передавать на аутсорсинг) качественные и подробные сообщения в блог.

Награды, как я выяснил, того стоят.

Если у вас есть сайт электронной торговли, ведение блога не должно быть очень сложным или трудным.

Например, когда вы создаете страницу нового продукта, напишите и опубликуйте в блоге сообщение о новом продукте. Добавьте качественные изображения товара и ссылку на страницу товара. Это помогает быстрее проиндексировать страницу продукта поисковыми системами.

Еще одна отличная стратегия ведения блога для электронной коммерции — писать пост каждый раз, когда покупатель задает вам вопрос.

Для более ориентированной на продажи стратегии поделитесь ссылкой на этот пост в блоге с другими блоггерами и влиятельными лицами, чтобы известить о них. Возможно, они захотят разместить ваш продукт в своих блогах, которые, опять же, являются отличным источником ссылок и трафика и положительно повлияют на вашу скорость сканирования.

Шаг 5. Используйте внутренние ссылки на своем веб-сайте

Внутренние ссылки, то есть ссылки на страницы вашего собственного веб-сайта, — еще один отличный способ быстро проиндексироваться и повысить свою позицию в обычных результатах поиска.

Одним из очевидных источников внутренних ссылок является навигация по вашему сайту.

Важно структурировать навигацию по веб-сайту так, чтобы она была понятна Google.

Ваша навигация должна следовать предсказуемому потоку, например, Домашняя страница -> Категория -> Дополнительная страница.

Очевидно, что все элементы должны быть связаны. Итак, если вы веб-дизайнер, ваша навигация может выглядеть так.

Домашняя страница -> Услуги веб-дизайна -> Дизайн WordPress

Видите, как все это связано и имеет смысл?

Еще одним ключевым фактором является правильная структура ваших URL-адресов.Эмпирическое правило Google — сделать их максимально простыми и понятными.

Так что, если это имеет смысл для вас, человека, это должно иметь смысл и для Google.

Еще один отличный способ ссылаться на ваш контент — это сообщения в блогах.

Люди обычно связывают фразы в своих блогах с соответствующими темами, например, если бы я хотел предложить вам дополнительную информацию о структурировании URL-адресов.

Или я мог бы создать такую строку:

Связано: Имеет ли значение структура URL-адреса? Ответ, управляемый данными

Создает ссылки, которые заставляют пауков Google возвращаться и сканировать эти страницы снова.Кроме того, это положительно улучшает пользовательский опыт. Ваши читатели оценят дальнейшие ресурсы.

Не забывайте всегда помнить об удобстве использования. Это идет рука об руку с SEO. У Google есть все эти правила и способы работы, потому что он пытается предоставить своим пользователям наилучшие результаты и дать им ответы, которые они ищут.

Вы должны сосредоточиться на одном и том же!

Шаг 6. Продвигайте публикацию вашего контента в социальных сетях

Естественно, заставить людей делиться вашим контентом в социальных сетях — это хорошо.Совершенно уверен, что мне не нужно убеждать вас в этом!

Он открывает доступ к вашему контенту новым людям, привлекает их на ваш сайт, и это тот контент, который люди хотят видеть больше всего.

Но публикация ваших постов в социальных сетях также имеет преимущества для SEO, поскольку создает обратные ссылки на ваш контент.

Который, если вы внимательно … говорит паукам Google проиндексировать ваш сайт

бонусных балла, если вы уже догадались.

Сейчас ведутся споры о том, насколько ссылки в социальных сетях влияют на ранжирование в обычном поиске.

Google высказал неоднозначные мнения по этому поводу, заявив, что сначала в 2015 году они вообще не учитывали посты в социальных сетях для ранжирования в органическом поиске, а затем заявили, что они сделали это.

«Да, мы используем это как сигнал. Он используется как сигнал в нашем органическом рейтинге и рейтинге новостей. Мы также используем его, чтобы сделать наши новости универсальными, отмечая, сколько людей поделились статьей ».

Мэтт Каттс, бывший известный Google, сказал несколько лет назад:

Я снял видео еще в мае 2010 года, где я сказал, что мы не использовали «социальные сети» в качестве сигнала, и в то время мы не использовали это как сигнал, но сейчас мы снимаем это на пленку в декабре. 2010 г., и мы используем это как сигнал.

Bing, с другой стороны, очень четко дал понять, как он использует ссылки социальных сетей в рейтинге результатов поиска, известные как «социальные сигналы».

Многие маркетологи считают, что социальные сигналы являются важным фактором ранжирования, и я один из них.

Обмен в соцсетях помог мне значительно расширить мой блог. Когда я основал NeilPatel.com, я начал с нуля и быстро увеличил свою аудиторию до 60 000 читателей в месяц за 2 месяца.

Сейчас у меня в среднем более 20 миллионов посещений в месяц.

Я приписываю большую часть своего успеха социальному обмену и положительному росту SEO, который я получил благодаря социальным сигналам, ссылкам и повышенной скорости индексации страниц.

В любом случае социальный обмен имеет много других преимуществ для вашего веб-сайта, так что просто сделайте это!

Шаг 7. Добавьте плагин Sitemap, чтобы Google индексировал ваш сайт

Во-первых, давайте поговорим о том, что такое карта сайта.

Вы, несомненно, видели слово «карта сайта» раньше, но, возможно, вы никогда не знали, что именно оно означает и как оно соотносится с поисковой оптимизацией.

Карта сайта — это файл, который сообщает Google о файлах на вашем веб-сайте, в том числе о том, как они соотносятся друг с другом. Это упрощает сканирование и индексирование вашего сайта Google.

Карта сайта — это в основном список (в формате XML) всех страниц вашего сайта . Его основная функция — сообщать поисковым системам, когда что-то изменилось — будь то новая веб-страница или изменения на определенной странице — а также то, как часто поисковая система должна проверять наличие изменений.

Влияют ли карты сайта на ваш поисковый рейтинг? Могут, но ненамного.

Они действительно помогают вашему сайту быстрее индексироваться с более эффективной скоростью сканирования.

В современном мире поиска существует множество мифов о поисковой оптимизации, которых следует опасаться. Но одно остается неизменным: при прочих равных, отличный контент поднимется на вершину, как сливки.

Sitemap помогает сканировать и индексировать ваш контент, чтобы он мог быстрее подняться на вершину поисковой выдачи, согласно блогу Google для веб-мастеров.

По словам Google, «отправка файла Sitemap помогает убедиться, что Google знает об URL-адресах на вашем сайте.”

Это гарантия, что ваш сайт будет немедленно проиндексирован? Нет. Но это определенно эффективный инструмент для веб-мастеров, который помогает в этом процессе.

Кейси Генри задался вопросом, насколько карты сайта повлияют на скорость сканирования и индексирование, поэтому он решил провести небольшой эксперимент.

Кейси поговорил с одним из своих клиентов, который вел довольно популярный блог, используя как WordPress, так и плагин Google XML Sitemaps Generator для WordPress (подробнее об этом ниже).

С разрешения клиента Кейси установил скрипт отслеживания, который отслеживал действия робота Googlebot на сайте.Он также отслеживал, когда бот обращался к карте сайта, когда она была отправлена, и каждую страницу, которая была просканирована. Эти данные хранились в базе данных вместе с отметкой времени, IP-адресом и пользовательским агентом.

Клиент просто продолжил свой обычный график публикации (около двух или трех сообщений в неделю).

Кейси назвал результаты своего эксперимента не чем иным, как «поразительными» с точки зрения поисковой оптимизации.

Но судите сами: когда карта сайта не была отправлена, Google потребовалось в среднем 1375 минут, чтобы найти, просканировать и проиндексировать новый контент.

Когда была отправлена карта сайта? Это среднее значение упало до 14 минут.

Как часто вы должны сообщать Google, чтобы он проверял наличие изменений, отправляя новую карту сайта? Не существует твердого правила.

Однако некоторые виды контента требуют более частого сканирования и индексации.

Например, если вы добавляете новые продукты на сайт электронной торговли, и у каждого из них есть собственная страница продукта, вам нужно, чтобы Google часто проверял их, увеличивая скорость сканирования.То же самое верно и для сайтов, которые регулярно публикуют горячие или свежие новости, которые постоянно конкурируют в запросах поисковой оптимизации.

Но есть гораздо более простой способ создать и отправить карту сайта. Если вы используете WordPress, просто установите и используйте плагин Google XML Sitemaps.

Его настройки позволяют указать плагину, как часто карта сайта должна создаваться, обновляться и отправляться в поисковые системы. Он также может автоматизировать процесс для вас, так что всякий раз, когда вы публикуете новую страницу, карта сайта обновляется и отправляется.

Другие инструменты карты сайта, которые вы можете использовать, включают Генератор XML-карт сайта, онлайн-инструмент, который должен работать для любого типа веб-сайтов.

Получив карту сайта, вы хотите отправить ее в Google Search Console, о чем мы поговорим дальше.

Шаг 8. Отправьте файл Sitemap в Search Console

Очень важно, чтобы ваша карта сайта была актуальной для Google Search Console. Я люблю заходить раз в 2 недели или, по крайней мере, ежемесячно, и обновлять его.

Еще не зарегистрированы в Google Search Console? Вернитесь к шагу 2, чтобы узнать, как это сделать.

Щелкните URL-адрес, чтобы перейти на панель управления для этого сайта. Слева в разделе «Индекс» нажмите «Файлы Sitemap». Вы увидите уже отправленные в Google карты сайта, а также добавите новую карту сайта.

Для следующего шага вам понадобится URL-адрес вашей карты сайта. Если вы используете плагин для WordPress, эта информация будет доступна в его настройках.

Обычно это ваш домен.ru / sitemap.xml.

Как я упоминал выше, вы также можете использовать веб-сайт, такой как XML-Sitemaps.com, для его создания. Для этого просто введите свой URL и выберите периодичность изменения.

Частота изменения просто говорит Google, как часто он должен индексировать ваш сайт. Это всего лишь предложение Google, и паук должен определить, когда он вернется, чтобы снова проиндексировать ваш сайт.

Как только он предоставит вам файл sitemap.xml, загрузите его на свой веб-сайт через FTP.

Получив URL-адрес карты сайта, введите его в Google Search Console.

После отправки вы увидите это внизу страницы.

Когда Google завершит его индексирование, столбец «Обработано» изменится с «Ожидание» на дату, когда он был проиндексирован.

Как видите, только 294 из 473 моих веб-страниц были проиндексированы! Будем надеяться, что за это время паук подберет их больше. Однако не беспокойтесь, если вы увидите похожую статистику — некоторые из этих страниц, вероятно, вы и не хотите индексировать (подробности см. В шаге 17!).

Возьмите за привычку отправлять новую карту сайта не реже одного раза в месяц.

Вы также можете использовать Инструменты Bing для веб-мастеров, чтобы сделать то же самое с Bing. Хорошо бы охватить все ваши базы, тем более что Bing — вторая по популярности поисковая система после Google!

Шаг 9. Создайте каналы социальных сетей

Есть ли у вас профили в социальных сетях для вашего сайта или блога? Если нет, то сейчас самое время.

Почему? Потому что, как мы узнали на шаге 6, один из компонентов поисковой оптимизации — это внимание к социальным сигналам.

Эти сигналы могут побудить поисковые системы сканировать и индексировать ваш новый сайт.

Более того, социальные сигналы помогут вам повысить рейтинг ваших страниц в результатах поиска.

К настоящему времени очевидно, что надежный маркетинговый план в социальных сетях помогает SEO. Но социальные профили на вашем веб-сайте также дают вам другое место для добавления ссылок на ваш сайт или блог.

профилей Twitter, страниц Facebook, профилей LinkedIn или страниц компаний, профилей Pinterest, каналов YouTube и особенно профилей или страниц Google+ — все это легко создать, и это идеальные места для добавления ссылок, указывающих на ваш веб-сайт.

Если вы не хотите создавать новые профили на социальных сайтах для своего нового сайта или блога, вы также можете просто добавить ссылку нового сайта к своим существующим профилям, чтобы увеличить скорость сканирования.

Однако я настоятельно рекомендую создавать новые профили для проектов. Помимо того, что это хорошо для SEO, это также отлично подходит для брендинга.

Это, вероятно, само собой разумеется, но если вы создаете эти каналы в социальных сетях, будьте готовы также регулярно обновлять их, добавляя новый контент.

Шаг 10. Используйте robots.txt

Если вы не являетесь опытным программистом или разработчиком, возможно, вы видели файл с именем robots.txt в файлах своего домена и задавались вопросом, что это такое и для чего он нужен.

Часть «что это такое» очень проста. Это простой текстовый файл, который должен находиться в корневом каталоге вашего домена. Если вы используете WordPress, он будет находиться в корневом каталоге вашей установки WordPress.

Часть «что он делает» немного сложнее.По сути, robots.txt — это файл, который дает строгие инструкции для роботов поисковых систем о том, какие страницы они могут сканировать и индексировать — и от каких страниц следует держаться подальше.

Когда поисковые роботы находят этот файл в новом домене, они читают содержащиеся в нем инструкции, прежде чем делать что-либо еще.

Если они не находят файл robots.txt, поисковые роботы предполагают, что вы хотите просканировать и проиндексировать каждую страницу.

Теперь вы можете спросить: «С какой стати мне нужно, чтобы поисковые системы , а не индексировали страницу на моем сайте?» Это хороший вопрос!

Короче говоря, это потому, что не каждую страницу, существующую на вашем сайте, следует считать отдельной страницей для целей поиска.(Подробнее об этом позже!)

Ваш первый шаг — убедиться, что на вашем новом сайте есть файл robots.txt. Вы можете сделать это либо по FTP, либо щелкнув свой файловый менеджер через CPanel (или аналогичный, если ваша хостинговая компания не использует CPanel).

Если его там нет, вы можете легко создать его с помощью обычного текстового редактора, такого как Блокнот.

Примечание: Очень важно использовать только текстовый редактор, а не что-то вроде Word или WordPad, которые могут вставлять невидимые коды в ваш документ, что действительно испортит ситуацию.

WordPress-блоггеры могут оптимизировать свои файлы robots.txt с помощью надежного плагина WordPress, такого как плагин Yoast для SEO.

Формат файла robots.txt довольно прост. В первой строке обычно указывается пользовательский агент, который представляет собой просто имя поискового бота — например, Googlebot или Bingbot. Вы также можете использовать звездочку (*) в качестве идентификатора подстановочного знака для всех ботов. Этот тип плагина WordPress — эффективный инструмент для веб-мастеров.

Далее идет строка разрешающих или запрещающих команд.Они сообщают поисковым системам, какие части они должны сканировать и индексировать («Разрешить»), а какие — игнорировать («Запрещать»).

Эти правила гарантируют, что только те страницы, которые вы хотите проиндексировать, попадут в результаты поиска.

Итак, напомним: функция robots.txt заключается в том, чтобы сообщать поисковым системам, что делать с контентом / страницами на вашем сайте. Но помогает ли это проиндексировать ваш сайт?

Суровый Агравал из ShoutDreams Media говорит:

Да.

Он смог проиндексировать сайты в течение 24 часов, используя комбинацию стратегий, включая роботов.txt и методы SEO на странице.

При этом важно быть очень осторожным при редактировании файла robots.txt, потому что легко ошибиться, если вы не знаете, что делаете.

Неправильно настроенный файл может скрыть весь ваш сайт от поисковых систем. Это полная противоположность тому, что вы хотите! Вы должны понимать, как правильно редактировать файл robots.txt, чтобы не снизить скорость сканирования.

Вы можете нанять опытного разработчика, который позаботится об этой работе, и оставить его в покое, если вам не нравится риск навредить вашему SEO.

Если вы действительно хотите попробовать это самостоятельно, вы можете использовать инструмент Google robots.txt, чтобы убедиться, что ваш файл правильно закодирован.

Шаг 11. Проиндексируйте свой сайт с помощью других поисковых систем

Вы также можете воспользоваться прямым подходом и отправить URL своего сайта в поисковые системы.

Прежде чем вы это сделаете, вы должны знать, что существует множество разногласий по поводу ручной отправки URL сайта как метода его индексации.

Некоторые блоггеры полагают, что это как минимум ненужно, если не вредно.

В большинстве случаев, если ваш сайт работает дольше недели, поисковые системы его уже нашли. Отправлять вручную бессмысленно, а платить компаниям за вас — это кража.

Ручная отправка в поисковую систему также может быть вредной, когда вы размещаете свой сайт на сайтах бесплатной отправки, которые предлагают разместить ваш сайт в нескольких поисковых системах. Эти ссылки могут быть некачественными и негативно сказаться на вашем SEO.

Видите все эти случайные каталоги и веб-сайты, куда будет отправлен ваш сайт?

Если эти сайты рассматриваются Google как спам, наличие с них ссылок на ваш сайт повредит вашему SEO-рейтингу.Google накажет вас за «привязанность» к этим сайтам.

Поскольку есть и другие методы, которые работают эффективно, большинство блоггеров и владельцев сайтов игнорируют этот шаг.

С другой стороны, это не займет много времени и не повредит вашему SEO, если вы просто отправляете данные в Google, Bing, Yahoo или другие очень уважаемые веб-сайты.

Чтобы отправить URL-адрес вашего сайта в Google, просто попросите Google повторно просканировать ваши URL-адреса с помощью обновления карты сайта или используйте инструмент проверки URL-адресов.

Примечание. Раньше Google позволял вам напрямую отправлять URL-адреса для индексации, но теперь этого не делает.

Шаг 12. Поделитесь своим контентом на агрегаторах

Агрегаторы контента — это веб-сайты, которые действуют как поисковая система для контента, отправленного пользователями.

Это означает, что люди отправляют свой контент на эти сайты, а затем посетители могут искать и находить контент от людей со всего мира. Это огромные сети с доступным для поиска контентом.

Хорошо известные примеры — Reddit и Medium.

Размещение вашего контента на агрегаторах — отличный источник ссылок и новых контактов, как и социальные сети.

Некоторые другие агрегаторы, на которых вы можете поделиться своим контентом:

Medium — также отличное место для публикации вашего контента. Для получения более подробной информации ознакомьтесь с моим полным руководством по увеличению посещаемости вашего веб-сайта с помощью Medium.

Шаг 13: Повсюду делитесь ссылкой на свой веб-сайт

Еще один простой способ получить ссылки на ваш новый сайт или блог — это обновления вашего собственного социального статуса.

Конечно, эти ссылки будут nofollow, но они все равно будут учитываться для целей оповещения об индексировании, поскольку мы знаем, что Google и Bing, по крайней мере, отслеживают социальные сигналы с веб-страниц.

Старая поговорка «ваша сеть — это ваш собственный капитал» также применима здесь. Если вы только начинаете, вашими первыми клиентами могут стать члены семьи, друзей или знакомых, поэтому не стесняйтесь делиться своим новым сайтом в своих личных аккаунтах в социальных сетях.

Если вы используете Pinterest, выберите высококачественное изображение или снимок экрана со своего нового сайта.

Добавьте URL-адрес и оптимизированное описание (т.е. убедитесь, что вы используете подходящие ключевые слова для своего сайта) и закрепите его либо на существующей доске, либо на новой, которую вы создаете для своего сайта.

Мне нравится, как Whole Foods использует Pinterest для взаимодействия со своей целевой аудиторией (например, гурманами и любителями натуральных рецептов). У них есть доски для каждой темы, включая текущие праздники и сезонные тенденции.

Если вы на YouTube, проявите творческий подход! Запишите короткий видеоролик, представляющий ваш сайт и подчеркивающий его особенности и преимущества. Затем добавьте URL-адрес в описание видео.

Social Media Examiner предлагает поместить ваш URL в первую строку описания.

Я также рекомендую использовать правильные ключевые слова в заголовке и описании.

Если у вас есть существующий список рассылки из другой компании, относящейся к той же нише, что и ваш новый сайт, вы можете разослать по всему списку рассылку, представляя ваш новый сайт и включая ссылку.

Джон Морроу, известный по Copyblogger, сделал это со своим новым сайтом Unstoppable.me. Он составил список адресов электронной почты тысяч людей из своих многочисленных предприятий и успешно использовал его для привлечения трафика на свое новое предприятие.

Когда он опубликовал свой первый пост, он разослал электронное письмо своим подписчикам с других своих веб-сайтов, чтобы сообщить им о своем новом сайте.

Он также использовал раздел биографии на своем сайте SmartBlogger, чтобы привлечь внимание к своему новому блогу.

Его первая публикация на Unstoppable.me собрала более 60 000 репостов в Facebook и 3 000 репостов в Twitter всего за первый месяц.

Наконец, не забывайте о своей личной учетной записи электронной почты. Добавьте свой новый URL-адрес и имя сайта в подпись электронной почты.Это просто, но работает.

Шаг 14. Настройка RSS-канала

Что такое RSS?

RSS — это автоматический канал содержания вашего веб-сайта, который обновляется, когда вы публикуете новое сообщение в блоге. Это расшифровывается как Really Simple Syndication или Rich Site Summary, и он подходит как пользователям, так и владельцам сайтов.

Как это влияет на индексирование и сканирование?

Что ж, прежде чем мы перейдем к этому, давайте проясним одну вещь: многие думают, что RSS мертв.

Число пользователей неуклонно снижается с тех пор, как Google убил Google Reader в 2013 году.Я думаю, что RSS развивается, а не умирает.

RSS обычно помогает увеличить читаемость и коэффициент конверсии, но он также может помочь проиндексировать ваши страницы .

Для пользователей RSS-каналы предоставляют гораздо более простой способ получить большой объем контента за более короткий промежуток времени.

Пользователи могут подписаться на ваш RSS-канал в своей любимой программе для чтения RSS и автоматически получать ваши новые сообщения. Популярные программы чтения RSS — Feedly и Feeder.

Как владелец сайта, вы получаете мгновенное распространение нового контента и возможность для читателей подписаться на вас, не отказываясь от своего адреса электронной почты, что не нравится некоторым людям.

Хотя вы по-прежнему хотите сосредоточить большую часть своих усилий на создании списка адресов электронной почты, предложение подписки на RSS-канал улучшает пользовательский опыт, предоставляя людям, заботящимся о конфиденциальности, еще один вариант подписки на вас.

Рассматривая RSS-канал, вы должны следовать нескольким рекомендациям:

Решите, хотите ли вы показать полное содержание сообщения или отрывки. Если вы пишете длинный контент (более 2 000 слов), вам, скорее всего, следует выбрать в своем RSS-канале только отрывки.
Убедитесь, что ваш канал включает изображения , иначе ваши подписчики могут упустить ценную инфографику или другую графику, необходимую для понимания сообщения.

Настройка RSS-канала с помощью Feedburner (собственный инструмент Google для управления RSS) помогает уведомить Google о том, что у вас есть новое сообщение в блоге или страница, готовая к сканированию и индексированию.

Чтобы создать RSS-канал для своего сайта, перейдите на Feedburner. Войдите в свой аккаунт Google.

Введите свой URL-адрес в поле и нажмите Далее.

Дайте своему каналу заголовок и URL-адрес Feedburner (это будет публичный адрес вашего RSS-канала).

После этого вы увидите сообщение об успешном использовании нового URL-адреса Feedburner. Чтобы заставить людей подписаться на него, просто укажите ссылку на этот URL.

Например, у вас может быть кнопка на вашем веб-сайте с надписью «Подписаться через RSS» и ссылкой на этот URL.

Шаг 15: Разместите свой веб-сайт в каталогах

Вы, вероятно, уже знаете, что размещение вашего нового URL в каталогах блогов может помочь вашему сайту «быть найденным» новыми потенциальными пользователями.Разве я не говорил тебе не делать этого несколько шагов назад?

Дело в том, что ваш веб-сайт можно проиндексировать быстрее, если вы все сделаете правильно.

Давным-давно бесплатные каталоги блогов засоряли цифровой ландшафт. Существовали буквально сотни — если не тысячи — этих сайтов, и большинство из них практически не представляли никакой ценности для читателей блогов.

Проблема качества стала настолько серьезной, что в 2012 году Google удалил многие бесплатные каталоги сайтов из своего индекса, должным образом снизив рейтинг веб-страниц с низкой ценностью контента.

Moz изучил проблему, проанализировав 2678 каталогов, и в итоге пришел к выводу, что «из 2678 каталогов только 94 были забанены — не так уж и плохо.

Однако было еще 417 дополнительных каталогов, которые избежали блокировки, но были наказаны ».

Так что же ответ?

Если вы собираетесь отправлять в каталоги, убедитесь, что вы отправляете только в авторитетные каталоги с достойным рейтингом.

Списки лучших каталогов, составленные отраслевыми и авторитетными блогами, могут помочь вам отделить хорошее от плохого, но убедитесь, что список, который вы используете, актуален.

Например, этот от Harsh Agrawal был обновлен совсем недавно, в 2019 году.

Другие варианты, которые вы, возможно, захотите изучить, — это TopRank, на котором есть огромный список сайтов, на которые вы можете отправить свой RSS-канал и блог; Technorati, который является одним из лучших каталогов блогов; и — после того, как вы опубликовали приличное количество высококачественного контента — субдомен Alltop для вашей ниши или отрасли.

Отправка на высококачественные сайты с приличными рейтингами авторитета домена может не только открыть ваш контент для совершенно новой аудитории, но также предоставить входящие ссылки, которые могут подтолкнуть поисковые системы к сканированию и индексации вашего сайта.

Самый простой способ разместить свой сайт сразу в нескольких каталогах — воспользоваться бесплатным сервисом Ping O Matic.

Ping O Matic уведомляет каталоги о том, что ваш веб-сайт изменился и что они должны его проиндексировать. Это займет около 30 секунд, и вот как это сделать.

Введите название вашего блога, URL-адрес домашней страницы и URL-адрес RSS (если он у вас есть), как это. В разделе Services to Ping выберите каталоги, которые подходят для вашего сайта:

Нажмите «Отправить пинг», и все готово.

Шаг 16. Часто проверяйте ошибки сканирования Google

Этот шаг действительно важен для поддержания частоты индексирования. Я люблю проверять свои веб-сайты на наличие ошибок сканирования хотя бы раз в месяц.

Чтобы проверить наличие ошибок сканирования, откройте Search Console.

Слева нажмите «Настройки»> «Статистика сканирования»> «Открыть отчет».

На странице статистики сканирования вы можете узнать, как часто Google индексирует ваш веб-сайт, и это определенно то, за чем нужно следить.

Например, если мои результаты растут, это означает, что Google теперь индексирует меня чаще — это хорошо. Но если ваш график имеет тенденцию к снижению, это может быть признаком того, что вам нужно опубликовать больше контента или отправить новую карту сайта.

Затем посмотрите в разделе «Индекс» и нажмите «Покрытие».

На этом экране отображаются все ошибки, с которыми робот Googlebot столкнулся при сканировании вашего сайта, например ошибки 404.

Вот то, что вам следует отслеживать хотя бы раз в месяц:

Ошибки сканирования
Среднее время ответа
Статистика сканирования

Еще один отличный инструмент, которым можно воспользоваться, — это тестер структурированных данных.Google использует структурированные данные, чтобы лучше понять, о чем ваш сайт.

Структурированные данные в основном означают, что вы предоставляете Google релевантную информацию, чтобы помочь ответить на вопросы пользователей.

Вот пример. Я искал концерты рядом со мной.

Этот веб-сайт использовал структурированные данные, чтобы сообщить Google, что эти списки будут полезны для меня, и они отображаются под обычным заголовком и описанием страницы SEO.

Так как вы это тоже получили?

Он довольно продвинутый, так что это может быть еще один элемент, который вы захотите передать на аутсорсинг разработчику.

Вы можете увидеть все варианты структурированных данных в галерее поиска Google.

У Google также есть упрощенный инструмент, который помогает людям, не являющимся разработчиками, добавлять структурированные данные на свои сайты. Перейдите в Помощник по разметке структурированных данных и введите информацию о своем веб-сайте.

Затем вам просто нужно выделить элемент на веб-странице, который вы хотите преобразовать в структурированные данные.

Из всплывающего меню вы можете добавить такие атрибуты, как Автор, Дата публикации, Изображение, URL-адрес, Тело статьи и т. Д.

Если вы внедрили структурированные данные, вы можете использовать инструмент тестирования для их проверки.

Опять же, это довольно сложный процесс, поэтому, если вы не разработчик, вероятно, лучше всего нанять профессионала, который позаботится об этом за вас.

Шаг 17. Убедитесь, что страницы, которые не следует индексировать, не

Есть некоторые страницы, которые вы не хотите, чтобы Google или другие поисковые системы индексировали. Вот страницы, которые вы не хотите показывать в поиске:

Страницы с благодарностью: Обычно это страницы, на которые кто-то попадает после подписки на ваш список рассылки или загрузки электронной книги.Вы же не хотите, чтобы люди проходили мимо очереди и сразу переходили к товарам! Если эти страницы будут проиндексированы, вы потеряете потенциальных клиентов, заполнивших форму.

Дублированное содержание: Если какие-либо страницы вашего сайта имеют повторяющееся содержание или немного отличаются друг от друга, например, страница, для которой вы проводите A / B-тест, вы не хотите, чтобы это индексировалось.

Скажем, например, у вас есть две страницы с одинаковым содержанием на вашем сайте. Возможно, это связано с тем, что вы проводите сплит-тестирование визуальных элементов своего дизайна, но содержание двух страниц совершенно одинаково.

Дублированный контент, как вы, наверное, знаете, потенциально может стать проблемой для SEO. Итак, одно из решений — использовать файл robots.txt, чтобы поисковые системы игнорировали один из них.

Вот как сделать так, чтобы страницы, которые вы хотите исключить, не индексировались.

Вариант 1. В вашем файле robots.txt

Помните тот файл robots.txt, который мы создали на шаге 10? Вы можете добавить в него директивы, чтобы поисковые системы не индексировали файл или весь каталог. Это может быть удобно, если вы хотите, чтобы целый раздел вашего сайта оставался неиндексированным.

Чтобы добавить это, откройте файл robots.txt.

См. Шаг 10, чтобы узнать, как это сделать, если вам нужно напомнить.

Чтобы заблокировать индексирование страницы, введите этот код в файл robots.txt.

Запретить: / nameoffolder /

Блокирует все в этой папке. В качестве альтернативы вы можете просто заблокировать один файл.

Запрещено: /folder/filename.html

Сохраните его, повторно загрузите на свой сервер и все. Для получения дополнительной информации о robots.txt, посетите robotstxt.org.

Вариант 2. Используйте ссылки nofollow или noindex

Этот вариант очень прост. Когда вы создаете ссылку на своем сайте, просто добавьте тег nofollow или noindex к ссылке .

Во-первых, давайте рассмотрим, что они означают.

Nofollow: Указывает Google не сканировать ссылки на этой странице.

Это означает, что если я перейду на ваш сайт с neilpatel.com и использую ссылку nofollow, ни один из моих ссылок (или авторитет домена) не будет передан вам.

Noindex: Указывает Google не индексировать страницу, даже если паук ее видит. Он не будет добавлен в результаты поиска.

Вы можете использовать оба одновременно.

Вот пример.

Если вы делаете ссылку на специальную целевую страницу мероприятия, которое проводите только для VIP-персон, и не хотите, чтобы эта страница отображалась в результатах поиска, вы должны указать ссылку на нее с помощью тега noindex.

Это будет выглядеть так: Посмотрите мой супер крутое событие .

Даже если люди будут искать в Google «супер крутое мероприятие Нила», эта страница не появится.

(Вы, однако, получите много вариантов концертов, посвященных памяти Нила Даймонда.)

Чаще всего вам понадобится тег noindex. Обычно вы хотите использовать nofollow только для партнерских ссылок, ссылок, за создание которых вам кто-то заплатил, или для которых вы получаете комиссию. Это потому, что вы не хотите «продавать ссылки».

Когда вы добавляете nofollow, он сообщает Google не передавать полномочия вашего домена этим источникам.По сути, он защищает Интернет от повреждений, когда дело доходит до ссылок.

Если вы хотите, чтобы вся страница была исключена из результатов поиска из всех источников, вместо того, чтобы просто включать теги nofollow или noindex в свои ссылки, выполните следующие действия.

Сначала откройте HTML-код страницы.

Если вы используете CMS (систему управления контентом), такую как WordPress, вы можете отредактировать этот файл с помощью Yoast, чтобы добавить тег noindex.

Если у вас нет такой CMS, как WordPress, вы можете загрузить страницу, которую нужно отредактировать, через FTP.

Не знаете, как использовать FTP? Вернитесь к шагу 2, где я это объясню!

Нажмите на страницу, которую хотите исключить из результатов поиска, и загрузите ее.

Откройте его в текстовом редакторе. Блокнот для Windows или TextEdit на Mac отлично подходят для этого. Найдите тег, например:

Прямо перед этим тегом вы хотите вставить ОДИН из следующих фрагментов кода.

Если вы хотите, чтобы страница была исключена из результатов поиска, но по-прежнему переходила по ссылкам на странице, используйте:

Если вы хотите, чтобы страница включалась в результаты поиска, но чтобы Google не переходил по ссылкам на странице, используйте:

И, если вы хотите, чтобы страница была исключена из поиска И чтобы Google не переходил по ссылкам, используйте:

Как это:

Шаг 18. Составьте план обновления старого содержимого

Итак, что мы узнали об индексировании?

Каждый раз, когда вы обновляете свой веб-сайт, Google хочет сканировать его чаще.

Отличный способ заработать на этом — составить план регулярного обновления старого контента.

Именно этим я сейчас и занимаюсь с этим мега-сообщением!

Этот пост был первоначально опубликован в 2015 году, и я стараюсь обновлять его по крайней мере каждые несколько месяцев или, когда происходят серьезные изменения в Google, чтобы поддерживать его в актуальном состоянии.

Информация быстро устаревает, особенно в быстро меняющемся мире маркетинга. Каждый месяц я составляю список своих старых постов и выбираю несколько, чтобы обновить их свежей информацией и советами.Редактируя хотя бы несколько сообщений в месяц, я гарантирую, что мой контент останется актуальным и полезным.

Для наилучшего влияния на скорость индексации старайтесь обновлять свой веб-сайт не реже трех раз в неделю. Этими тремя вещами могут быть публикация одного нового сообщения в блоге и обновление содержимого двух старых сообщений.

Обновление по крайней мере три раза в неделю говорит Google, что лучше проверять у вас почаще, чтобы убедиться, что на нем установлена последняя версия вашего сайта.

Вся эта индексация и новая информация означает, что обновление ваших старых сообщений может увеличить ваш органический поисковый трафик на 111%!

Вот несколько простых способов обновить старый контент.

Проверьте устаревшие факты или термины: Например, в этом сообщении упоминались Инструменты Google для веб-мастеров, которые теперь называются Search Console.

Ссылка на свежие источники информации: Если вы написали сообщение о SEO в 2013 году и использовали в своем сообщении данные того же года, тогда это нормально, но не в 2017 году. Обновите свои оценки и вспомогательную информацию, чтобы они были свежими.

Неработающие ссылки / новые ссылки: Проверьте неработающие ссылки и исправьте их, или при необходимости измените любые ссылки в вашем сообщении на более качественные источники.Например, я могу перенаправить старые ссылки на свежий, новый контент на моем собственном сайте.

Ссылка на другой ваш контент: Включите ссылки на новые сообщения или соответствующий контент, который вы опубликовали после исходного сообщения. Большинство блогеров делают это так:

Связанный: SEO мертв?

Обновите свои точки зрения: Это важно. Просмотрите старые сообщения и обновите свои рекомендации до более актуальных, если необходимо. Вещи меняются! То же самое должно быть с решениями, которые вы предлагаете людям.

Часто задаваемые вопросы о сайте индексирования Google

Какие факторы индексации сайта важны?

Скорость сканирования, способность Google и других поисковых систем индексировать и сканировать ваш сайт, а также ошибки, обнаруженные Google (см. Консоль поиска Google)

Как Google индексирует ваш сайт?

Google использует внутренние ссылки и карты сайта для сканирования вашего сайта. Вы можете отправить карту сайта своего сайта в Google Search Console.

Насколько важен контент-маркетинг для индексации вашего сайта Google?

Увеличение посещаемости ваших страниц может помочь им проиндексировать.Создайте стратегию контент-маркетинга и цели для увеличения вашего трафика.

Какие области контентной стратегии важны для моего нового сайта?

Определите свои цели, целевую аудиторию, типы контента, частоту публикации, систему управления контентом и инструменты, которые вы будете использовать для публикации и продвижения контента.

Google Индексирует ваш сайт Заключение

Надеюсь, вам понравилось это подробное руководство по индексации вашего сайта!

Я знаю, что это очень важно. Я и половины этого не знал, когда начал вести блог.

В моем первом блоге я установил Google Analytics, и все!

Конечно, тогда у нас не было такого количества возможностей для улучшения нашего SEO-рейтинга или индексации, и это не управлялось сложным алгоритмом, как сейчас.

Вот почему я написал это руководство. При запуске нового веб-сайта так важно изучить SEO и индексацию, особенно в условиях всей конкуренции.

Можно занять место на первой странице и «победить больших парней», но для этого требуется много работы и исследований.

Лучший совет, который у меня есть:

Продолжайте учиться и будьте в курсе новостей отрасли. Все меняется так быстро, особенно когда дело касается поисковых систем.

Изучите SEO и перепроверьте любой новый предложенный метод с помощью собственного независимого исследования, прежде чем пробовать его.

Убедитесь, что вы часто обновляете свой сайт — не только с новым содержанием, но и с обновлением старых сообщений. Это заставляет Google возвращаться, чтобы часто сканировать ваш сайт, и сохраняет эти сообщения актуальными для новых посетителей.

Затем составьте план цифрового маркетинга.

Запишите свой план контент-маркетинга, включая то, как вы будете отслеживать индексирование, аналитику и как вы будете обновлять старую информацию на своем сайте. Для меня не было бы возможности расти так быстро, как я, без письменного плана.

Наконец, получите профессиональную помощь в области SEO, если она вам нужна. Не у всех владельцев бизнеса есть время, чтобы оставаться на вершине маркетинга, тем более, что он так быстро меняется. Профессионал часто может получить результаты намного быстрее — и фактически сэкономить ваши деньги в долгосрочной перспективе.

Какую тактику сканирования и индексирования вы пробовали? Каковы были ваши результаты?

Узнайте, как мое агентство может привлечь огромное количество трафика на ваш веб-сайт

SEO — разблокируйте огромное количество SEO-трафика. Смотрите реальные результаты.
Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
Paid Media — эффективные платные стратегии с четкой окупаемостью.

Заказать звонок

Вручную запросить сканирование и повторное индексирование сайта, библиотеки или списка — SharePoint в Microsoft 365

20.06.2018
2 минуты на чтение

В этой статье

В SharePoint контент автоматически сканируется в соответствии с заданным расписанием обхода. Сканер выбирает контент, который изменился с момента последнего сканирования, и обновляет индекс.Вам может потребоваться вручную запросить сканирование и полную переиндексацию сайта, библиотеки документов или списка после того, как произошло изменение схемы.

Осторожно

Повторное индексирование сайта может вызвать огромную нагрузку на поисковую систему. Не выполняйте повторную индексацию своего сайта, если вы не внесли изменений, требующих повторной индексации всех элементов.

Повторное индексирование после изменения управляемых свойств

Когда люди ищут контент на ваших сайтах SharePoint, то, что находится в вашем поисковом индексе, решает, что они найдут.Индекс поиска содержит информацию обо всех документах и страницах вашего сайта.

Индекс поиска создается путем обхода контента на вашем сайте SharePoint. Сканер выбирает контент и метаданные из документов в форме свойств для обхода. Чтобы получить содержимое и метаданные из документов в поисковом индексе, свойства для обхода должны быть сопоставлены с управляемыми свойствами. В индексе хранятся только управляемые свойства. Это означает, что пользователи могут выполнять поиск только по управляемым свойствам.

Когда вы изменили управляемое свойство или изменили сопоставление свойств для обхода и управления, сайт необходимо повторно просмотреть, прежде чем ваши изменения будут отражены в индексе поиска. Поскольку ваши изменения вносятся в схему поиска, а не на фактический сайт, поисковый робот не будет автоматически повторно индексировать сайт. Чтобы убедиться, что ваши изменения просканированы и полностью переиндексированы, вы должны запросить переиндексирование сайта. Контент сайта будет повторно просканирован и проиндексирован, чтобы вы могли начать использовать управляемые свойства в запросах, правилах запросов и шаблонах отображения.

Вы также можете повторно проиндексировать только библиотеку документов или список. Когда вы изменили управляемое свойство, которое используется в библиотеке или списке, или изменили сопоставление свойств для обхода и управляемых, вы можете специально запросить повторную индексацию только этой библиотеки или списка. Все содержимое в этой библиотеке или списке помечается как измененное, и содержимое выбирается во время следующего запланированного обхода и повторно индексируется.

Дополнительные сведения о поиске, свойствах для обхода и управляемых объектах см. В разделе «Управление схемой поиска в SharePoint».

См. Также: Включение возможности поиска на сайте

Переиндексировать сайт

На сайте выберите Настройки , а затем выберите Настройки сайта . Если вы не видите Параметры сайта , выберите Информация о сайте , а затем выберите Просмотреть все параметры сайта .
В разделе Search щелкните Search and offline availability .
В разделе Reindex site щелкните Reindex site .
Появится предупреждение, щелкните Reindex site еще раз для подтверждения. Контент будет повторно проиндексирован во время следующего запланированного сканирования.

Переиндексировать библиотеку документов или список

На сайте перейдите к списку или библиотеке, которые вы хотите повторно проиндексировать.
На ленте щелкните вкладку Библиотека или вкладку Список .
На ленте Библиотека выберите Параметры библиотеки .Или на ленте List выберите List Settings .
На странице настроек в разделе Общие настройки выберите Расширенные настройки .
Прокрутите вниз до Reindex Document Library или Reindex List и нажмите кнопку. Контент будет повторно проиндексирован во время следующего запланированного сканирования.

См. Также

Get-PnPSearchCrawlLog

Проверить статус индексирования вашей страницы WordPress

Проверить статус индексирования вашей страницы WordPress | FirmCatalyst

Мы используем файлы cookie на нашем веб-сайте.Некоторые из них очень важны, а другие помогают нам улучшить этот веб-сайт и улучшить ваш опыт.

Принять все

Сохранить настройки и закрыть

Принимать только необходимые файлы cookie

Индивидуальные настройки файлов cookie

Подробная информация о файлах cookie

Политика конфиденциальности

Отпечаток

Настройки конфиденциальности

Здесь вы найдете обзор всех используемых файлов cookie.Вы можете дать свое согласие на использование целых категорий или отобразить дополнительную информацию и выбрать определенные файлы cookie.

Имя	Borlabs Cookie
Провайдер	Владелец сайта
Назначение	Сохраняет предпочтения посетителей, выбранные в поле Cookie Borlabs Cookie.
Имя файла cookie	Борлабс-печенье
Срок действия файла cookie	1 год

Имя	Полиланг
Провайдер	FirmCatalyst GmbH & Co KG
Назначение	Сохраняет текущий язык.
Политика конфиденциальности	https://firmcatalyst.com/privacy-policy/
Хост (ы)	твердый катализатор.com, firmcatalyst.de
Имя файла cookie	pll_language
Срок действия файла cookie	1 год

Имя	Диспетчер тегов Google
Провайдер	Google LLC
Назначение	Cookie от Google, используемый для управления расширенными сценариями и обработкой событий.
Политика конфиденциальности	https://policies.google.com/privacy?hl=en
Имя файла cookie	_ga, _gat, _gid
Срок действия файла cookie	2 года

Файл cookie

Имя	VG Сусло
Провайдер	Verwertungsgesellschaft Wort
Назначение	VG Wort помогает определить вероятность копирования наших текстов и гарантирует, что авторы и издатели получат компенсацию по судебным искам.IP-адреса обрабатываются только в анонимной форме.
Политика конфиденциальности	https://www.vgwort.de/datenschutz.html
Хост (ы)	*.vgwort.de
Имя файла cookie	srp
Срок действия файла cookie	Sitzung

Как я могу узнать, сколько страниц моего домена проиндексировано Google?

Google предоставляет два простых варианта определения количества проиндексированных страниц вашего домена.Общее количество проиндексированных страниц может сильно отличаться от общего количества страниц, которые у вас действительно есть в домене.

Вариант №1: сайт Google: -query

Используя простой поисковый запрос с так называемым оператором «site:» и вашим доменом, вы можете получить приблизительное количество страниц, проиндексированных Google.

В маске поиска Google введите следующее:

  site: www.my-domain.com

Результат поискового запроса должен выглядеть следующим образом: Красные метки указывают количество проиндексированных страниц.

Отмечено красным — приблизительное количество проиндексированных страниц.

Если в индексе много страниц, результат site: -query может быть отфильтрован с использованием различных параметров:

site: www.my-domain.com/subdirectory /
Отображает только проиндексированные страницы в каталоге / подкаталоге /
site: www.my-domain.com Фраза выбора
Отображает только те проиндексированные страницы, которые содержат выбранную вами фразу
site: www.my-domain. com inurl: фраза
Отображает только те проиндексированные страницы, которые содержат слово «фраза» в URL-адресе
site: www.my-domain.com intitel: фраза
Отображает только те проиндексированные страницы, которые содержат слово «фраза» в заголовке.
site: www.my-domain.com filetype: pdf
Отображает только те проиндексированные файлы с выбранным типом файла (другие возможные типы файлов: doc, pdf, ps, xls, rtf, swf и т. д.)

Вариант № 2: Использование консоли поиска Google

Вы можете легко получить обзор проиндексированных страниц для вашего домена в консоли поиска Google .

Если вы еще не используете Google Search Console, вы можете бесплатно активировать свой веб-сайт (www.google.com/webmasters/tools/?hl=en) всего за несколько минут. Это позволяет вам также использовать следующую опцию, чтобы получить обзор статуса индексации.

Анализ статуса индексации вашего веб-сайта с помощью Google Search Console:

Войдите в Google Search Console и выберите нужный веб-сайт.
Нажмите «Google Index» в левой навигационной панели.
Нажмите «Index» Статус »в подменю.

Теперь вам отображается диаграмма« Статус индекса »для вашего домена, где вы также можете добавлять фильтры, например, также отображать диаграмму для страниц, заблокированных роботами.текст.

Количество проиндексированных страниц, а также страниц, заблокированных файлом robots.txt в Google Search Console.

Поисковая система Bing также предоставляет собственные инструменты для веб-мастеров, которые также позволяют оценить количество проиндексированных страниц в Bing.

История проиндексированных страниц в инструментах для веб-мастеров bing (http://www.bing.com/toolbox/webmaster)

Оценка с помощью SISTRIX Toolbox

В модуле SEO SISTRIX Toolbox вы можете проанализировать историю проиндексированных страницы домена более подробно.График покажет историю показателей индекса от Google. Мы очень регулярно отслеживаем большинство доменов, но для более регулярного обновления этого показателя вы можете добавить домен в свой список наблюдения.

История проиндексированных страниц домена:

SISTRIX Toolbox SEO-модуль: историческая диаграмма проиндексированных страниц домена

Как заставить Google индексировать ваш сайт (быстрее)

Для ваших целевых страниц, блогов, домашних страниц и Чтобы другой онлайн-контент отображался в результатах поиска Google, вам необходимо убедиться, что ваш веб-сайт индексируется.Индекс Google — это в основном база данных.

Когда люди используют поисковую систему для поиска контента, Google обращается к своему индексу, чтобы предоставить релевантный контент. Если ваша страница не проиндексирована, значит, ее нет в поисковой системе Google. Это плохие новости, если вы надеетесь привлечь на свой сайт обычный трафик с помощью обычного поиска.

В этом руководстве подробно рассказывается об индексировании и его важности. В нем также объясняется, как вы можете проверить, проиндексирована ли ваша страница, как исправить общие технические проблемы SEO, вызывающие проблемы с индексированием, и как быстро заставить Google повторно проиндексировать ваш сайт, если он еще не проиндексирован.

Индекс Google — это просто список всех веб-страниц, о которых знает поисковая система. Если Google не проиндексирует ваш сайт, он не появится в результатах поиска Google.

Это как если бы вы написали книгу, но ее нет в книжных магазинах или библиотеках. Книгу никто никогда не найдет. Они могли даже не знать о его существовании. И если бы читатель искал эту книгу, ему было бы очень трудно ее найти.

Сайты, которые не проиндексированы, не находятся в базе данных Google.Таким образом, поисковая система не может отображать эти веб-сайты на страницах результатов поиска (SERP).

Чтобы индексировать веб-сайты, поисковые роботы Google (Googlebot) должны «сканировать» этот веб-сайт. Узнайте больше о разнице между возможностью сканирования и индексирования.

В качестве напоминания, вот краткий обзор процесса поисковой системы:

Сканирование : боты поисковых систем сканируют веб-сайт, чтобы выяснить, стоит ли его индексировать. Веб-пауки, или «робот Googlebot», всегда сканируют сеть, переходя по ссылкам на существующих веб-страницах в поисках нового содержания.
Индексирование : поисковая система добавляет веб-сайт в свою базу данных (в случае Google, в свой «Индекс»).
Рейтинг : поисковая система оценивает веб-сайт по таким показателям, как релевантность и удобство для пользователя.

Индексирование означает, что сайт хранится в базах данных Google. Это не значит, что он будет отображаться в верхней части поисковой выдачи. Индексирование контролируется заранее определенными алгоритмами, которые учитывают такие элементы, как спрос веб-пользователей и проверки качества.Вы можете влиять на индексацию, управляя тем, как «пауки» обнаруживают ваш онлайн-контент.

Пройдите технический SEO-аудит

с помощью Semrush Site Audit

Нет никаких сомнений в том, что вы хотите, чтобы ваш сайт был проиндексирован, но как узнать, есть это или нет? К счастью, гигант поисковых систем позволяет довольно легко узнать, где вы находитесь, с помощью поиска по сайту. Вот как это проверить:

Зайдите в поисковую систему Google.
В строке поиска Google введите «site: example.com. »
Когда вы заглянете под панель поиска, вы увидите категории результатов Google «Все», «Изображения», «Новости» и т. Д. Прямо под этим вы увидите приблизительное количество ваших страниц, проиндексированных Google. .
Если отображается ноль результатов, страница не проиндексирована.

Кроме того, вы можете использовать Google Search Console, чтобы проверить, проиндексирована ли ваша страница. Создать учетную запись можно бесплатно. Вот как получить нужную информацию:

Войдите в Google Search Console.
Щелкните «Указатель».
Щелкните «Покрытие».
Вы увидите количество проиндексированных действительных страниц.
Если количество действительных страниц равно нулю, Google не проиндексировал вашу страницу.

Вы также можете использовать Search Console, чтобы проверить, проиндексированы ли определенные страницы. Просто вставьте URL-адрес в инструмент проверки URL-адресов. Если страница проиндексирована, вы получите сообщение «URL находится в Google.”

Чтобы проиндексировать сайт, Google может потребоваться от нескольких дней до нескольких недель. Это может расстраивать, если вы только что открыли страницу и обнаружили, что она не проиндексирована. Как можно открыть для себя вашу новую красивую веб-страницу через Google? К счастью, есть шаги, которые можно предпринять для более эффективного индексирования. Ниже мы объясним, что вы можете сделать, чтобы ускорить процесс.

Самый простой способ проиндексировать ваш сайт — это запросить индексацию через Google Search Console.Для этого перейдите в инструмент проверки URL в Google Search Console. Вставьте URL-адрес, который вы хотите проиндексировать, в строку поиска и дождитесь, пока Google проверит URL-адрес. Если URL не проиндексирован, нажмите кнопку «Запросить индексирование».

Примечание. Google временно отключил инструмент индексирования запросов в октябре 2020 года. Однако он был только что восстановлен в Search Console!

Однако индексация Google требует времени. Как уже упоминалось, если ваш сайт новый, он не будет проиндексирован в одночасье. Кроме того, если ваш сайт не настроен должным образом для сканирования роботом Googlebot, есть вероятность, что он вообще не будет проиндексирован.

Независимо от того, являетесь ли вы владельцем сайта или онлайн-маркетологом, вы хотите, чтобы ваш сайт был эффективно проиндексирован. Вот как это сделать.

Robots.txt — это файлы, которые робот Googlebot распознает как индикатор того, что он НЕ должен сканировать веб-страницу. Пауки поисковых систем от Bing и Yahoo также распознают Robots.txt. Вы могли бы использовать файлы Robots.txt, чтобы помочь сканерам определить приоритетность более важных страниц, чтобы они не перегружали ваш сайт запросами.

Хотя все это может показаться немного техническим, все сводится к обеспечению возможности сканирования вашей страницы, и вы можете получить дополнительную помощь в обнаружении этого с помощью нашего встроенного средства проверки SEO.Он обеспечивает обратную связь по оптимизации, включая технические изменения, например, блокировку сканирования страницы.

SEO-теги — еще один способ направлять пауков поисковых систем, таких как Googlebot. Есть два основных типа SEO-тегов, которые следует оптимизировать.

Неверные теги noindex : Эти теги запрещают поисковым системам индексировать страницы. Если определенные страницы не индексируются, возможно, у них есть теги noindex. Проверьте эти два типа:
- Мета-теги : Вы можете проверить, какие страницы вашего веб-сайта могут иметь метатеги noindex, просмотрев предупреждения «noindex page».Если страница помечена как noindex, удалите метатег, чтобы она проиндексировалась.
- X-Robots-Tag : вы можете использовать Google Search Console, чтобы узнать, на каких страницах есть X-Robots-Tag в заголовке HTML. Используйте инструмент проверки URL, описанный выше. После входа на страницу найдите ответ на «Индексирование разрешено?» Если вы видите слова «Нет:« noindex »обнаружен в http-заголовке« X ‑ Robots-Tag »», значит, вам нужно удалить X-Robots-Tag.
Канонические теги : Канонические теги сообщают сканерам, предпочтительна ли определенная версия страницы.Если на странице нет канонического тега, робот Googlebot распознает, что это предпочтительная страница и единственная версия этой страницы, и проиндексирует эту страницу. Если на странице есть канонический тег, робот Googlebot предполагает, что существует альтернативная предпочтительная версия этой страницы, и не будет индексировать эту страницу, даже если другой версии не существует. Используйте инструмент проверки URL-адресов Google, чтобы проверить наличие канонических тегов. В этом случае вы увидите предупреждение «Альтернативная страница с каноническим тегом».

Внутренние ссылки помогают сканерам находить ваши веб-страницы.Страницы без ссылок известны как «страницы-сироты» и редко индексируются. Правильная архитектура сайта, изложенная в карте сайта, обеспечивает правильные внутренние ссылки.

XML-карта сайта содержит все содержимое вашего веб-сайта, что позволяет идентифицировать страницы, на которые нет ссылок. Вот еще несколько советов по использованию внутренних ссылок:

Исключить внутренние ссылки nofollow . Когда робот Googlebot сталкивается с тегами nofollow, он сообщает Google, что ему следует удалить указанную с тегами целевую ссылку из своего индекса.Удалите теги nofollow из ссылок.
Добавить высокопоставленные внутренние ссылки . Как уже упоминалось, пауки обнаруживают новый контент, сканируя ваш сайт. Внутренние ссылки ускоряют процесс. Оптимизируйте индексацию, используя страницы с высоким рейтингом для внутренних ссылок на новые страницы.
Создавать качественные обратные ссылки . Google признает, что страницы важны и заслуживают доверия, если на них постоянно ссылаются авторитетные сайты. Обратные ссылки сообщают Google, что страницу следует проиндексировать.

Высокое качество контента имеет решающее значение как для индексации, так и для ранжирования. Чтобы обеспечить высокую эффективность содержания вашего веб-сайта, удалите некачественные и неэффективные страницы.

Это позволяет роботу Googlebot сосредоточиться на наиболее ценных страницах вашего веб-сайта, более эффективно используя ваш «краулинговый бюджет». Кроме того, вы хотите, чтобы каждая страница вашего сайта имела ценность для пользователей. Далее контент должен быть уникальным. Дублированный контент может быть красным флагом для Google Analytics.

Независимо от того, являетесь ли вы веб-мастером, управляющим корпоративным сайтом, программистом на JavaScript по найму или независимым блоггером, базовый навык SEO является обязательным навыком.SEO может показаться устрашающим, но вам не нужно быть экспертом, чтобы понять это.

Пройдите технический SEO-аудит

с помощью Semrush Site Audit

Следует ли индексировать страницы результатов внутреннего поиска?

Нет, страницы результатов поиска вашего веб-сайта в большинстве случаев не должны индексироваться Google и другими поисковыми системами.

Давний опыт поисковой оптимизации гласит, что страницы результатов вашего поиска по сайту должны блокировать ботов поисковых систем и не должны включаться в индекс страниц поисковой системы.

Цель состоит в том, чтобы не разочаровывать пользователей Google и иным образом не дать сканерам поисковых систем тратить свое время на загрузку и анализ страниц, которые предположительно не помогут посетителям или вашему бизнесу.

Взаимодействие с пользователем

Поисковые системы хотят предоставить своим пользователям хороший опыт поиска. Вот почему Google, Bing и DuckDuckGo, например, тратят так много времени, пытаясь получить правильные результаты поиска.

К сожалению, страница результатов поиска с вашего сайта может не дать хорошего релевантного результата.

Вот пример. Представьте, что человек заходит в Google и набирает «какие кроссовки лучше всего подходят для тяжелых бегунов».

Среди отображаемых результатов есть один из результатов внутреннего поиска вашего сайта. Но проиндексированная и связанная страница представляет собой список товаров по запросу «мужские кроссовки».

На этой странице результатов внутреннего поиска также есть раздел, рекламирующий одну из публикаций в блоге вашей компании. Это тот пост в блоге, в котором упоминаются тяжелые бегуны и который каким-то образом индексируется.

Эта страница результатов внутреннего поиска не является хорошей целевой страницей, и, вероятно, ее не следует включать в индекс.

Этот результат бесполезен. Человек, использующий поисковую систему, должен дважды щелкнуть — один раз в результатах поиска Google, а второй — во внутренних результатах вашего сайта, чтобы получить нужную информацию. Более того, посетитель может неверно истолковать результат и предположить, что ваш сайт показывает ему список мягких кроссовок, и разочароваться после размещения заказа.

Худший пример — из статьи Мэтта Тутта, британского технического эксперта по поисковой оптимизации, в 2018 году.

В статье Тутт отметил, что интернет-магазин Wayfair разрешал индексировать некоторые из своих динамически генерируемых страниц результатов поиска.

Если вы искали в Google во время публикации Тутта статьи «Wayfair.com» с определенной фразой, связанной с полом, вы бы увидели результат.

Wayfair динамически добавляла ключевые слова в описания своих страниц поиска, поэтому копия, которую вы увидите в поисковой выдаче Google, гласила: «Купите Wayfair в поисках лучшего [слово, связанное с сексом]. Бесплатная доставка большинства товаров, даже больших ».

«Если бы вы были достаточно смелы, чтобы щелкнуть указанную выше поисковую выдачу, вас бы поприветствовала» следующая копия, по словам Тутта.

«[Слово, связанное с сексом]. В Wayfair мы хотим быть уверены, что вы найдете лучшие товары для дома при совершении покупок в Интернете. Вы искали [слово, связанное с полом], и на этой странице отображаются наиболее подходящие продукты… »

Как отмечает Тутт, эта страница и ее копия «не являются тем контентом, который вы бы хотели, чтобы пользователи или поисковые системы обнаружили в качестве поставщика домашней мебели».

Другими словами, многие страницы результатов внутреннего поиска создаются автоматически и могут не подходить для пользователей, выполняющих поиск в Google или другой поисковой системе.

Wayfair с тех пор изменил свои результаты поиска, так что поиск по этому конкретному ключевому слову теперь возвращает «ручки» на сайте Wayfair, а не исходный термин пола.

Разрешение индексирования динамических страниц означает незнание того, какие результаты ваша компания показывает потенциальным клиентам.

Это ненамного лучше. Google, вероятно, не хочет ранжировать внутренние страницы результатов поиска вашей компании, и вы, если хотите, тратите много энергии робота Googlebot на страницы, которые могут не принести вашей компании много пользы.

Затерянный в траве

«Для страниц внутреннего поиска важны два аспекта», — сказал Джон Мюллер из Google во время видеовстречи в Центре веб-мастеров в апреле 2018 года.

«Во-первых, нам очень легко заблудиться в сорняках, пытаясь просканировать все ваши внутренние поисковые страницы. Если любое слово на вашем сайте может привести к странице внутреннего поиска, и у нас есть все эти потенциальные страницы внутреннего поиска, и все они обслуживают контент, то наши системы могут сработать и сказать: «О, мы постараемся сканировать все страниц вашего внутреннего поиска, потому что, возможно, там есть что-то действительно полезное.«Так что с точки зрения ползания, это, вероятно, не так уж и оптимально».

Робот Googlebot выделяет время — «краулинговый бюджет» — для каждого сайта. Предположительно, на вашем веб-сайте есть страницы, которые лучше сканировать, чем результаты внутреннего поиска.

Одно исключение

Тутт, Мюллер и другие упоминают, что, вероятно, есть одно исключение из правила: если вы используете результаты внутреннего поиска своего сайта для страниц категорий.

Платформы расширенного поиска — e.g., Twiggle, Algolia — может создавать страницы категорий товаров или брендов. Продавец может настроить платформу с синонимами и антонимами для доставки или исключения категории.

Блокировка поисковых систем

Существует как минимум два способа запретить Google и другим поисковым системам индексировать внутренние страницы результатов поиска вашего сайта: директива noindex в разделе заголовка каждой страницы и правило запрета в файле robots.txt. (Я затронул эту тему в статье «SEO: скажите Google, какие страницы не сканировать.”)

Обсудив, почему продавцы должны блокировать индексацию страниц с результатами внутреннего поиска, я затем рассмотрел, как это делают 10 ведущих сайтов электронной коммерции. 9 марта 2020 года я проверил файл robots.txt каждого сайта на предмет правила запретить , а также проверил результаты поиска по сайту на предмет наличия директивы noindex .

Сайт	Robots.txt запретить	noindex
Amazon	Нет	Нет
Barnes & Noble	Да	Да
Баня и кузовные работы	Да	Нет
Best Buy	№	№
GameStop	Есть	Есть
Home Depot	Да	Нет
Конец земли	Да	Нет
Sur La Table	Да	Да
Цель	Да	Да
Walmart	Да	Нет

Я выбрал Amazon, Walmart и Target из-за их известности.Остальные семь я выбрал более или менее случайно из списка сайтов электронной коммерции, на которые я подписан. Обратите внимание, что Amazon и Best Buy не запрещали внешним поисковым системам индексировать внутренние страницы результатов поиска.