26 января 2014 Роман Рыбальченко 4 мин на прочтение

Индексирование https сайтов Google

Недавно бесплатно консультировал Украинскую Биржу Благотворительности. В том числе и по SEO, хотя делаю это крайне редко.

Новой команде в наследство попался сайт со множеством странностей. Например, по умолчанию всегда открывается версия сайта на https (защищенное соединение).

Украинская_биржа_благотворительности

Смотри также: Александр Момот, REMME: Кибербезопасность. Как обезопасить бизнес от кражи данных?

Про кучу страниц с одинаковым мета-тегом title я вообще молчу.

Screaming_Frog_SEO_Spider_2_22-4

Новая команда уже об этом знает и готовит новый сайт. Но пока новый сайт будет готов — нужно залатать пару основных дыр.

Одна из «дыр» — сайт не индексировался в Google. В индексе поисковой было штук 10 страниц. По запросам «украинская биржа благотворительности» и «українська біржа благодійності» сайта не было в ТОП-10. При этом Яндекс индексировал всё нормально.

Первым делом я подумал на программистов или системных администраторов. Такое иногда бывает. Программисты могут решить, что с определенного ip-адреса идёт много запросов к сайту и заблокировать доступ с этого ip адреса. В моей практике случалось, что программисты таким образом блокировали ip поисковых систем.

Спросил. Сказали, что запретов по ip нету.

Потом попросил доступ к Webmaster Tools. Там отображалась ошибка: «Google не удалось просканировать ваш сайт, так как закрыт доступ к файлу robots.txt». Как бы странно, если robots.txt нету — обычно поисковая система проиндексирует всё, что найдёт.

Воспользовался инструментом «Просмотреть как Googlebot» (Fetch as Google) — та же ошибка:Инструменты_для_веб-мастеров –_Просмотреть_как_Googlebot_-_http___ubb_org_ua_-3

И тогда возникла гипотеза: Google по-умолчанию не индексирует сайты на https, если нету robots.txt.
Логика такая — если сайт на https, то там хранятся какие-то данные, которые должны быть доступны только безопасно. Если программист / системный администратор не загрузил файл robots.txt — то скорее всего он не думает о том, чтобы сайт был доступен для поисковых систем.

Вместе с программистом загрузили robots.txt и сделали пару запросов с разными страницами в инструменте «Просмотреть как Googlebot». Ошибок не было. Зато появилась кнопка «Отправить в индекс». И дальше выбор: только эту страницу или все. Отправили все.

Инструменты_для_веб-мастеров –_Просмотреть_как_Googlebot_-_http___ubb_org_ua_-2

1-4

Прошли сутки, и вуаля — робот Google просканировал за день 3700 страниц. И сайт вылез по своему названию в ТОП Google. Дело сдвинулось.

Инструменты_для_веб-мастеров –_Статистика_сканирования_-_http___ubb_org_ua_

украинская_биржа_благотворительности_-_Поиск_в_Google-2

Подпишись, чтобы не пропустить свежие материалы

Новые статьи, видео, подкасты о performance-маркетинге, интернет-бизнесе
и продуктивности 3-4 раза в месяц. Уже 7859 подписчиков.

Сертификации

  • Bing Ads Accredited Professional 2015
  • HubSpot Email Marketing Certified 2020
  • HubSpot Inbound Certified Professional 2009
  • Reply.io Outbound Sales Mastery 2021
  • Яндекс.Директ Сертифицированный специалист 2016
  • Яндекс.Метрика Сертифицированный специалист 2016
  • Сертифицированный консультант Google Ads 2011

Клиенты

С 2008 года мы работали с 252 Клиентами и помогли им сделать интернет-маркетинг эффективнее и заработать больше.

Клиенты
О НАС

Почему мы выбрали Roman.ua?
Потому что в хорошем смысле они задроты.