, обновлено — 9 июля 2018 4 мин на прочтение

Индексирование https сайтов Google

Недавно бесплатно консультировал Украинскую Биржу Благотворительности. В том числе и по SEO, хотя делаю это крайне редко.

Новой команде в наследство попался сайт со множеством странностей. Например, по умолчанию всегда открывается версия сайта на https (защищенное соединение).

Украинская_биржа_благотворительности

Про кучу страниц с одинаковым мета-тегом title я вообще молчу.

Screaming_Frog_SEO_Spider_2_22-4

Новая команда уже об этом знает и готовит новый сайт. Но пока новый сайт будет готов — нужно залатать пару основных дыр.

Одна из «дыр» — сайт не индексировался в Google. В индексе поисковой было штук 10 страниц. По запросам «украинская биржа благотворительности» и «українська біржа благодійності» сайта не было в ТОП-10. При этом Яндекс индексировал всё нормально.

Первым делом я подумал на программистов или системных администраторов. Такое иногда бывает. Программисты могут решить, что с определенного ip-адреса идёт много запросов к сайту и заблокировать доступ с этого ip адреса. В моей практике случалось, что программисты таким образом блокировали ip поисковых систем.

Спросил. Сказали, что запретов по ip нету.

Потом попросил доступ к Webmaster Tools. Там отображалась ошибка: «Google не удалось просканировать ваш сайт, так как закрыт доступ к файлу robots.txt». Как бы странно, если robots.txt нету — обычно поисковая система проиндексирует всё, что найдёт.

Воспользовался инструментом «Просмотреть как Googlebot» (Fetch as Google) — та же ошибка:Инструменты_для_веб-мастеров –_Просмотреть_как_Googlebot_-_http___ubb_org_ua_-3

И тогда возникла гипотеза: Google по-умолчанию не индексирует сайты на https, если нету robots.txt.
Логика такая — если сайт на https, то там хранятся какие-то данные, которые должны быть доступны только безопасно. Если программист / системный администратор не загрузил файл robots.txt — то скорее всего он не думает о том, чтобы сайт был доступен для поисковых систем.

Вместе с программистом загрузили robots.txt и сделали пару запросов с разными страницами в инструменте «Просмотреть как Googlebot». Ошибок не было. Зато появилась кнопка «Отправить в индекс». И дальше выбор: только эту страницу или все. Отправили все.

Инструменты_для_веб-мастеров –_Просмотреть_как_Googlebot_-_http___ubb_org_ua_-2

1-4

Прошли сутки, и вуаля — робот Google просканировал за день 3700 страниц. И сайт вылез по своему названию в ТОП Google. Дело сдвинулось.

Инструменты_для_веб-мастеров –_Статистика_сканирования_-_http___ubb_org_ua_

украинская_биржа_благотворительности_-_Поиск_в_Google-2

Читай также:

Кто делает подкасты о бизнесе на русском языке и сколько они приносят

11 октября 2017 Секрет Фирмы

Как делать подкасты — опыт Романа Рыбальченко c кейсом «Продуктивный Роман»

15 декабря 2017 AIN.ua

Роман Рыбальченко о 7 факторах стресса и как с ними бороться

27 июля 2017 Лайфхакер

Кейс читателя: Почему мы потеряли клиента, несмотря на успешное продвижение его интернет-магазина

19 мая 2015 vc.ru

Роман Рыбальченко. Продуктивность предпринимателя

7 декабря 2018 ЗДЕСЬ И СЕЙЧАС
avatar
Вадим Ошкало
Руководитель intimo.com.ua

Cистемность — это «религия» Ромы. Так что работая с Roman.ua Вам прийдется её принять и получить все вытекающие бонусы.

Все отзывы 76

Мы помогли более 190 Клиентам. Слово «Клиент» мы всегда пишем с большой буквы.

  • Macphun
  • Intimo
  • Prom.ua
  • Autoportal.com
  • Київстар
  • Kingston
  • SemRush
  • Dobovo
Работаем удаленно и в офисе в Киеве.

Любим путешествовать и увеличиваем продажи Клиентам по всему миру.