26 января 2014 Роман Рыбальченко 5 мин на прочтение

Индексирование https сайтов Google

Недавно бесплатно консультировал Украинскую Биржу Благотворительности. В том числе и по SEO, хотя делаю это крайне редко.

Новой команде в наследство попался сайт со множеством странностей. Например, по умолчанию всегда открывается версия сайта на https (защищенное соединение).

Про кучу страниц с одинаковым мета-тегом title я вообще молчу.

Screaming_Frog_SEO_Spider_2_22-4
Нажми на изображение, чтобы увидеть его полностью

Новая команда уже об этом знает и готовит новый сайт. Но пока новый сайт будет готов — нужно залатать пару основных дыр.

Одна из «дыр» — сайт не индексировался в Google. В индексе поисковой было штук 10 страниц. По запросам «украинская биржа благотворительности» и «українська біржа благодійності» сайта не было в ТОП-10. При этом Яндекс индексировал всё нормально.

Первым делом я подумал на программистов или системных администраторов. Такое иногда бывает. Программисты могут решить, что с определенного ip-адреса идёт много запросов к сайту и заблокировать доступ с этого ip адреса. В моей практике случалось, что программисты таким образом блокировали ip поисковых систем.

Спросил. Сказали, что запретов по ip нет.

REMME: Кибербезопасность. Как обезопасить бизнес от кражи данных?

Потом попросил доступ к Webmaster Tools. Там отображалась ошибка: «Google не удалось просканировать ваш сайт, так как закрыт доступ к файлу robots.txt». Как бы странно, если robots.txt нету — обычно поисковая система проиндексирует всё, что найдёт.

Инструменты_для_веб-мастеров –_Просмотреть_как_Googlebot_-_http___ubb_org_ua_-3
Нажми на изображение, чтобы увидеть его полностью

Воспользовался инструментом «Просмотреть как Googlebot» (Fetch as Google) — та же ошибка:

И тогда возникла гипотеза: Google по-умолчанию не индексирует сайты на https, если нету robots.txt.
Логика такая — если сайт на https, то там хранятся какие-то данные, которые должны быть доступны только безопасно. Если программист / системный администратор не загрузил файл robots.txt — то скорее всего он не думает о том, чтобы сайт был доступен для поисковых систем.

Вместе с программистом загрузили robots.txt и сделали пару запросов с разными страницами в инструменте «Просмотреть как Googlebot». Ошибок не было. Зато появилась кнопка «Отправить в индекс». И дальше выбор: только эту страницу или все. Отправили все.

Инструменты_для_веб-мастеров –_Просмотреть_как_Googlebot_-_http___ubb_org_ua_-2
Нажми на изображение, чтобы увидеть его полностью
1-4
Нажми на изображение, чтобы увидеть его полностью

Отслеживание файлов robots.txt с помощью Google Docs

Прошли сутки, и вуаля — робот Google просканировал за день 3700 страниц. И сайт вылез по своему названию в ТОП Google. Дело сдвинулось.

Инструменты_для_веб-мастеров –_Статистика_сканирования_-_http___ubb_org_ua_
Нажми на изображение, чтобы увидеть его полностью
украинская_биржа_благотворительности_-_Поиск_в_Google-2
Нажми на изображение, чтобы увидеть его полностью

Подпишись, чтобы не пропустить свежие материалы

Новые статьи, видео, подкасты о performance-маркетинге, интернет-бизнесе и продуктивности 3-4 раза в месяц. Уже 7969 подписчиков.

Сертификаты
и награды

Meta Business Partner. Таких всего ~16 в Украине

eSputnik Partner с 2019 г.

UpWork Top Rated

Clutch TOP-1000 компаний в мире за 2022 г.

TechBehemoths Awards 2022. Лучшие рекламные агентства в Украине.

Клиенты

С 2008 года мы работали с 263 Клиентами и помогли им сделать интернет-маркетинг эффективнее и заработать больше.

Клиенты
О НАС

Почему мы выбрали Roman.ua?
Потому что в хорошем смысле они задроты.