Продуктивный Роман #71
Detectum: как улучшить поиск на сайте?
71 выпуск подкаста Продуктивный Роман. В гостях — Лев Гершензон (facebook), Co-Founder Detectum (поисковая система товарного поиска для интернет-магазинов и маркетплейсов).
Поговорили о том, как создать УМНЫЙ поиск по сайту и как хороший поиск увеличивает трафик.
Подпишись и слушай подкаст
«Продуктивный Роман»
Благодарности спонсорам
Предложение для стартапов от SendPulse. SendPulse — многоканальный сервис email, SMS, web push и Viber рассылок с лучшим на рынке редактором форм подписки и системой для создания цепочек триггерных писем.
При поддержке Mastercard.
Тайм-коды
00:02:04 Какую задачу решает Detectum?
00:09:59 Чем лучше Sphinx и ElasticSearch?
00:10:31 Важность поиска в интернет-магазине
00:17:02 Поиск и каталог — два способа решения одной и той же задачи
00:30:27 Сколько платит интернет-магазин за умный товарный поиск?
00:33:22 Подключение новых клиентов
00:45:53 Годовой оборот и количество подключенных клиентов?
00:52:43 Что такое хороший поиск?
00:56:27 Умное ранжирование результатов поиска
01:08:00 Свое решение для умного поиска товаров
01:10:20 Сколько человек работает в компании?
01:11:50 Голосовой поиск
01:16:59 Баланс между работой и личной жизнью
01:22:01 Как работаете удаленно, находясь в разных часовых поясах?
О компании Detectum

- Год основания 2013
- Оборот за 2019 год 1 000 000 $
- Количество клиентов 15

Лев Гершензон
Сооснователь Detectum
Расшифровка подкаста
[emaillocker]РОМАН РЫБАЛЬЧЕНКО: Привет. Это новый выпуск «ПРОДУКТИВНОГО РОМАНА». Мы в Берлине. И у меня в гостях Лев Гершензон, Co-Founder Detectum.
ЛЕВ ГЕРШЕНЗОН: Привет.
РОМАН РЫБАЛЬЧЕНКО: Расскажи нашим зрителям, какую задачу решает Detectum.
ЛЕВ ГЕРШЕНЗОН: Мы разрабатываем поисковую систему товарного поиска для интернет-магазинов и маркетплейсов — это поиск по каталогизированным и структурированным объектам. В случае с магазинами, на которых мы сейчас специализируемся, да, это товарные описания, описания товаров. И как бы для магазинов мы предлагаем это как SaaS-решение, т.е. получаем товарный фид, там, в XML, в стандартном формате, со всей информацией, индексируем его, обрабатываем на своей стороне, и когда пользователь приходит на сайт и вбивает в поисковую строку какой-то запрос, запрос отправляется к нам и мы возвращаем тоже в определенном формате отранжированные уже результаты, которые потом на сайте отражаются.
Формально у нас B2B-проект, т.е. мы работаем с интернет-магазинами сейчас, с другими провайдерами каких-то баз, объектов и данных. Ну, вот, сейчас, да, у нас фокус на Ecommerce. Но по факту это B2B2C, т.е. мы для конечных пользователей, для посетителей магазинов обеспечиваем на тех магазинах, с которыми мы работаем, хороший, релевантный поиск, который помогает им находить товары, которые им нужны, и проще, и быстрее, лучше совершать покупки. Ну, а соответственно для магазинов это рост стандартных показателей.
РОМАН РЫБАЛЬЧЕНКО: Конверсия, средний чек.
ЛЕВ ГЕРШЕНЗОН: Конверсия, оборот, да. Ну и главное для нас — лояльность пользователей, потому что… Ну, это как бы простая, нехитрая мысль, но вот за сколько-то лет работы мы убедились, что она действительно верная: что если есть какой-то инструмент, который начинает работать, который просто работает, то люди, пользователи, особенно повторные пользователи, которые не первый раз заходят, они ему доверяют, им пользуются. Поэтому в нашем случае… Тут, может быть, про это, да, можно будет чуть подробнее сказать. В нашем случае это можно увидеть действительно немножко такой в long-term перспективе, там, за год, за два, что не только конверсию или оборот из поиска мы растим, но и долю поисковых сессий, т.е. долю пользователей, которая, выбирая товары, да, пользуется поисковой строкой, вот, эта корреляция и есть.
РОМАН РЫБАЛЬЧЕНКО: То есть какой-то положительный опыт, что пользователь искал и нашел, приводит к тому, что он начинает доверять этому инструменту на сайте и использовать его чаще и чаще?
ЛЕВ ГЕРШЕНЗОН: Да. Ну, я как бы уверен, что это… У нас есть своя профдеформация, мы занимаемся поиском, мы его со всех сторон изучаем, смотрим и развиваем, но как бы каждый может с какой-нибудь своей области, это клиентского, B2C-ого сервиса, любого сервиса оффлайнового, посмотреть, что если что-то работает и оно удобное, да, то этим начинают больше пользоваться.
РОМАН РЫБАЛЬЧЕНКО: Получается, что магазин берет XML, который у него существует для партнеров, прайс-агрегаторов, маркетплейсов, отдает его вам и вы ему даете код поисковой формы или какое-то API решение, которое поисковая форма запрашивает, и вы отдаете структурированный…
ЛЕВ ГЕРШЕНЗОН: У нас нет виджетов, т.е. мы сейчас технически работаем через API. Это уже детали, но считаем, что так лучше, это более гибкая история. Есть свои минусы, есть свои плюсы и это как бы стандартная модель, по которой пока более популярные поисковые движки, чем наш, используются, в том числе опенсорсные, там, какой-нибудь Solr, Elastic и еще разные другие конкурирующие продукты.
И мы берем, и просим… Единственно, что для разных партнерских историй магазины разные фиды используют. Мы просим как можно более полные, чтобы максимальная информация, которая магазину известна о товарах, и структурированное, и не структурированное текстовое описание, были доступны для индексации, были searchable, да, потому что…
Как бы, откуда вообще эта идея появилась, откуда появилась задача, да, т.е. что за проблема, которую мы решаем. Самая острая проблема для магазина и для пользователя, когда магазин уже привлек посетителя. Он еще не покупатель, он — посетитель. Он пришел, не знаю, по оффлайновой рекламе, по партнерским программам, через платную рекламу, через SEO, просто из результатов поиска. Он пришел на сайт магазина, ну, если он пришел на карточку товара и сразу купил, это не про нас, но если он пришел на сайт магазина и дальше этот магазин его в принципе заинтересовал и он начинает что-то искать. Самая острая проблема, если он ищет товар, который у магазина есть, но магазин его не понял и ему этот товар не показал, то тогда пользователь уходит, может быть, навсегда. И это проблема непонимания, она самая острая. Это как бы главная проблема, которую мы решаем.
Вторая история, что когда говорят про поиск, есть две основных как бы метрики, — полнота и точность, — и обе они важны.
Если в магазине, не знаю, детских товаров человек ищет какую-нибудь коляску, ему показывают 20 колясок, а на самом деле их 80, можно сказать, что ничего страшного, вот мы тебе что-то показали, но понятно, что в 4 раза больше вероятность того, что то, что ему нужно, оно оказалось ровно в той части, которую не показали. Это история про полноту.
Если наоборот вместе с колясками он ищет коляску для ребенка, а ему показывают всякие запчасти для колясок или игрушечные коляски, и все это перемешано, то опять-таки это проблема, потому что у пользователя, у человека, у него есть ограниченный ресурс, там, временной и ресурс внимания. Если он на первых 2-х, 3-х страницах не нашел то, что ему нужно, и в то же время он привык, там, не знаю, в Гугле и в других поисковых системах, что товары и результаты идут в порядке убывания релевантности, он видит: «А, пошел какой-то мусор», то…
РОМАН РЫБАЛЬЧЕНКО: Больше ничего нету.
ЛЕВ ГЕРШЕНЗОН: Да, то он ушел. Опять-таки, тоже ушел. Ну и, наконец, даже если очень полные результаты или точные, но их просто много, там, я не знаю, выбираете какой-нибудь гаджет, какой-нибудь Power Bank, телефон, телевизор, да, там, не знаю, 500 телевизоров продается, общий запрос, тут критически важно и это тоже общая поисковая история, какие объекты, какие результаты, какие товары, ты показываешь сверху. По той же самой причине, что этот ресурс внимания ограничен. И это, наверное, одна из наиболее интересных задач, которую мы решаем — каким образом, даже при, скажем так, одинаковой текстовой релевантности, т.е. релевантности запрос, да, все эти 500 телевизоров, они одинаковы релевантны с точки зрения обычного поиска, запрос «телевизор», что показать сверху, и это… да, вот, интересная тоже и — я не побоюсь этого слова — наукоемкая задача.
РОМАН РЫБАЛЬЧЕНКО: Скажи, вот есть решение, например, Elasticsearch, который ты упомянул, есть решение Sphinx, некоторые магазины, далеко не все вообще лезут дорабатывать свой поиск, но некоторые магазины, когда приходят к этому, начинают пилить свой огород, свое решение, например, на том же Sphinx, который, насколько я помню, условно-бесплатный.
ЛЕВ ГЕРШЕНЗОН: Sphinx бесплатный, Elasticsearch можно бесплатно им пользоваться, Solr тоже на Lucene бесплатный. Есть достаточно бесплатных решений.
РОМАН РЫБАЛЬЧЕНКО: И люди, ну, немногие, но в Ecommerce иногда любят выдумывать свои велосипеды, писать под себя. Как вы продаете им? Почему вы говорите, что ваше решение будет лучше, чем то, что они будут сами настраивать, учиться, разбираться?
ЛЕВ ГЕРШЕНЗОН: Это очень хороший вопрос. Мы, с одной стороны, довольно давно уже этим занимаемся, т.е. Detectum шесть лет, с другой стороны, у нас такой, конечно, в общем, технологический проект и у нас перекос в сторону продукта и технологии, ну, и опыта такого не было, поэтому продажи — это не самая сильная наша сторона. И тем удивительней, что как бы нам пока удалось выживать, и удается, и даже в общем это становится прибыльным, ну, по крайней мере не убыточным бизнесом.
Я с партнерами много лет работали до этого в Яндексе и у нас тоже была своя профдеформация. Настолько было очевидно, что поиск — это важно, что я думал, что… я увидел этот gap между качеством поиска Гугла, Яндекса и поиска в интернет-магазинах, даже крупных, даже известных, и в классифайдах, и так далее. И мне казалось совершенно очевидно, потому что я до этого 7 лет занимался поиском, разными поисковыми проектами, что за этим уже будущее и как бы вот эта ступенька, да, т.е. этот отрыв в качестве, это наше business opportunity.
Но… это тоже как бы история про то, как полезно выходить из пузыря. Когда я начал еще сначала с идеи, ничего этого не было, ходить по магазинам в Москве, через какие-то знакомства, и стал рассказывать про это, большинство встречало каким-то непониманием. Они говорили: «Поиск? Зачем поиск? У меня поиском никто не пользуется». Я говорю: «Никто? Совсем никто?». «Ну, там, пользуется процентов 5». Я говорю: «Хорошо. А сколько… какой процент…», — тоже не сразу мы пришли к этому вопросу, — «5 процентов пользуется, а в заказах, в обороте сколько?» «А я не знаю.»
РОМАН РЫБАЛЬЧЕНКО: У многих не настроено в Analytics.
ЛЕВ ГЕРШЕНЗОН: Но это было, да, сейчас все с этим лучше. Некоторые говорили, и самое смешное, что до сих пор это встречается, говорили: «Поиск? У меня если поиском пользуются, значит, я что-то не доработал в каталоге». Вот каталог — это красиво, мы все вылизали, сделали.
РОМАН РЫБАЛЬЧЕНКО: Это такая профдеформация. Они все пришли вот или на каталог, или на карточку товара, там, я меню хорошую вылизываю, другую, фильтры.
ЛЕВ ГЕРШЕНЗОН: Да, у меня тут красиво, у меня тут баннеры, фильтры, все, а поиск это что-то там, вот. Ну, потом действительно стали говорить: «А у меня им мало пользуются». Те, у кого что-то настроено, какие-то цифры называли. А потом мы как бы убедили в том, что вы на другие цифры посмотрите. И там выяснилась, например, интересная история. Что может быть, что у тебя в магазине, не знаю, поисковых сессий, да, т.е. людей, которые хоть раз хоть что-то вбили в поисковую строку, их, там, 8%, а в заказах и в деньгах — это 30%. А 30%, согласитесь, уже интереснее история. И…
На это у нас ушло несколько лет. Это была моя ошибка. Ну, это первый бизнес, эта ошибка не страшная, она, к счастью, оказалась не фатальной, что вот эта очевидность важности поиска, и главное — важности его в будущем. Я там на vc.ru даже года 3 назад написал такую программную колонку про такую дихотомию поиск и каталог, про эти 2 способа как бы навигации по базе данных. И мы на самом деле этот процесс видим. По крайней мере, мы его видим на тех магазинах, с которыми мы работаем. Что медленно, но доля поисковых сессий, она растет. Ну, т.е. частично она растет, потому что мы считаем, что мы сделали хороший продукт, хороший инструмент, которым пользуются, но он и сам по себе растет. И этому есть очень простое объяснение, что поиск — это универсальный инструмент. Грубо говоря, чтобы воспользоваться поиском, тебе на сайте нужно найти поисковую строку и все.
РОМАН РЫБАЛЬЧЕНКО: Это быстрее и ты привыкаешь к тому, что ты всюду ищешь, там, в социальных сетях, в поисковой системе, всюду, на компьютере у себя. Зачем я буду разбираться, в какой каталог магазин положил.
ЛЕВ ГЕРШЕНЗОН: Именно, да. Каталоги, если ты пользуешься каталогом, каждый каталог даже у однотипных как бы товарных каких-то групп, все чуть-чуть по-разному его строят, и ты должен… т.е. чтобы нормально воспользоваться каталогом, ты должен быть немножко специалистом.
У нас есть такой пример. Был магазин, он уже закрылся, мы с ним когда-то работали, и там в какой-то момент мы обнаружили, что… на детских товарах специализировался… что детские спортивные комплексы для дома, вот примерно половина лежала в категории товары для спорта, а половина в категории верхнего уровня, я не знаю, детская комната. Одни, какие-то контент-менеджеры, туда определяли, другие — сюда. Понятно, что если ты пользуешься каталогом, то ты одновременно в одном листинге получить все товары определенной группы не мог в принципе, а через поиск это было возможно.
Основное, конечно, что Google как бы победил каталоги, да, и этот вообще способ. Тебе что-то нужно, ты Google It, вот, все. И вот этот вот переход между поисковой системой, например, и сайтами другими, он все больше и больше становится бесшовным. Люди в какой-то момент, они перестали отличать поисковую строку от адресной строки. И как бы браузер — это хороший пример продуктовой работы, что заметили, что в поведении, что люди путаются. Ну, и кто-то подумал, что раз они путаются, давайте мы их объединим, какая разница.
РОМАН РЫБАЛЬЧЕНКО: Зачем этот лишний клик, уйти в поисковик, а потом снова.
ЛЕВ ГЕРШЕНЗОН: Да. Некоторая похожая история происходит, что ты был… особенно, если не открывается новое окно… ты был в Гугле, что-то поискал, нашел какие-то товары, у тебя какой-то магазин, а тут бах и все другое. Ну, в смысле, если ты там за несколько секунд не разобрался, не нашел эту строку, то ты ушел. Если разобрался, то тогда тебе нужно и пользователь ждет, что у тебя будет качество и user experience такой же, к которому он привык там. Вот это для нас такой драйвер.
Второй момент, просто, тоже, чтобы закончить, что… и, как бы, когда мы стали думать про продукт, мы поняли, что на самом деле… и это один из способов, как мы показываем и убеждаем магазин, что нужно заниматься… что это всего лишь 2 способа для решения одних и тех же задач. И это значит, что, ну, по нашему мнению, и дизайн, и представление результатов, и главное, их содержание, должно быть, ну, если не совсем одинаковые, то очень похожи, т.е. грубо говоря, если ты ищешь горный велосипед для 13-летнего сына и делаешь это через каталог, и у тебя, ты, там, знаешь, не знаю, диаметр колес, не знаю, какие-нибудь.
РОМАН РЫБАЛЬЧЕНКО: Или ростовку.
ЛЕВ ГЕРШЕНЗОН: Да, или это действительно магазин и там прямо есть фильтр про возраст, и ты пошел, там, спорт, транспорт, я не знаю, что, велосипеды, тип — горные, возраст — 13 лет, мальчик, вот ты сделал эти 7 кликов, получил некоторую выборку. И это один способ.
Другой способ, что ты берешь и набиваешь «горный велосипед мальчик 13 лет» в поисковую строку.
Одна и та же задача, 2 разных способа, но результаты должны быть по крайней мере похожи. И это такой маркер. Если ты…
Ну, можно и более простые примеры привести. Если ты, там, не знаю, ищешь в магазине одежды красное вечернее платье и ты зашел в вечерние платья, потом выбрал фильтр красные, и если ты просто спрашиваешь «красные вечерние платья», то у тебя должна быть по крайней мере похожая выдача. Если она разная, это значит одну простую вещь. Как минимум, либо в одном случае, либо в другом у тебя не оптимальные результаты, а, скорее всего, это значит, что в обоих случаях что-то не…
И это касается, как содержательной части, на которой мы специализируемся, так и на самом деле представления результатов. Есть смешной такой тоже пример. В куче магазинов на странице выдачи поисковой и в листинге каталога по умолчанию разное количество, например, товаров в строчке в плиточной выдаче, да, в одном 3, в другом 4.
РОМАН РЫБАЛЬЧЕНКО: Или разный вид.
ЛЕВ ГЕРШЕНЗОН: Почему? Ну, в смысле, почему? Или, там, очень часто… ну, как бы, мы этим пользуемся и это простая вещь, которую можно показать, которую мы быстро можем улучшить, но это можно и без нас улучшить. Например, в каталоге красивые, хорошие, богатые фильтры, а в поисковой выдаче их вообще нету или они очень какие-то куцые. Как бы, если та же задача, если те же товары, то давайте это там тоже будет. И это как видно уже все разговоры, соображения не столько технологические, сколько продуктовые, что нам вообще кажется одна из важных вещей.
РОМАН РЫБАЛЬЧЕНКО: Я согласен с тобой. Мне вообще кажется, что появление кучи маркетплейсов с неструктурированными карточками товара, где у пяти магазинов может быть один и тот же товар, но они не склеены в одну карточку, т.е. если мы говорим не про Amazon какой-нибудь, а про AliExpress или eBay, например, или Avito, OLX, то они приучают пользователя, что поиск там как-то работает, что какой-то китаец прописал, что это горный велосипед для мальчика 13 лет и завел его же как горный велосипед для мальчика 14 лет, и что-то он найдет. Возможно, не все велосипеды. Возможно, он пойдет по похожим. Возможно, вернется в каталог и начнет фильтровать. Но как-то он найдет. И мне кажется, что маркетплейсы тоже тут играют вот в вашу сторону, что они приучают пользователя искать.
ЛЕВ ГЕРШЕНЗОН: Конечно. Ну, у нас есть, например, такое как бы ограничение, ну, не ограничение, опытным путем, т.е. мы считаем, что если в магазине, не знаю, меньше 2-3 тысяч позиций, то мы лучше даже не будем связываться, т.е. мы можем сделать поиск и по 10 товарам, но как бы если ты можешь до любого товара дотянуться в 3 клика, да.
Просто, если каталог нормально устроен, то как бы ценность поиска не такая большая. Но то, что начинается оттуда, т.е. тут как бы tradeoff простой. Поиск — это всегда один запрос и дальше все. Ты нажимаешь Enter или Искать и ты получаешь результаты, т.е. это всегда… Опять-таки, это мы не придумали, эта модель пришла от веб-поисковиков. Всегда что-нибудь покажи. Всегда покажи самое релевантное. В случае с Ecommerce, самое вероятное к покупке. В идеале, для конкретного человека. Всегда покажи и потом дай инструменты дополнительного, те же самые фильтры, к ним уже привыкли, почему бы их не оставить, да, для уточнений и сужения результатов.
Тут если у тебя база и разнообразие товаров достаточно большое, если у тебя уже, не знаю, 50 тысяч товаров и у тебя 4-х уровневый каталог, и сама по себе навигация становится сложной задачей, чем он сложнее, чем дольше этот путь, тем важнее и естественней поиск, тем больше он может дать.
Но то, что сейчас… т.е. мы начали с поиска. Это, конечно, основной наш фокус. Но сейчас вот эта вот продуктовая идея о том, что поиск и каталог — это одно. На самом деле это, я не знаю, две стороны, два способа решения одной и той же задачи. Сейчас наш API как бы обрабатывает и поисковые, и каталожные запросы, т.е. всю навигацию мы готовы брать на себя. Ну, и вот пара клиентов сейчас у нас есть, с которыми мы начинаем так работать.
РОМАН РЫБАЛЬЧЕНКО: Ты имеешь в виду, что когда пользователь вбивает запрос, результатом которого должен быть каталог с фильтрами, то вы сразу бросаете его на каталог с фильтрами?
ЛЕВ ГЕРШЕНЗОН: Эта функциональность у нас как бы давно есть. Просто функциональность редиректов, мы как раз, ну, как бы, мы ее поддерживаем, но предлагаем использовать не в таком случае, а для всяких не товарных запросов, т.е. есть поисковая строка, люди, у них могут быть разные вопросы. Например, как устроена или сколько стоит доставка, как устроен возврат товаров, какие там есть акции или карты. И чтобы по таким запросам не выдавать случайные товары или ничего, мы реализовали… вот этот вот… ну, что значит реализовали… простой механизм с редиректами. Мы распознаем эти запросы и отправляем на соответствующие страницы справочной в магазине.
Но речь идет о том, что технически можно как бы навигацию по каталогу отправлять тоже в наше API. Если человек выбрал категорию, есть какой-то определенный ID категории, набор фильтров, то такие запросы наше API тоже обрабатывает.
РОМАН РЫБАЛЬЧЕНКО: То есть что магазин не должен писать вот этот свой обработчик фильтров?
ЛЕВ ГЕРШЕНЗОН: Ну, да. Мы можем… Ну, в смысле, он должен сделать каталог, а дальше мы… т.е. все равно мы фильтры строим из этого YML, XML, который мы получаем, т.е. мы сейчас пока… это интересный проект, но сейчас пока у нас до него руки не дошли, как бы, как самим еще и автоматически строить каталог. Мы как бы полагаемся на то, что в этом месте есть эксперты и они его… тут тоже масса проблем, но это детали.
Просто, что можно… один API может решить… ну, в смысле, есть фид, да, есть логи, — это 2 необходимых источника данных для нас, — и дальше одно API, которое закрывает вот эту всю навигацию, ну, и в нашем случае, все, что касается поиска, от поискового suggest’а, т.е. от помощи как бы при наборе, от подсказок запросных, до фильтров и всяких кастомных сортировок, вот это все.
РОМАН РЫБАЛЬЧЕНКО: И если заглядывать туда дальше, то вы потом можете заходить и в рекомендации?
ЛЕВ ГЕРШЕНЗОН: Ну, да. Тут как раз интересная история с точки зрения продаж и рынка. Когда мы начинали продавать лет 5 назад, то тема рекомендаций, она была очень hot, и там все про них только и говорили, как сейчас все еще говорят про персонализацию. Много компаний, проектов, много всяких сказочных историй про то, как умные рекомендательные системы узнают о том, что ваша дочь беременна раньше ее самой и вас. Вот всякая такая вещь. А поиск — это всегда была скучная тема. С одной стороны, скучная, а с другой стороны, ну, как бы, Google есть, тут Яндекс есть, зачем мы будем поиском заниматься. И на самом деле, ну, с одной стороны, это была трудность в продажах, потому что магазины, еще с точки зрения того, чтобы получать деньги, да, за наши услуги, т.е. нужно было не просто их убедить в том, что это нужно, но и убедить в том, что это чего-то стоит. Сейчас у нас такой этап, чтобы научиться продавать это задорого. Ну, была такая картина, что есть тоже директора или отдела маркетинга и они привыкли, у них есть целые бюджеты, чтобы покупать аудиторию, да, там, рекламу, на SEO, еще куда-то, а дальше они считали, что, ну, как бы, «Мы уже заплатили, он уже наш, почему мы тут дальше будем платить еще за что-то».
РОМАН РЫБАЛЬЧЕНКО: Еще и за лояльного, который повторно ищет.
ЛЕВ ГЕРШЕНЗОН: Ну, да. Дальше действительно немножко трудно. Хотя все равно это очень сильно зависит от того, насколько разумные люди с той стороны, и главное, насколько они действительно готовы относиться к поиску, к навигации, к сайту, как к продающему инструменту, да, т.е. если у тебя такой перекос, что ты большие бюджеты тратишь на привлечение, но дальше они не находят то, с чего мы начали, то, что им нужно, то ты непросто как бы выкинул все эти деньги, которые ты потратил на то, чтобы этот человек дошел до твоего сайта, но и весь его LTV, который мог бы быть каким-то, вот он стал равен нулю. И сделать так, чтобы этот конкретный пользователь к тебе потом еще вернулся, еще будет сильно дороже. Если сравнивать с обычными оффлайновыми магазинами brick-and-mortar, тут гораздо меньше усилий человек тратит, чтобы оказаться на сайте интернет-магазина. Все, как говорил Илья Сегалович, на расстоянии одного клика. Здесь не получилось за 20 секунд, ты пошел в следующий.
РОМАН РЫБАЛЬЧЕНКО: Легко хлопнуть дверью.
ЛЕВ ГЕРШЕНЗОН: Да, вернулся, все, и ты еще через 20 секунд уже в другом магазине, там нашел, все, до свидания, он там остался, запомнил. Поэтому как бы вот это понимание, оно, мне кажется, что приходит. Я тут нескромно скажу, что, ну, по крайней мере, в России, какая-то лепта и наш вклад есть в понимание, что и поиск важный, что это важно, но там еще большой-большой путь есть.
РОМАН РЫБАЛЬЧЕНКО: Скажи, ты сказал, что вы работаете по SaaS-модели, по подписке. Какие сейчас у вас чеки? Сколько платит магазин за… в зависимости от чего?
ЛЕВ ГЕРШЕНЗОН: Да, это тоже такой хороший, я бы сказал, больной вопрос. Мы можно считать, что еще в стадии эксперимента, т.е. мы считаем, что правильная модель — это комиссионная модель, модель Revenue Share, когда мы тот канал, который мы обеспечиваем, скажем, поиск, поисковые сессии, тут есть разные тоже способы это считать, что мы хотим определенный процент вот с оборота, полученного с помощью, если мы говорим только про поиск, из поисковых сессий.
Другое дело, что на начальном этапе… этот начальный этап сейчас я считаю, что закончился, мы переходим к следующему. Вначале нам гораздо важнее было, т.е. нам с самого начала важно было зарабатывать, но вначале нам нужно было принципиально доказать вообще жизнеспособность, коммерческую жизнеспособность этого сервиса, что в принципе магазины готовы будут платить или компании платить за то, что они раньше имели бесплатно или отдельно веселая тема, условно-бесплатно, т.е. если у тебя есть какой-нибудь Sphinx или Elastic и у тебя есть… тут один разработчик, а тут два, а тут три, но они на зарплате, в штате, это часто тоже как бы бесплатно. Это называется бесплатное решение. Вот. Что они за это готовы платить.
А теперь, конечно, интересная задача, действительно посчитать и показать, и убедить, скажем, наших клиентов или партнеров, как мы хотим их рассматривать, потому что это большая действительно совместная работа, чтобы хорошо получилось, в том, что там есть определенная ценность и что мы хотим свою долю от этой ценности. Ну, как бы, самая простая история, что на старте ты проводишь честный и хороший A/B тест, есть одно решение, есть другое решение, все остальные факторы одинаковые. И если у тебя он получился, если A тест сошелся, если в A/B тесте ты получил действительно достоверные результаты и никаких других отличий в 2-х версиях не было, то ты можешь сказать, что вот, там, не знаю, настолько, на, там, 7% конверсия этого решения выше, чем у этого решения. Дальше как бы наша идея в том, что эти 7% от этого оборота — это наш вклад в оборот. Дальше в зависимости, не знаю, маржи, можно посчитать, грубо говоря, чистую прибыль магазина и часть от нее, какую-то, 1/3, 1/4, в зависимости от размера. Понятно, что чем больше, тем на меньшую часть мы готовы согласиться, но мы на нее претендуем.
Сложность в том, что, во-первых, ну, это вообще сложность и как бы на старте, да, что все хотят, все говорят про A/B тесты.
РОМАН РЫБАЛЬЧЕНКО: Но не готовы внедрять.
ЛЕВ ГЕРШЕНЗОН: Многие даже считают, что они готовы внедрять, но очень мало, кто умеет. Это сама по себе сложная история. Есть отдельные компании, которые этим занимаются. Сложная история сделать A/B тест честный, чтобы ты действительно его результатам мог доверять. И это одна из причин, по которым мы сейчас можем себе позволить, т.е. сначала мы готовы были на любые демо, как-то хотя бы поставьте, посмотрите, что она работает, вам нравится, потом мы продавали через бесплатный A/B тесты, говорили: «Поставьте. Давайте вот мы посмотрим, проведем A/B тест, вы увидите, если он хорошо работает, то вы купите и мы начнем с вами коммерческую эксплуатацию». И это нам казалось тоже… мне казалось вначале, что это беспроигрышная история, тоже я такой был наивный человек из большой компании. Думаю, есть интернет-магазин, в смысле, интернет-магазин, штука про деньги, вот они видят одно решение, мы предлагаем другое, оно пусть немножко, но лучше, вот, там, не знаю, плюс 5%, не знаю, денег поисковых, там, плюс 2% оборота. Ну, как бы, это деньги.
И если как бы мы будем выгодными им с самого начала, если вы часть из того, что ты недополучаешь, то какие могут быть в принципе резоны отказать. Оказалось, что не всегда так. Оказалось, что у нас бывает серьезная конкуренция в лице внутренних IT-команд, которые любят свое…
РОМАН РЫБАЛЬЧЕНКО: Делать свое.
ЛЕВ ГЕРШЕНЗОН: Несколько раз мы напоролись на то, что… Ну, как бы, сначала казалось, что, там, не знаю, из маркетинга, из продаж зовут и мы согласились почти по дружбе делать бесплатный A/B тест. А потом как-то так нам сказали: «А, ну, что-то нам тут не нравится, там не нравится», и по факту получилось, что такой очень дорогостоящий для нас консалтинг, но он как бы ни к чему не привел.
Потом мы стали, тоже распространенная на западе модель как бы условно-платного A/B теста, да, когда мы коммитимся под определенный рост, говорим, что мы минимум обещаем плюс 5% роста, и в случае, если он достигается, да, то вы оплачиваете тест и у вас есть хорошее основание, все равно мы не можем никого принудить с нами работать, но хотя бы тест будет платный.
Но вот у нас сейчас, не так много мы этих условно-платных тестов провели. Два у нас было таких случая. В обоих случаях, честно скажу, мы не достигли этих результатов. В одном случае магазин стал нашим клиентом. В другом, ну, я надеюсь, что пока, нет. И как бы в результате этого опыта мы поняли, что у нас, может быть, хорошее решение, но все-таки есть еще интеграция, и в интеграции мы смотрим, да, на конечный результат, а, во-первых, может быть масса нюансов или недоработок в интеграции. Во-вторых, может быть действительно неполные, какие-то неточные логи. В-третьих, ну, на самом деле в-третьих не нужно. Вот эти два момента, что на самом деле не все от нас зависит. И дальше у тебя выбор. Ты говоришь: «Ну, вот, тест закончился, мы показали вам не 6%, как собирались, а 3% всего, но вот смотрите у нас список, чего можно доделать, чего вы еще не сделали, здесь в мобильную версию это не внедрили, здесь у вас дефолтная сортировка залипала, т.е. когда человек, не знаю, один раз отсортировал товары по возрастанию цены, а потом задает следующий запрос, а она осталась», какие-то такие вещи, говорим: «Ну, вот это, вот это, вот это, если исправить, то нам кажется, что результаты будут лучше». Ну, и дальше, одно из двух, либо тебе верят и говорят, что: «Да, давайте начнем работать и это все доделаем». Либо говорят: «Ой, нужно новый тест проводить». В общем, короче, сейчас мы набрали какую-то массу, какой-то опыт и какое-то количество кейсов в портфолио. Мы достаточно уверены в своем продукте. И мы вот сейчас отказываемся даже как бы условно-бесплатных тестов тоже, просто потому что мы не можем контролировать целиком эту… можем свою часть, но ее… часть при таком тесте, да, ее не так просто выделить.
РОМАН РЫБАЛЬЧЕНКО: Да, и недостаточно только вашей части, важно правильный XML, правильная интеграция.
ЛЕВ ГЕРШЕНЗОН: И в принципе эта как бы история вполне тоже распространенная на Западе, но поскольку то, где мы начали, там, в России, и сейчас уже нам очень приятно, что у нас есть уже целый один украинский магазин, и один белорусский магазин, вот они оба появились в этом году, и мы их очень любим и рады тому, что они у нас есть. Но все равно, в общем, в некотором смысле на этом кириллическом в основном русскоязычном пространстве это совсем новая история. Западная тема, там гораздо проще договориться на платный pilot, но сейчас мы и в России такое видим, но на Западе эта практика распространенная. Люди что-то делают, т.е. у тебя есть продукт, ты его можешь показать, можешь показать, где он работает. Мы собираем, всегда готовы достаточно быстро показать демо-версию, в которой по базе магазина мы поднимаем поиск и там руками-глазами люди могут посравнивать, да, результаты, то, что у них сейчас на сайте, с тем, что собрали мы. Ну и мы даем какой-то тестовый месяц, в принципе тоже достаточный срок, не берем пока никаких денег за интеграцию. Тестовый месяц на то, чтобы можно было как раз это все отладить и просто посмотреть как оно работает. И нам кажется, что… вроде такой способ продаж тоже работает.
РОМАН РЫБАЛЬЧЕНКО: То есть когда уже интегрировались, уже месяц бесплатный, уже обратно откатывать интеграцию сложнее, дольше и вроде бы оно работает лучше.
ЛЕВ ГЕРШЕНЗОН: То есть мы договариваемся про это и после того, как мы подписываем договор, мы даем месяц на интеграцию и на использование какое-то. То есть это наша принципиальная позиция, что наш API очень похож на Elastic-овский, ну, и Solr тоже похожий, т.е. если у магазина уже стоит какое-то такое решение, Elastic или Solr, ему как бы эта интеграция не такая сложная. В каких-то случаях может быть практически бесплатная. Мы никаких обязующих… т.е. мы иногда продаем лицензию или работаем по ежемесячным платежам, по такой модели или по модели с фиксированной стоимостью, но как бы в любой момент любой магазин может перестать с нами работать, поэтому это как бы наша принципиальная позиция, что мы держим клиентов только качественных. Тут есть и свои сложности, потому что если появляются сомнения, да, или если общая конверсия падает. Конверсия вообще интересная очень штука. Все говорят про конверсию, но, например, конверсия же дробь, ты делишь заказы или сессии с заказами на общее количество, и когда говорят: «Будем увеличивать конверсию», все имеют в виду, что мы будем числитель увеличивать. Ну, конверсию очень просто увеличить, ты взял покупной трафик отключил, у тебя конверсия выросла. Или наоборот, ты там залил еще много некачественного трафика, да, у тебя конверсия упала, поисковая конверсия тоже упала. То есть, короче, это не такой простой вопрос.
И сложная история, тоже важная, т.е. как, если ты долго работаешь, как тебе доказывать все время, что ты работаешь и у тебя лучшее решение. Ну, как бы, простая история, что… и мы всем тоже это рекомендуем… если есть возможность, пожалуйста, держите вечный A/B тест. Пришла какая-то компания, сказала: «У нас лучшее решение», пожалуйста, дайте информацию, в котором вы уже работаете, да, пусть они сделают такую же выдачу, у вас будет простая интеграция. Вы включили на какую-то часть аудитории, посмотрели, работает — взяли, не работает — не взяли. Это как бы одна история.
Вторая история, она такая, что… ну, надо рассказывать, что ты делаешь. У нас есть долгосрочная работа, мы стараемся делать сколько-то релизов в год и релизов основного нашего ядра, там, программ и ранжирования. И тоже нам очень нужна эта инфраструктура A/B тестирования, потому что мы должны сами с собой соревноваться, ну и плюс мы чего-то рассказываем, показываем.
РОМАН РЫБАЛЬЧЕНКО: Вы показываете, что вы развиваетесь, дорабатываете.
ЛЕВ ГЕРШЕНЗОН: Именно поэтому, это как бы основное обоснование для вот этой вот комиссионной модели, потому что… ну, понятно, что может быть, что магазин сильно вложился в маркетинг, в рекламу и продаж стало больше, а мы тут не при чем, но, не знаю, у нас нагрузка выросла, там, это все тоже мы берем на себя. С другой стороны, мы сами инвестируем в R&D, в исследования, тут очень много историй, где можно копать и исследовать, это нерешенная, ну, в смысле, это вполне такая открытая задача. И мы как бы берем эти риски на себя и если они успешные, если нам удалось сделать версию следующую, которую чуть релевантнее, чуть-чуть лучше и больше продает, и мы ее внедрили, то там, где у нас эта комиссионная модель, мы сделали хорошо нашим клиентам-партнерам и мы что-то с этого сами заработали.
РОМАН РЫБАЛЬЧЕНКО: Скажи, если мы говорим про какие-то цифровые размеры бизнеса, то какие цифры ты можешь назвать? Количество клиентов? Оборот в месяц, в год?
ЛЕВ ГЕРШЕНЗОН: Примерно сейчас у нас около миллиона долларов оборот годовой. У нас клиентов, магазинов, где стоит наш поиск, где-то 15. Это такой процесс, он все время меняется, ну, в смысле, не такая большая цифра. Но тем не менее, там, не знаю, сейчас вот закончился на этой неделе один тест 2-х месячный с крупным клиентом, мы в процессе подписания договора. Он появится, я думаю, что летом у нас полностью. Еще несколько магазинов сейчас в процессе интеграции. Когда точно они станут в продакшне на всей аудитории, я не могу сказать, потому что это от нас не очень зависит. Да, порядка 15. В основном сейчас это Россия. Ну, вот, как я сказал, что у нас есть, да, один, зато крупнейший белорусский интернет-магазин.
РОМАН РЫБАЛЬЧЕНКО: Это 21vek.by?
ЛЕВ ГЕРШЕНЗОН: 21vek.by, да. Вот сейчас там наш поиск и что тоже приятно, они… потому что это для нас важная очень тема и приятно, когда это работает. Они, в общем, послушали нас и реализовали наше продуктовое представление о сгруппированной выдаче, когда товары не сплошной простыней, а показываются по отдельным категориям и… ну, кажется, что это работает, вот они его тоже взяли, хотя… Ну, в смысле, это просто наша рекомендация. И так сделал наш крупнейший российский клиент М.Видео.
РОМАН РЫБАЛЬЧЕНКО: То есть у вас всего 15 клиентов, но при этом, я так понимаю, что это больше крупный Ecommerce, потому что если поделить миллион на 12 месяцев, поделить на 15 клиентов, это порядка 5-6 тысяч долларов месячного платежа. Это значит, что вы им должны сгенерировать еще больше через поиск.
ЛЕВ ГЕРШЕНЗОН: Да, в принципе, чтобы наша модель сходилась, у нас нету совсем дешевого решения. У нас там есть какой-то минимальный платеж в размере, не знаю, там, около $300-400 в месяц. Но понятно, что чтобы он имел смысл для магазина, и, там, не знаю, если у магазина даже 40% маржа, то на сколько мы должны продать с помощью нашего поиска больше, чтобы он это отбил. Поэтому для нас маленькие магазины — это магазины, с которыми мы работаем, это все равно десятки заказов из поиска в день.
РОМАН РЫБАЛЬЧЕНКО: Из поиска, т.е. это сотни заказов в день в среднем, если мы берем 8-10%?
ЛЕВ ГЕРШЕНЗОН: Ну, да. А если посмотреть… Просто, если их меньше, т.е. мы можем его сделать, но сейчас прям текущее наше решение, оно нам будет в минус, но главное, что если у тебя, там, не знаю, 20 заказов в день, да, и из них, например, 1/4 из поиска, да, 5 заказов из поиска, насколько ты должен увеличить конверсию поисковую, чтобы ты статистически значимый результат получил про этот рост, сколько нужно ждать, год его проводить. Поэтому тут, конечно, наша целевая аудитория — это крупные и средние магазины. Их на самом деле тоже хватает. И в тех странах, в которых мы начали, и в других странах постсоветского пространства, и в Европе, и за пределами Европы. Но, да, это не простая история по их, так сказать, привлечению. Но… да, ну, вот, наверное, такие цифры.
Еще бы я сказал вот какие цифры. Что мы сейчас, несмотря на то, что эта цифра, может быть, 15 магазинов и не очень большая, но мы где-то около 3-х, в разные сезоны, 4-х миллионов запросов в день обрабатываем. И что важнее, я не люблю все эти истории про API call-ы, запросы. У меня из прошлой жизни профдеформации, даже когда разговор про конверсию, я не люблю. Я как бы считаю важным всегда человека видеть. Потому что ты говоришь: «У меня конверсия выросла на 10%». Что это значит? Что пришло 100 человек, там, раньше у тебя 9 из них купило, а сейчас 10 купило. Вот интересно, посмотреть и выяснить, что это за человек такой был. Я сейчас немножко утрирую, но все равно. То есть что, какие факторы, вот где эта ситуация, при которой человек с одним инструментом не находил, не покупал, с другим купил. Потому что в принципе, особенно в магазинах с рекуррентными покупками и с повторяющимся спросом, с лояльной аудиторией очень трудно, если человек решил что-то купить, да, если он пришел, он пришел с деньгами, он знает, что ему нужно, но так не нашел, сяк, он так пойдет, в эту категорию.
РОМАН РЫБАЛЬЧЕНКО: Если он сильно лоялен.
ЛЕВ ГЕРШЕНЗОН: Если он лояльный и если он очень хочет. Поэтому… Ну, как бы, на самом деле даже общая конверсия, ну, это ничего лучше сейчас нету, но тоже не всегда показательно, т.е. можно смотреть отдельно, что происходит с конверсией у этих newcomer-ов, у тех, кто никогда раньше не делал покупку, потому что в принципе это на самом деле одна из самых ценных вещей.
РОМАН РЫБАЛЬЧЕНКО: Дорогая аудитория самая.
ЛЕВ ГЕРШЕНЗОН: Да, ну, ты смотришь, все знают, что если ты просто ее поделишь, в Google Analytics посмотришь эти срезы, у тебя стоимость сеанса или стоимость повторного покупателя там в 2-3 раза, чем у нового. Такая же история, почему нам важно, например, растить долю поисковых сессий, потому что поисковый пользователь, он в 3-5 раз более конверсионный, чем не поисковый. Если он уже может, у него есть какая-то идея в голове, он способен задать вопрос, способен что-то вбить, хоть какие-то буквы, значит, все, вероятность того, что он купит, она в 3 раза выше, чем если он просто кликает по… Поэтому, как бы, ну, нужно их видеть.
Для нас важно, что эти 3-4 миллиона запросов в день сейчас и порядка 300 тысяч человек с помощью нашей технологии каждый день чего-то пытаются купить.
РОМАН РЫБАЛЬЧЕНКО: Находят и пытаются купить.
ЛЕВ ГЕРШЕНЗОН: Ищут, находит меньше и покупает, но это то количество людей примерно сейчас, порядка, да, каждый день, 300+, точно не скажу, в общем, в районе 300 тысяч человек пользуются поиском Detectum при совершении покупок или при попытке совершить покупки.
РОМАН РЫБАЛЬЧЕНКО: Слушай, я сталкивался с тем, что даже крупный Ecommerce, который считает деньги, который является рациональным, например, в Украине это магазин ROZETKA, это крупнейший, у них очень долго, очень много лет был очень кривой поиск. Ну, т.е. ты вводил слово ноутбуки, попадал на топ 10 ноутбуков, не мог никак попасть на категории, тебе надо было кликнуть на первый попавшийся и по хлебным крошкам вернуться обратно в категорию.
ЛЕВ ГЕРШЕНЗОН: Ну, да. Ну, в смысле, нет. ROZETKA как раз сейчас поиском занимается, там пока не наш поиск, может быть, и не будет, но мы за ними смотрим и, конечно, интересно. Вот эта история, например, про крошки и про вот эти редиректы, если задача посмотреть немножко с другой стороны, т.е. почему мы от таких редиректов отговариваем клиента. Мы говорим: «Смотрите, мы сделаем эту выдачу такая же, как если бы она была по категории, и плюс потом мы хотим залезть в эти категории и там отранжировать товары, может быть нам удастся, у нас есть такой опыт, лучше, чем ваши эксперты, потому что как бы в основе нашего алгоритма ранжирования, конечно же, машинно-обученного, как и все сейчас, конечно же, с использованием нейросетей, но это как бы не о чем, да, как и все сейчас».
РОМАН РЫБАЛЬЧЕНКО: Мне нравятся эти люди из Яндекса, такие: «Ну, нейросети — это уже не о чем, это пройденный этап».
ЛЕВ ГЕРШЕНЗОН: Действительно, может быть, я не знаю, лет 20 назад или 15 люди говорили: «А у нас есть там компьютеры» или «У нас… вот мы на компьютере что-то делаем». Как бы сейчас это не…
РОМАН РЫБАЛЬЧЕНКО: Мне нравится, как ты к этому относишься, именно, что это не бог весть какая вещь.
ЛЕВ ГЕРШЕНЗОН: Дело не в Яндексе, но как раз, когда я ушел из Яндекса, еще они так сильно не были распространены. Сейчас спасибо разным большим компаниям, которые, там, открытые инструменты, фреймворки, на которых кто-угодно что-угодно может делать. Дальше вопрос в этом что-угодно и… На мой-то взгляд, продуктовая сторона, она самая важная. Опять-таки, к счастью для нас, многие ее недооценивают. А чего ты будешь оптимизировать? А что такое хороший поиск? Который много денег приносит или который лояльность повышает, который действительно конверсию в людях? Ты конверсию будешь считать ежедневно или, может быть, правильно для разных категорий товаров считать ее за разный период? Может быть, как бы, содержательнее, если человек покупает крупную бытовую технику и ты знаешь, что в среднем до покупки человек 5 раз в течение 2-х недель или недели заходил и искал. Может быть, у тебя другая метрика должна быть. Если ты правильно выбрал метрику и правильно сделал датасет, на самом деле правильно определил, что такое у тебя критерии качественного продукта, твои шансы на успех гораздо больше, чем если ты эту часть сделал халтурно.
Простой пример. Если ты считаешь, что главное это оптимизация в моменте денег, да, ну, это можно сделать, например, увеличив чек на все… ты пытаешься увеличить чек, может быть, с падением конверсии, ты можешь продать чуть больше лояльной аудитории, но ты значительную часть отсекаешь, значит, лояльной и платежеспособной аудитории, но ты можешь отсечь значительную часть тоже потенциально лояльной и менее платежеспособной, потому что она увидит дорогие товары сверху, не узнает, что есть что-то дешевле внутри, или ей будет туда труднее добраться. Ты в моменте очень краткосрочно увеличил деньги, а потом у тебя за счет того, что у тебя падает лояльная аудитория, у тебя и эти обороты тоже упадут.
РОМАН РЫБАЛЬЧЕНКО: Ты имеешь в виду сейчас все-таки ранжирование, а не динамическое ценообразование, что если ты понимаешь, что пользователь лояльный к тебе, то давай сейчас покажем ему цену повыше?
ЛЕВ ГЕРШЕНЗОН: Про динамическое ценообразование ничего говорить не буду. Это не моя тема. Я в него слабо верю. Но я не специалист, тут могу… Я говорю именно про ранжирование. Я говорю про ранжирование. У нас простая есть история. Мы стараемся всегда предлагать и обычно это основная метрика и есть, что все-таки конверсия, т.е. процент людей, повышать количество и процент людей, которые найдут то, что им нужно.
РОМАН РЫБАЛЬЧЕНКО: Но не Per Session Value, да? Не заработок на сессию, потому что…
ЛЕВ ГЕРШЕНЗОН: Это две. Значит, Per Session Value тоже, конечно, хорошая история и для нас она важнее. Она важная и с точки зрения расчета и нашего чека и модели, и… Ну, Per Session Value хорошая история, чтобы ты мог прогнозировать какие-то обороты при росте аудитории. Еще лучше Per User Value, как бы, исходя из того, что я сказал, да, что сессия все-таки это более такая техническая единица, чем пользователь. Ну, да, конверсия или стоимость сессии — это, наверное, основные метрики.
РОМАН РЫБАЛЬЧЕНКО: Но тебе все-таки не нравится вот этот подход, например, если пользователь ищет белый купальник, бросить его сразу же в каталог купальники с выбранным фильтром белый и дать ему схожий опыт, как он шел бы из каталог, потому что это ручной редирект или почему?
ЛЕВ ГЕРШЕНЗОН: Не, нет, это все как бы инженерно-инструментальные соображения. Как бы, продуктовый подход, он такой: что мы хотим в результате получить? Редирект с фильтром — это как бы слова, не знаю, программиста или… Ну, в смысле, вот эти, вот эти кнопки нажать, чтобы… Значит, нам важно, что? Если он спрашивает «белый купальник», то нам нужно, чтобы он увидел белые купальники и чтобы сверху были какие-то самые привлекательные для этого пользователя белые купальники. Хорошая история, чтобы действительно это была ровно такая же выдача, как в категории купальники с фильтром «цвет — белый». Но тут начинаются дальше скучные, неинтересные детали. Цвета бывают разные. Бывает один белый. Бывают разноцветные, в которые входит белый. А бывают белые купальники, в которых почему-то цвет определен неправильно, или купальник, на самом деле он купальник, но он еще такая туника купальник и он попал… Если ты делаешь вот так жестко, то ты можешь и чего-то отсечь. Мы, конечно же, это используем, но дело даже не в этом. Может быть такое решение. В каких-то случаях оно может быть идеальным или очень хорошим. Может быть другое. Но продуктовая формулировка, она немножко иначе устроена. Она не как мы сделаем, а что мы хотим получить.
И что я хотел сказать про логи и почему у нас тут с нашим, как мне кажется, интересным, продуктовым взглядом и с нашими технологическими возможностями получается неплохой продукт. Что такое логи пользовательские, если у нас есть все пользовательские логи? Особенно, те логи тех сессий, которые-таки закончились покупкой. Это путь пользователя. Мы видим, что каким образом, что он спрашивал, как он переформулировал, вот этот кейс очень хороший, который ты сказал, мы его тоже увидим, что человек зашел в какой-то товар, потом с товара ушел в каталог, в категорию, потом стал смотреть этот листинг и там что-то нашел.
И вот я не так давно придумал эту аналогию. Она мне нравится и я ее сейчас скажу, что вот те проблемы, с которых мы начали, да, которые мы решаем, это проблемы непонимания, что есть язык, на которых описаны товары или устроен каталог, его какие-то специалисты делали, а есть язык, на котором разговаривают или спрашивают у магазинов люди. И вот эти вот ситуации непонимания говорят о том, что это действительно 2 разных языка и хороший поиск как хороший переводчик. Он должен перевести…
РОМАН РЫБАЛЬЧЕНКО: С технического на человеческий.
ЛЕВ ГЕРШЕНЗОН: Да, он должен уметь исправлять ошибки, потому что люди ошибаются. Он должен понимать разные синонимы. Он должен, например, знать, что… Вот я не так давно узнал, что, например, в Казахстане люди говорят сотка. Знаешь, что такое сотка? Сотовый телефон. А где-то самсунгом называется телевизор. А где-то, везде, не знаю, щипцы для завивки волос и плойка — это одно и то же, а в разных магазинах это слово плойка может быть, может не быть. Это чисто, ну, как бы, лингвистические части, да. Вот эти такие синонимы, сякие синонимы, опечатки и транслит. Для наших кириллических языков это актуальная история, потому что бренды написаны, они изначально латинические, а могут писаться по-русски еще десятью разными способами.
Но еще вот эта вот история про то, что человек в конечном итоге купил, как он к этому пришел, да, и что он выбрал. И это такая аналогия. У тебя есть система машинного перевода, которую ты тоже можешь обучать, и она обучается на чем? Она обучается на параллельных корпусах текстов, на вручную переведенных больших массивов текстов. И эти логи в некотором смысле такой аналог вот этих вот ручных корпусов. То, что человек вначале спрашивал или куда он ходил, и куда он в результате пришел. И если этого много, ты можешь его аккуратно агрегировать, да, и собрать, то, что в конечном итоге мы делаем продуктово? Мы вот этот длинный путь, как мы когда-то говорили, вот эта вот запись всех неудобств пользователя, да, что он… чем неудобнее и чем настойчивее пользователь, тем он ценнее для системы, потому что он сам и так переформулировал, и сяк переформулировал.
РОМАН РЫБАЛЬЧЕНКО: Обучает систему.
ЛЕВ ГЕРШЕНЗОН: И если таких людей несколько, то этот сигнал становится сильным. И для каждого следующего пользователя этого магазина мы стараемся этот путь сократить. Грубо говоря, это понятная история, что если мы знаем, что человек, как есть такая шутка про одежду, что пришла девушка в магазин за маленьким черным платьем, а ушла с дорожной красной сумкой, ну, или какая-то другая. Если это частный паттерн, то, может быть, нужно не взирая нужно все время взвешивать. Да, есть история про текстовую релевантность и вот эту вот такую событийную. Может быть, где-то аккуратно и нужно показать. Может быть, даже на первой странице сказать, что мы знаем, что это не маленькое черное платье, но вот посмотри, может, оно тоже пригодится. И в этом смысле, возвращаясь к вопросу про рекомендации, что на самом деле, если посмотреть чуть-чуть выше, то разница между поиском и рекомендациями, она не такая большая. Можно сказать…
РОМАН РЫБАЛЬЧЕНКО: Что там есть запрос, а там в роли запроса те данные, которые ты знаешь.
ЛЕВ ГЕРШЕНЗОН: Именно, ты совершенно прав, т.е. вопрос только в том, что за контекст. И на самом деле, чем глубже ты идешь в вот эту историю изучения логов, да, т.е. этого обобщенного… У нас сейчас нету хорошей персонализации. Много очень базы вокруг этого. Это как бы отдельная тема. Не сегодня, как-нибудь, может быть. Но этого обобщенного опыта достаточно, особенно в больших магазинах, вот этих вот обобщенных неудобств, обобщенных путей, если ты хорошо можешь обобщить и использовать потом для сокращения, этого очень много, то чем глубже туда идешь, тем больше это у тебя похоже на рекомендации, тем чаще у тебя встречаются такие странные ситуации, что вроде спрашивали одно, а купили другое.
РОМАН РЫБАЛЬЧЕНКО: Или ты понимаешь, что люди ищут холодильник, потом они ищут стиралку, а следующим они будут искать, например, посудомойку или я забыл что там обычно при ремонте покупают.
ЛЕВ ГЕРШЕНЗОН: Это тоже хорошая история. Мы прямо сейчас, прямо до этого не дошли, но клево, да, и ты понимаешь, что это такое, макроситуация, там, ремонта или переезда, но даже в более простых ситуациях, вот как с этими синонимами, которые мы не знали, но мы их увидели, вот, и какие-то другие вещи, то ты понимаешь, что, ну, как бы, что есть рекомендации с контекстом запроса, есть рекомендации в контексте товарной карточки, есть рекомендации, хотя для меня это некоторый нонсенс, в контекста листинга или в контексте определенной категории, потому что… Ну, как бы, что такое рекомендации в категории? Это и есть листинг категории.
РОМАН РЫБАЛЬЧЕНКО: Тебе надо показать на первой странице 20 товаров, у магазина их 2 тысячи, какие показать.
ЛЕВ ГЕРШЕНЗОН: Какие показывать, да. И дальше как бы ты понимаешь, что, конечно, вот этот вот вектор, он такой, что в любом месте, где есть множество товаров, ты как бы возьми все, что ты знаешь про всех людей, возьми как бы контекст текущей сессии, потому что, может быть, она похожа на какие-то другие сессии, если действительно человек уже здесь от смартфона начал, потом поискал зарядники, уже может быть он, не знаю, еще что-нибудь, какой-нибудь чехол, сумку, еще что-нибудь найдет, просто потому что ты такого много видел. То как бы в идеале ты, чем… тоже страшно звучит, но тот контекст, с которым он с тобой готов поделиться, да, что ты про него узнал, что он готов тебе рассказать, бери и на всех страницах как бы рекомендуй. Просто в поиске вот эта вот часть, его понять, что он явно сказал, да, рекомендации в некотором смысле это такая опосредованная история, а поиск, навигация по каталогу, она прямая, потому что вот человек прямо говорит тебе, что ему нужно и это очень весомая штука, но все, что потом, сверх или при прочих равных, да, как с теми же телевизорами, считай, что это рекомендации, они и есть.
РОМАН РЫБАЛЬЧЕНКО: И технологически вы можете прийти к тому, что дальше вы работаете глубже с рекомендациями на соседние рынки, потому что вы видите поведение пользователей, которые искали, поведение пользователей, которые не пользовались поиском, но пользовались каталогом, как тоже источник данных. И вы можете в принципе потом даже предзаполнять поиск или давать в подсказках. Если вы знаете, что человек недавно покупал или искал мышку и это геймерская мышка, а не мышка в офис, то, скорее всего, ему и коврик можно попробовать предложить.
ЛЕВ ГЕРШЕНЗОН: Все правильно. Это все имеет смысл. Но вот, как бы, с точки зрения действительно бизнеса и продаж, наша история такая как и наши продажи. Мы начинали с прямых продаж, а сейчас все больше нас находят. И самая ценная для нас история, когда действительно по рекомендациям приходят в магазин или люди, переходя из одного магазина в другой, переходя из магазина, где мы с ними работали, приходят в новый и там очень быстро тоже нас зовут, потому что это значит, что их ничего к этому не склоняет кроме хорошего нашего совместного опыта.
И у нас есть сейчас история, когда мы начинаем работать, мы работаем полгода, год, и потом нам говорят: «А, может быть, вы действительно сделайте нам рекомендации, потому что мы попробовали такие-такие движки, нам как бы не очень нравится, потому что они слишком общие, какую-то специфику они не могут учесть, а, может быть, у вас получится». Поэтому я думаю, что мы к этому… вопрос просто времени и распределения ресурсов. Мы, конечно, к этому подходим. Мы потихоньку туда входим, но ни в коем случае не говорим, что мы занимаемся рекомендациями, потому что рынок горячий, тесный, чтобы никто не испугался раньше времени.
РОМАН РЫБАЛЬЧЕНКО: И не начал пилить свой поиск.
ЛЕВ ГЕРШЕНЗОН: Да нет, пожалуйста. Это на самом деле… Вот про это я вот, что хочу сказать, что лучший для нас случай, если действительно мы сейчас уже можем чуть-чуть с уверенностью смотреть в будущее и там не планировать разориться и закрыться через год. Если мы начинаем разговаривать с магазином, несколько раз так было, говорят: «Да, да, интересный продукт», потом говорят: «Ну, что-то у нас ребята, наши айтишники, они сказали, что они сейчас… вот действительно и Elastic есть, и у вас как бы Elastic, они сейчас сами сделают». Мы говорим: «Конечно, конечно», с легким, хорошим сердцем. Мы через год с вами поговорим. И через год разговаривать гораздо лучше, потому что…
РОМАН РЫБАЛЬЧЕНКО: То есть вам будет лучше, если на рынке появятся еще пару игроков.
ЛЕВ ГЕРШЕНЗОН: Игроки, если появятся, нам не страшно, но с тем же самым магазином разговаривать через год после того, как он потратил свои ресурсы и попробовал его собрать… Ну, лучше, чем у нас, они не могут сделать. Они могут сделать лучше, чем у них было. Но тогда у них есть понимание, у них вот эта иллюзия уходит, что как бы это совсем просто, т.е. это просто, т.е. как, не знаю, 80/20 или 70/30. Ты очень быстро можешь получить какого-то качества сильно лучше, чем у тебя было, если у тебя было плохо, поиск. Но дальше каждый процент, он дается тебе с боем. А в случае с Ecommerce как бы это деньги и аудитория. И тогда, с одной стороны, за год наш продукт еще лучше становится, с другой стороны, на той стороне…
РОМАН РЫБАЛЬЧЕНКО: Они уже понимают, что такое обрабатывать…
ЛЕВ ГЕРШЕНЗОН: Они понимают, сколько это стоит, сколько они уже потратили…
РОМАН РЫБАЛЬЧЕНКО: Подсказки, опечатки, что надо посадить какого-то контент-менеджера, который будет руками эти популярные запросы как-то разгруппировывать, и так далее.
ЛЕВ ГЕРШЕНЗОН: И еще, может быть, они все-таки понимают, что вот у них 2 человека этим занимались год, может быть, решение по цене даже 2-х разработчиков, но уже работающее, или по цене 1-го разработчика, у нас обычно человек такой, да, но просто гораздо и надежнее и лучше будет.
РОМАН РЫБАЛЬЧЕНКО: И SLA какой-то, если он заболеет.
ЛЕВ ГЕРШЕНЗОН: Конечно.
РОМАН РЫБАЛЬЧЕНКО: Скажи, какая команда на вашей стороне? Сколько человек работает у вас?
ЛЕВ ГЕРШЕНЗОН: У нас сейчас тоже около 15 человек работает. Она, как я сказал, у нас такой уклон в типа продуктово-технологический. Из этих 15 человек, сейчас, боюсь соврать, 10-11 пишут код. Отдельно из них есть двое, которые Data Science. Таких чистых нету, все пишут какой-то код, и больше действительно с фокусом на машинное обучение. Соответственно, оставшиеся 4-5, — это включая меня, — это люди, ну, скорее, наверное, пятеро, вот которые один продает, один общается с клиентами и занимается продуктом. Вот у нас тут очень есть куда расти и есть куда расти не, скажем так, в производственную сторону. Но пока мы справляемся. Как в том анекдоте про стартап, все равно, там, продажи и общение с клиентами, я этим активно занимаюсь тоже, хотя вот есть тоже мой партнер и коллега, у которого это основная задача, и все равно продуктом я тоже занимаюсь, не только потому что мне интересно, а, может быть, и поэтому в основном, ну, потому что в нашем случае это очень важно. Ну, вот, сейчас так.
РОМАН РЫБАЛЬЧЕНКО: Скажи, что ты думаешь по поводу голосового поиска?
ЛЕВ ГЕРШЕНЗОН: Тут смешанные чувства. С одной стороны, ну, он есть. Все эти голосовые интерфейсы, кто начал, Amazon с Echo.
РОМАН РЫБАЛЬЧЕНКО: Alexa, да,
ЛЕВ ГЕРШЕНЗОН: Alexa, Echo. Сейчас и в наших краях тоже. В смысле, там сделали колонки, мы давайте все сделаем колонки. Реально он работает, не знаю, таксисты, я видел, что им пользуются. Есть масса действительно кейсов и ситуаций, где это удобно. Но в нашем случае мы тоже только за, потому что все равно.
РОМАН РЫБАЛЬЧЕНКО: Потому что в мобильном Ecommerce уже начинают использовать. Потому что, смотри, я, например, я гик, да, т.е. я не могу всех судить по себе, но у меня дома Google Home Mini две штуки, у меня умные розетки, выключатели, лампочки, универсальные пульты, у меня в машине магнитола с CarPlay и Android Auto, но я не знаю, насколько это массово сейчас в мобильном Ecommerce.
ЛЕВ ГЕРШЕНЗОН: И ты этим пользуешься активно?
РОМАН РЫБАЛЬЧЕНКО: Да. Ну, я говорю, там, окей, не скажу, какое слово, потому что сейчас сработает телефон, гугл, вот, и, там, построй маршрут, например, туда или включи свет, выключи свет. Я пока еще не использую все эти голосовые помощники, как в США, там, закажи пиццу, там, или еще чего-нибудь такое.
ЛЕВ ГЕРШЕНЗОН: То, что я слышал, да. Как бы тренд уже, я никаких новостей не скажу, этот самый mCommerce, мобильный eCommerce, он растет, и мы может быть тоже погрузились в свою технологию и не так это заметили, я думаю, что растет трафик, сейчас растет везде и доля покупок с мобильных устройств, да. А понятно, что чем дальше на Восток и в Азию, там эти цифры, они уже больше 90% почти везде. Куча есть мест, где смартфон — это единственное вообще connective-устройство в домохозяйстве. В каких-то случаях, наверное, удобно спрашивать голосом. Значит, то, что я читал, прямо с точки зрения продаж даже у Амазона, сейчас врать не буду, не супер результаты. И это мне как бы скорее понятно, что, да, маршрут сказать, какие-то конкретные команды, а дальше нужно смотреть.
РОМАН РЫБАЛЬЧЕНКО: Нет вот этой вот линии печатать у людей, что они целыми днями…
ЛЕВ ГЕРШЕНЗОН: Она есть, особенно здесь в Европе. Я вижу по детям, ну, во-первых, я, например, вижу, что у нас уже… Я уже видимо к старшему поколению отношусь, я, например, Voice Message’и это для меня не самая дикость. А при этом я смотрю, что, там, дети мои, старшие, да, ну, особенно здесь, я не знаю, не очень знаю, как вот с этим в Украине и России. Здесь просто вижу в метро люди наговаривают. Просто у нас нет такого паттерна. Но с точки зрения, не знаю, переводчика, удобно, удобно что-то сказать. С точки зрения покупок, черт его знает, я не знаю. Но нам все равно. Какие-то есть случаи, когда тебе удобно сказать, ну, а дальше ты будешь смотреть. Как бы, если у тебя нет экрана, а только голос, это я… ну, в смысле, тоже не изучал. Я не знаю, как с колонкой, без экрана, как купить. Нужна какая-то смелость или какой-то очень стандартный товар.
РОМАН РЫБАЛЬЧЕНКО: Или какая-то доставка еды.
ЛЕВ ГЕРШЕНЗОН: Пожалуйста, доставка, вот тот же корм, который я всегда покупаю, и еще тех же хлопьев, которые у меня, и вот это молоко, может быть, но если что-то выбираешь, трудно. Но в нашем случае, мы за то, чтобы были все способы ввода, которые удобны. Хочешь голосом, пожалуйста. Хочешь, сфотографировал. Это отдельная часть. Это не про нас. Но то, что касается голос, это речь и там все равно будет под этим некоторый поиск, все равно будет Speech-to-Text и потом нужны будем мы или наши конкуренты или такие сервисы.
РОМАН РЫБАЛЬЧЕНКО: В общем, пока вы так смотрите, но не тестируете, не внедряете какие-то… в поисковую форму микрофончики и так далее?
ЛЕВ ГЕРШЕНЗОН: Не, нам-то ничего не нужно ничего внедрять. Мы наоборот. У нас есть партнеры. У нас есть дружественная компания, которая занимается голосовым поиском, но пока у нас нет прямо каких-то очень успешных совместных историй, но по нашему опыту скорее больше пока разговоров про это. Ну или, там, можно бесплатные какие-нибудь гугловые решения встроить с распознаванием. А дальше наше API, если есть какое-то распознавание, оно речь в текст превратило, дальше мы готовы подключиться и искать, находить нужные товары.
РОМАН РЫБАЛЬЧЕНКО: И вырезать какие-то слова, типа, окей.
ЛЕВ ГЕРШЕНЗОН: Да, можно что-то вырезать, вот такие маркерные слова, но если это просто голосовой ввод, то дальше все те же самые опечатки, исправления, они чуть-чуть отличаются, но не так принципиально, чтобы это не было тоже нашей задачей и мы бы с ней не могли справиться.
РОМАН РЫБАЛЬЧЕНКО: Расскажи, сколько часов в неделю ты сейчас работаешь или в день и как ты отдыхаешь?
ЛЕВ ГЕРШЕНЗОН: Это трудный вопрос. Я вообще за то, чтобы… Я посмотрел какие-то еще твои беседы с другими людьми. Я за то, чтобы было разделение, но последние вот лет 6 это плохо делится.
Как я отдыхаю? У меня семья, дети, есть друзья. Дети — лучший отдых. С ними очень интересно и стараюсь с ними проводить времени побольше.
РОМАН РЫБАЛЬЧЕНКО: Я почему спрашиваю, потому что где-то я видел у ребят в соцсетях, там, фотографии с конференции про стартапы и work-life balance, и все такие, «Да, мы хотим work-life balance». И ребята-стартаперы, которых я знаю, они комментируют это так, что вот эти стартапы, в них точно не инвестировать, они не выживут, потому что work-life balance и построение своего бизнеса часто не совместимы. У тебя как? У тебя получается, сколько, там, не знаю, дней в неделю ты работаешь? Часов в неделю?
ЛЕВ ГЕРШЕНЗОН: У нас еще эксперимент, я еще не могу… т.е. у меня есть какие-то вещи, которые я считаю, что это уже success, это уже удача, вот, ну, они меня лично касаются, т.е. я считаю, что круто. У меня, там, первая такая история и получилось здорово, там, не знаю, мне казалось, что я очень уже умный, опытный и рачительный менеджер в большой компании, но когда ты ведешь свой бизнес и у тебя твой бюджет, он частично из твоих денег или из денег твоего партнера, главное — это то, что есть, то ты понимаешь, то, что тебе казалось, что ты рачительный и вот эта ситуация — две совершенно разные вещи. Ты понимаешь стоимость решений…
Не знаю, я встаю обычно в 7 утра, потому что младших нужно в школу везти и в это же время начинается иногда общение в Slack или, там, почта. Вот, у меня есть коллеги, которые любят часа в 3 ночи что-нибудь написать, но слава богу не требуют немедленного ответа. У меня сотрудники, часть в Берлине, несколько человек. Часть в Питере. В основном в Москве. Есть в Екатеринбурге и в Челябинске. У нас достаточно большая…
РОМАН РЫБАЛЬЧЕНКО: Работаете на много поясов.
ЛЕВ ГЕРШЕНЗОН: …разница у всех, какие-то разные истории. Только я должен быть все время в курсе, ну, в смысле, не только, но…
РОМАН РЫБАЛЬЧЕНКО: С 7 до…
ЛЕВ ГЕРШЕНЗОН: Так вот с 7, ну, так мы начинаем, скорее всего, часов в 9, но опять-таки бывают какие-то вопросы и до часа. Но это не значит, что я все время только занят работой.
РОМАН РЫБАЛЬЧЕНКО: До часа ночи?
ЛЕВ ГЕРШЕНЗОН: Бывает, что… Но это не значит, что все это время я сижу за… Ну, в смысле, она как бы разная. Но что правда, что… Особенно, когда интересно или важно, или нервно, вот так совсем не думать про… сказать, все, у меня 18 часов вечера или там 19 часов вечера, и дальше… Ну, кто-то умеет… Я в принципе за, но у меня так пока не очень хорошо получается и раньше тоже не получалось. Но при этом мы как бы стараемся без лишней необходимости людей в выходные не дергать. Потому что на самом деле я считаю и уверен, что чем спокойнее, тем лучше получится. То есть у меня… Я как бы про Яндекс не хочу ничего говорить, про себя хочу сказать. Что я пробыл в Яндексе, вот я там проводил по 12 часов, 10-12 часов, и я все время был, там, встречи, еще что-то. А после этого я начал… еще были какие-то проекты сам делать. Понимаю, что рабочего времени у меня, например, 5 часов. Ощущение, что оно гораздо эффективнее, что я больше сделал, больше получилось, т.е. эти часы, это такая штука. Если ты можешь по-максимуму убрать все лишнее, если ты можешь убрать лишние, ненужные встречи, на которые люди приходят не подготовившись или которые не в курсе или которых нужно просто выслушать, потому что они важные и нужно как-то их учесть. Если тебе удается до минимума какие-то конфликты внутри нерабочие снять, если ты можешь устроить так, если тебе повезет, что оно все только про работу и все с минимальными потерями, совсем без потерь не получается, то как бы ты можешь… В моем случае, я точно понял, что я могу за 5 часов гораздо больше сделать и получить, с большим удовлетворением, чем за 12 в какой-то другой ситуации.
РОМАН РЫБАЛЬЧЕНКО: Но очень часто у тебя лично эти границы смазаны, где закончилась работа, началась…
ЛЕВ ГЕРШЕНЗОН: Смазаны. Но я очень стараюсь, если все-таки я уже с ребенком играю в теннис или иду из школы и разговариваю, то оно все…
РОМАН РЫБАЛЬЧЕНКО: Не заходить в Slack.
ЛЕВ ГЕРШЕНЗОН: Да. Тоже, к сожалению, не всегда получается, но вот это прямо важно, ну, или, там, еще какие-то вещи. Вот как-то так.
РОМАН РЫБАЛЬЧЕНКО: Как вы работаете удаленно? Как вы справляетесь с тем, что люди в разных часовых поясах, в разных локациях?
ЛЕВ ГЕРШЕНЗОН: Раньше опять-таки я считал, что это вообще невозможно. Ну, требует больше дисциплины. Ну, как бы, нужно отвечать, нужно быть онлайн. Ну, в смысле, какое-то время должно быть общее, пересечение. Нужно читать, смотреть нотификации. Не писать лишнего, но и не пропускать то, что к тебе имеет отношение.
Опять-таки, мне рано говорить, рассказывать, делиться success story, но у меня есть одноклассник в Калифорнии и у него в компании 60 человек, у него нет офиса. И я вот с ним несколько месяцев назад про это разговаривал и очень… У нас-то есть офис и здесь, и в Москве, но меня прям очень эта идея заразила.
РОМАН РЫБАЛЬЧЕНКО: Но вы как-то синхронизируете ребят? Вместе корпоративы делаете раз в год? Все выезжают. Или, там, типа, Daily Scrum Meeting каждое утро?
ЛЕВ ГЕРШЕНЗОН: У нас есть обязательно ежедневные созвоны, короткие, чтобы было понятно, где чего. Корпоративов пока не было, нужно устроить. Не со всеми своими сотрудниками я лично виделся пока еще, в смысле, физически. Но при этом, как бы, эта история, и Берлин, и, там, скажем, Екатеринбург, потому что так нашли и удачные люди. Это гораздо важнее, чем то, где находится. Но не просто.
РОМАН РЫБАЛЬЧЕНКО: Круто. Спасибо тебе большое, что поделился опытом.
ЛЕВ ГЕРШЕНЗОН: Спасибо тебе. Было интересно и здорово.
РОМАН РЫБАЛЬЧЕНКО: Ты, дорогой зритель, спасибо, и слушатель, что досмотрел, дослушал досюда. Пиши вопросы в комментариях. Можешь писать про поиск. Можешь писать впечатления о выпуске. Подписывайся на канал. И до новых встреч. Пока, пока.