Модератор — Роман Рыбальченко.

Участники дискуссии:

• Дмитрий Осиюк, MarTech Analyst в ЛУН
• Юлия Хансвярова, Digital Marketing Director в SEMrush
• Глеб Ходоровский, Co-founder Conversion Rate Store
• Елена Смирнова, Head of Channels MOYO.ua
• Андрей Чорный, Founder Lemarbet, CEO Plerdy

Круглый стол Analyze. Панельная дискуссия׃ прошлое, настоящее и будущее аналитики.

Не знаешь украинский язык? Включай субтитры на русском.

Расшифровка конференции: «Панельная дискуссия: прошлое, настоящее и будущее аналитики»

Кто такой аналитик-супергерой

ДМИТРИЙ ОСИЮК: Окей, давайте я начну. Всем привет. Меня зовут Дима. Я занимаюсь маркетинговыми технологиями в компании «ЛУН».

Я в это понятие вкладываю и в том числе аналитику в первую очередь. Я думаю, что аналитик-супергерой должен в первую очередь: а) уметь понять проблемы бизнеса; б) уметь подобрать метрики, которые лучше всего оцифруют эту проблему, сумеет подобрать гипотезы для того, чтобы устранить эту проблему, и сумеет провести эксперимент, который это подтвердит или опровергнет.
Если говорить за какие-то технические скиллы, то на самом деле неважно, чем он обладает, если он умеет решать эту задачу, там, неважно, что это будет, любой это инструмент аналитики или язык программирования или вообще без него, т.е. я думаю, что любому бизнесу все равно на каком языке программирует его аналитик и вообще программирует ли. Но получать value от его работы как бы бизнес обязан и аналитик должен этот value давать. Потому я считаю, что я бы не ставил в какие-то приоритеты именно технические штуки, аналитик должен более быть бизнесовым, больше к продукту, одним словом, за счет аналитики можно решать как бы разные проблемы и хороший аналитик знает, как это все оцифровать, померить, провести эксперимент и найти инсайт в полученных данных, для того чтобы было проще принять решение руководству.

РОМАН РЫБАЛЬЧЕНКО: Good. Кто следующий?

ЮЛИЯ ХАНСВЯРОВА: Давайте я попробую. Я, наверное, буду краткой. Мне кажется, аналитик — это человек, который обучается постоянно. Это не универсально. Это справедливо для практически всех, но для аналитика точно, потому что фреймворк у тебя меняется и действительно сказать, что какой-то язык, вот на R пиши, а на Python не пиши, это абсурдно. И аналитик, он, да, думает про бизнес в большей степени.

ГЛЕБ ХОДОРОВСКИЙ: Если мы понимаем супергерой как, в общем-то, такая ценность, да, от работы аналитика, то у нас, например, все очень… всегда все сводится к результатам по A/B тестам, т.е. какой рост дают гипотезы, и у нас, в общем-то, все, что нарешал аналитик, все гипотезы, которые он нашел, в итоге они A/B тестируются, и как бы очень просто определить итоговую ценность навыков аналитика.
Так вот, наша такая боль в агентстве — это найти аналитиков, которые сами смогут находить, ну, не только отвечать на вопросы, не только строить решения аналитические, а те, кто может сам находить гипотезы, которые увеличат конверсию и средний чек, и как бы проактивно их много качественных выдавать.
И казалось бы, да, в общем, такая простая логика… Но, кстати, Паша… Должен с нами быть еще Паша, да? Он прикольно выразил… Я имею в виду Грищука. Он прикольно выразил… Он как-то на Facebook запостил, что есть большая разница между data-driven и profit-driven, вот это вот очень хорошо определяет, потому что нет аналитика, который не считает себя, что он принимает решения на основе данных, да. Но вопрос, ключевая задача в том, чтобы, в общем-то, принимать решения на основе данных про то, как это повлияет в итоге на доход, потому что нет такого аналитика, который скажет: «Я не на основе данных принимаю решение», да, т.е. вопрос в том, чтобы это максимально влияло на доход. Вот такие… моя очень банальная логика.

РОМАН РЫБАЛЬЧЕНКО: Интересно. Лена, дополнишь что-то?

ЕЛЕНА СМИРНОВА: Да. Во-первых, я со всеми согласна. Ко всему этому могу только добавить то, что аналитик-супергерой должен быть определенно частью команды и очень тесно работать с другими маркетологами, в тесной связке, т.е. буквально дергать людей из отдела того же PPC и говорить: «Ой, ребята, у нас тут какая-то проблема, вот я вижу аномалию» или «Ой, я вижу пути, как можно сделать что-то лучше», анализировать каждый день, каждый час, какие-то настраивать автоматизированные вещи, которые будут автоматически нужным людям высылать какие-то алерты о том, что что-то пошло не так. Вот мы сейчас стараемся максимально интегрировать работу у нас внутри в маркетинге, чтобы аналитики максимально быстро, оперативно реагировали на изменения. И вот на одном из докладов на Матемаркетинге, тоже такая конференция, рассказывался как раз кейс о работе аналитиков и PPC-отдела. Я считаю, что именно эти два отдела должны работать в максимальной связке, потому что PPC тратит деньги, а аналитики могут помочь…

РОМАН РЫБАЛЬЧЕНКО: Потратить больше.

ЕЛЕНА СМИРНОВА: Потратить эффективно.

РОМАН РЫБАЛЬЧЕНКО: Если вас резюмировать, то аналитик должен быть бизнес и прибыле-ориентированным, много учиться, при этом отделять важное от неважного, потому что можно зарыться в данные, но это ничего не принесет. И, наверное, аналитик должен быть проактивным. Во всяком случае, так бы вам хотелось.
Что-то это похоже на то, каких аналитиков вы видите у себя в компаниях? Да?

Мы видим, что миссия аналитика не только в том, чтобы делать свою работу, но и объяснять людям почему важно работать с данными каждому работку компании. Т.е. не только продакт-менеджеру с которым мы работаем в команде, а и продуктовым компаниям и дэвэлоперам. Почему нужно интересоваться, как ваша работа нравится или не нравиться пользователям. И создавать такой продукт и результат своей работы, который будет удобный в использовании. Т.е. задача, чтоб не только отвечать на вопросы, но и сделать так, чтобы людям было удобно пользоваться тем, что ты делаешь, и чтобы они хотили приходить к тебе еще раз.

РОМАН РЫБАЛЬЧЕНКО: Круто, звучит круто, но я вижу большой конфликт между тем, что есть аналитика техническая, да, есть какие-то вещи, которые мы уже частично коснулись, — программирование, частично в ваших ответах прозвучали какие-то вещи, связанные с Growth Hacking’ом, с тем, чтобы человек сам нашел гипотезы, построил инструменты, — а есть вещь коммуникационная, там, софт-скиллы так называемые, да, чтобы человек рассказывал коллегам, учил их, чтобы они не приходили каждый раз с теми же вопросами, чтобы он говорил еще на языке бизнеса, у него была какая-то эмпатия, он понимал, как это все работает.
И вот тут я вижу какую-то большую проблему, потому что обычно технари, они интроверты, а люди, которые понимают, как работает бизнес, что болит, у кого развитая эмпатия, они, грубо назовем их, там, экстравертами. Как вы это решаете у себя? Дополняете ли вы какие-то роли? Или же просто вы привыкли, что аналитик — это внутренний программист, а у вас есть еще, не знаю, Product Owner’ы, которые выступают вот такими вот генераторами гипотез?

ГЛЕБ ХОДОРОВСКИЙ: Давайте я. То есть у нас, например, эти функции, ну, ты очень четко выразил, т.е. есть 2 большие разницы, как говорят в Одессе. У нас функции разделены. Именно настройки аналитики — этим один человек занимается. И, собственно, тем, чтобы делать аналитику. Я имею в виду, принимать какие-то решения, на основе данных искать гипотезы, Потому что это как бы кардинально разные люди, т.е. в одном человеческом мозге очень маловероятно может совместиться навыки, такие вот технические, да, настроить, или в том же Python разобраться и так дальше, и чтобы человек понимал бизнес, т.е. это просто разные люди. И мне кажется, было бы здорово, если придумать разные термины под эти 2 роли, потому что это как бы кардинально разные скиллы. И просто, ну, я бы лично потратил 3 года на то, чтобы пока вот пытаясь найти такого идеального человека, который может и то, и то делать, но просто это нужно разделять эти функции.

ДМИТРИЙ ОСИЮК: По поводу интровертности аналитиков, я думаю, что интровертность не мешает как бы хорошему аналитику уметь убеждать в чем-то, да, если он уверен в этих цифрах, он знает, что он посчитал, он чувствует, что именно эти цифры должны помочь руководству или product-менеджеру принять какое-то решение, то… ну, аналитик, который не может как бы представить хорошие результаты, как бы, мне кажется, что это не совсем аналитик, это просто человек, который, ну, интерфейс условно к базе данных, да, т.е. аналитик…

РОМАН РЫБАЛЬЧЕНКО: Голосовой интерфейс к отчетам.

ДМИТРИЙ ОСИЮК: Типа того, да, т.е. я думаю, что хороший аналитик должен развивать по крайней мере, стараться это делать, иначе я думаю, что в будущем это не будет слишком ценным на рынках вообще труда. Аналитик — человек, который должен уметь: а) получить эти данные, осознать их, да, понять, где он ошибся, пересчитать, возможно, т.е. уметь провалидировать эти данные. И я уверен, что хороший аналитик, пусть он интроверт, неважно, он просто должен уметь доносить результат своей работы. Я думаю, что… Понятно, как бы, весь мир не идеален, да, но надо стремиться к тому, чтобы люди развивались. Вот я считаю, что если аналитик чувствует, что у него как бы этот скилл не совсем идеален, то стоит его начать развивать. Там, не знаю, учиться публичным выступлениям, возможно, слушать других людей, как они это делают, там, и так далее.

РОМАН РЫБАЛЬЧЕНКО: То есть в идеале аналитик по твоему мнению, он должен выступать вот таким вот консультантом условной четверки, да, с одной стороны, он должен уметь зарыться глубоко в данные, а с другой стороны, он должен презентовать эти данные, быть уверенным и отстаивать свою точку зрения.

ДМИТРИЙ ОСИЮК: Я думаю, что аналитик должен не просто дать репорт, а сказать: «Смотрите, вот репорт и здесь видно, что, ну, вот так оно происходит, и это еще подтверждено вот такими данными, и поэтому я считаю, что надо принять такое решение, потому что вот эти цифры говорят об этом», а если человек просто делает репорт по запросу, я не думаю, что это ценный как бы навык. Потому что я уверен, что главное — понимать, что надо посчитать — и главное — вынести пользу их этих цифр. А просто взять и посчитать, ну, со временем это как бы задача будет сводиться все к минимальным усилиям в будущем. Ну, т.е. мое мнение такое.

РОМАН РЫБАЛЬЧЕНКО: Окей. Согласен. Но тут наступает следующая проблема. Тут наступает проблема, что люди, которые действительно в чем-то разбираются, они часто недооценивают себя. Они, ну, «Как бы, я еще раз перепроверю», да, т.е. есть люди, которые придут и скажут: «Мы увеличим вам продажи в 3 раза», продадут вам большой контракт и ничего не увеличат, а есть люди, которые: «Ну, вот, я сейчас вот по такой модели атрибуции пересчитаю, а потом еще вот по такой, я как бы до конца не уверен, потому что я постоянно сомневаюсь».

ДМИТРИЙ ОСИЮК: Так вот, я считаю, что вообще сомнения для аналитика — это просто, ну, если аналитик не сомневается в том, что он сделал, мне кажется, что он заблуждается.

РОМАН РЫБАЛЬЧЕНКО: А как же он презентовать потом будет?

ДМИТРИЙ ОСИЮК: Нужно просто сидеть перепроверять, тестировать разные подходы. Вот ты же сейчас сам назвал, там, «А ну-ка я проверю сейчас по другой модели атрибуции». Вот мне кажется именно в этом и ценность аналитика, который не просто получает задачу, а предлагает ее решение и думает, каким же способом решить ее лучше всего. Потому что может кто-то прийти, менее как бы компетентный человек, и сказать: «Посчитай мне такие-то данные», он скажет: «Подожди, так это же, ну, в этом нет смысла, надо лучше вот так сделать». И я думаю, что как раз в этом ценность аналитика, т.е. хороший аналитик должен делать вот так, плохой аналитик скажет: «Да, хорошо, я посчитаю», ну, типа, и просто сделает это, и не поймет зачем.

РОМАН РЫБАЛЬЧЕНКО: То есть это про умение говорить «Нет», про внутренний стержень и про уверенность в себе?

ДМИТРИЙ ОСИЮК: Я думаю, что это про умение осознать как бы ценность того, что он делает, т.е. просто объективно изучить проблему и найти самое оптимальное решение этой проблемы, т.е. не просто взять и сделать, как сказали, а типа, возможно, проверить, насколько вообще это адекватное решение и надо ли вообще это делать. По-моему, много таких задач вообще в любой компании есть, и, наверное, я не знаю, кто выполняет такую роль, иногда это может делать product-менеджер или какой-то project-менеджер, человек, который фильтрует задачи, человек, который задает вопрос: «А зачем?», т.е. кто-то приходит, говорит: «Слушайте, а посчитайте мне вот это», и аналитик, который как бы не совсем глубоко может изучить эту проблему или понимает ее, он может сказать: «Да, хорошо, я посчитаю», но на самом деле менеджер, какой-то продукт-менеджер скажет: «А зачем, так, подожди, так у тебя же вот это есть», и такой: «А, ну, да, ну, ладно, все, тогда не считайте». И на самом деле вот эффективность работы аналитика, она очень сильно завязана на умении изучить проблему и адекватно найти ее решение.

РОМАН РЫБАЛЬЧЕНКО: И за часть проблем вообще не браться.

ДМИТРИЙ ОСИЮК: Ну, да, т.е. человек должен подумать, а стоит ли ее решать, а что нам это даст. Я обычно всегда, когда приходит кто-то за какими-то данными, я задаю вопрос: «Хорошо, давай представим, что мы получили эти цифры, вот, допустим, они такие. Что мы дальше делаем?», и если человек говорит: «Нет, все-таки я не знаю, что…», «Ну, ладно, давай тогда не будем считать». Это очень часто так происходит. Потому я советую как бы всем аналитикам руководствоваться таким правилом, т.е. я беру прям реально на… в таблице, говорю: «Давайте я вам пересчитаю эти цифры на точные. Давайте напишем, что они сейчас вот такие, что мы будем дальше делать?» Половина задач отпадает, может, даже больше.

РОМАН РЫБАЛЬЧЕНКО: Это очень ценное замечание, потому что: а) аналитика должна влиять на принятие решений в компании, иначе она бессмысленна, и б) очень часто аналитики начинают заниматься вот этой точностью данных. Все посчитано максимально правильно, отчеты у нас максимально правильно собираются, data collection у нас правильный. So what? И как это отразится на прибыли? Никак. Но зато у нас правильно все собирается.

ДМИТРИЙ ОСИЮК: Да. Это вообще отдельная тоже тема. Можно глубоко закапываться в точность данных, но на самом деле бизнесу там надо понять порядок цифр или, не знаю, соотношение этих цифр, насколько они отличаются, но ему там не важно, насколько ты точно все посчитал. И зачастую, особенно для больших компаний, когда данных много, это действительно проблема, т.е. человек может полдня делать задачу и прийти к очень близкому, ну, т.е. к какому-то ответу с очень большой точностью, но на самом деле можно было все это пересчитать гораздо быстрее, на скидочку, плюс-минус, там, с условной меньшей точностью, но для бизнеса это дало бы уже готовый ответ, что надо делать, т.е. там не всегда нужна вот эта микроскопическая точность. Это тоже отдельная как бы штука, которую я считаю тоже аналитик должен уметь балансировать, когда эта точность важна, да. Когда мы говорим за A/B тесты, там, конечно же, надо все как бы очень тщательно считать. Там очень много математики в анализе результатов A/B тестов. Но если говорить за какие-то более поверхностные задачи, там не всегда эта точность важна.

РОМАН РЫБАЛЬЧЕНКО: Окей. Кто-то еще добавит или переходим?

ЕЛЕНА СМИРНОВА:

Я еще хочу сказать, что аналитик всегда должен отстаивать свою точку зрения, если он уверен в ней.

Например, ситуация, когда руководитель просит какой-то отчет, какие-то цифры, чтобы доказать, что гипотеза руководителя была права в каком-то случае, и как-то только аналитик выдает цифры, он говорит: «Ага, вот оно сработало, то, что мы делали», аналитик должен посмотреть на цифры и объективно сказать, действительно ли причина в какой-то активности, которую проводила компания, либо на маленьких цифрах это не значительный результат, либо какие-то другие факторы были включены, т.е. все-таки отчасти это статистика, а статистикой очень легко манипулировать.

РОМАН РЫБАЛЬЧЕНКО: То есть это про то, что у аналитика 2 x 2 может быть и 5, и 4, и 3.

ЕЛЕНА СМИРНОВА: В том-то и дело.

РОМАН РЫБАЛЬЧЕНКО: В зависимости от того, мы покупаем или продаем, да?

ЕЛЕНА СМИРНОВА: И нужно понять, т.е. несмотря на давление со стороны руководителя либо какого-то еще сотрудника, что вот, давай, сделаем цифры так, чтобы было похоже на то, что я тут не зря работаю, чтобы аналитик имел смелость и уверенность в себе, оспаривать такие данные.

Чем будут заниматься аналитики через 10 лет

РОМАН РЫБАЛЬЧЕНКО: Круто. Согласен, да, если аналитик начинает прогибаться под изменчивый мир, то цифрами можно доказать все, что угодно.
Как вы видите, что произойдет с этой профессией, чем будут заниматься аналитики через 10 лет?

ЕЛЕНА СМИРНОВА: Data Science, наверное. Наверное, какие-то базовые функции заменят роботы и уже не надо будет, т.е. мы уже видим это в Google Analytics. Ты можешь написать некий запрос, там, типа, сколько людей у меня сегодня купило, какая география запросов и так далее.

РОМАН РЫБАЛЬЧЕНКО: А до этого это можно было написать внутри OWOX.

ЕЛЕНА СМИРНОВА: А до этого пишешь в чат, там, аналитику лично пишешь.

РОМАН РЫБАЛЬЧЕНКО: А до этого, да, ты писал человеку.

ЕЛЕНА СМИРНОВА: А сейчас ты пишешь, да, роботу и Google тебе все считает. На самом деле я вижу, что рынок очень сильно глобализируется и те сервисы, которые раньше брали на себя какие-то другие компании, сейчас берет на себя Google, собственно. Почему бы и нет. У него, наверное, больше всего данных и все сервисы, которые раньше были просто отдельными, это как реклама, тот же Google Analytics, Optimize, они все сейчас собираются в единую зонтичную систему и… ну, т.е. работа аналитика будет, просто уметь правильно работать с этими крупными сервисами, правильно их настраивать. Мне кажется, работа будет все дальше и дальше уходить в технические навыки и Big Data, вот все идет туда.

ГЛЕБ ХОДОРОВСКИЙ: Я бы тут немножко не согласился, потому что, с одной стороны, ты говоришь, что, да, как бы, в GA уже нормально Intelligence потихоньку все лучше начинает работать. Это, в общем-то, ведет к тому, что аналитики, вот, которые только отвечают на запрос… на вопросы, да, они быстрее всех… они потеряют работу быстрее, чем бухгалтеры. Потому что чтобы условно бухгалтера лишить работы, это надо, чтобы появился такой стартап, в котором будут нормальные спецы по имейлу и так дальше, а в Гугле уже самые лучшие спецы. Они все там, т.е. друзья, вы именно… именно в веб-аналитике, когда произойдет вся эта история, да, с…

РОМАН РЫБАЛЬЧЕНКО: Глобально, да, глобально, то, что мы видим на рынке PPC, что появляется одна кнопка «Бабло», автоматизированный алгоритм, ты еще чаще всего не можешь сильно чего-то подрезать или поменять, оно как-то работает и ты регулируешь там всего пару рычагов, и то же самое и с аналитикой.

ГЛЕБ ХОДОРОВСКИЙ: Да, если вы понаблюдаете за тем, как развивается Email Data Science последние 3 года, то каждые 3 месяца становится все больше, оно передвигается все быстрее, все ближе к тому этапу, когда надо нажать кнопочку «Применить алгоритм классификации», там, нажать сюда кнопочку. Вот так вот это будет уже типа через год и тоже не надо, ну, как бы, hard-скиллы по Data Science, это просто… давайте так вот начистоту… это просто сексуально звучит и особенно технари, это всё это всем очень нравится.

РОМАН РЫБАЛЬЧЕНКО: Это как с языками программирования. Я теперь буду писать на Go.

ГЛЕБ ХОДОРОВСКИЙ: Да, да, да, т.е. многие аналитики, ну, по психологии, они любят всякие технические фичи и вот их очень возбуждает Data Science, это интересно в этом разобраться, но как раз вот это тот скилл, который со временем сильно автоматизируется, да, т.е. как раз опять-таки Google этот тренд возглавит. А что самое главное, самое главное — это вот как раз бизнес-логика, это больше про понимание психологии и как понимание конкретно, что стоит за этими данными. И что точно не автоматизируется — это объединение качественных данных, да, — это опросы, custdev, юзер-тесты, тепловые карты, — т.е. то, на что надо… там, где это никак не агрегируется, да. Короче, качественные данные.

РОМАН РЫБАЛЬЧЕНКО: Качественные, а не количественные, т.е. условно у автомойки будет доступ к Machine Learning, неважно от кого, от Google, от Apple, от Facebook или от «ПриватБанка», но останется вот этот слой людей, которые по прежнему должны вникать вглубь, потому что у всех будет доступ к этим технологиям.

ГЛЕБ ХОДОРОВСКИЙ: Да, т.е. опять-таки тут история про то, что в СНГ в основном у нас маркетинг-аналитики и очень мало UX-аналитиков, да, т.е. и… А вообще решения в продукте, они должны как бы исключительно приниматься на основе данных, и у нас есть условно как бы трафик и конверсия, это таких два столпа, да, т.е. у нас вроде бы как мы основную часть денег тратим на трафик и у нас там аналитики, но в оптимизацию конверсии, среднего чека, возвратов в продукте меньше, ну, так получается, что там меньше ресурсов и у нас очень мало UX-аналитиков. А для того, чтобы понять, окей, там, вам аналитик часто говорит: «Вот у нас отток», там, не знаю, «бросают корзины с PPC-трафика», количественные данные, они редко говорят про причины этого оттока. А собственно, почему пользователи не покупают. А ответ у него может быть… у него может быть необработанное возражение перед покупкой, у него возможно неотвеченный его вопрос и так дальше.

РОМАН РЫБАЛЬЧЕНКО: Или проблема с оффером.

ГЛЕБ ХОДОРОВСКИЙ: Проблема с оффером, проблема с доверием. Такие вещи невозможно достать из количественных данных. И когда аналитика спрашивают: «А почему у нас просели продажи?», то ответ часто, он в этой области. Поэтому я как бы рекомендовал бы уже прокачиваться в объединении этих вещей.

РОМАН РЫБАЛЬЧЕНКО: То есть ты считаешь, что аналитикам надо учиться делать качественные исследования?

ГЛЕБ ХОДОРОВСКИЙ: Да, надо учиться, потому что почти очень редкий вопрос, на него можно комплексно ответить на уровне причин исключительно количественными данными. И это то, что гарантированно, ну, это не автоматизируется, да, т.е. такой человек, он работу никогда не потеряет, и такая ценность, его ценность будет только расти, т.е. это самые дорогие спецы.

РОМАН РЫБАЛЬЧЕНКО: Андрей, мы тут коснулись карт кликов, скажи, насколько это сейчас вообще идет этот тренд, не идет, сложно это продавать, да, чтобы люди анализировали не просто бездушный трафик, процент конверсии, а рыли куда-то больше вглубь, почему так происходит, какие поля заполняют, какие не заполняют, почему эти люди отваливаются, что они видят, что они не видят, как устроена их психология.

АНДРЕЙ ЧОРНЫЙ: Если действительно даваться в ту сторону посчитать Гугл в конце 2017 года ввел должность UX-copywriter. Т.е. это уже говорит за то, что правильно нужно строить соответствующие названия полей, чтобы потенциальный клиент правильно это читал и принимал на основании этого правильные решения.

РОМАН РЫБАЛЬЧЕНКО: То есть это копирайтер, который работает над формами, полями, подписями к полям, сообщениями об ошибках?

АНДРЕЙ ЧОРНЫЙ: …над конкретными сообщениями, т.е. это есть актуально. Так же как я вижу на Ainе, тоже в ту сторону пошла и Розетка. Не буду точно говорить или это 100%. Если смотреть на аналитику в целом, все что можно оно будет автоматизировано это 100%, но на это будут влият некие законы, насколько они будут разрешать брать те или иные данные. Если они будут блокироваться, то сложность сбора будет явно не простой. UX-аналитик он нужен, если без него нужно анализировать конверсионный путь где теряется либо офер неправильный или страница неправильная, если трафик пришел не правильный UX и никакой анализ не поможет.

Какова роль аналитика в компании

РОМАН РЫБАЛЬЧЕНКО: Но тут получается такой многорукий многоног, да, с одной стороны, мы хотим человека, который разбирается в цифрах, знает про стат. достоверность, с другой стороны, эмпатия, с третьей стороны, чтобы он еще умел сказать «Нет» владельцу, с четвертой стороны, чтобы он еще проактивно прибегал и предлагал какие-то новые фишки.

ЕЛЕНА СМИРНОВА: Ты сказал супергерой.

РОМАН РЫБАЛЬЧЕНКО: Супергерой, да. А кто в итоге приходит на вакансию аналитиков?

ГЛЕБ ХОДОРОВСКИЙ: Ну, вот, повторюсь, эти функции все надо разделять.

РОМАН РЫБАЛЬЧЕНКО: То есть это не один человек?

ГЛЕБ ХОДОРОВСКИЙ: Невозможно, чтобы это был один человек. Невозможно, чтобы был технически крутой спец, я имею в виду, кто может сложные запросы делать и так дальше, и чтобы он при этом понимал бизнес-логику, монетизацию. Может быть, что посредственно человек делает и то, и то. Поэтому… У нас, например, у нас есть настройщик аналитики, например.

РОМАН РЫБАЛЬЧЕНКО: Технический специалист.

ГЛЕБ ХОДОРОВСКИЙ: Да, да, да. Он технический, его задача — строить аналитику. Он может отвечать на сложные какие-то вопросы там, где, там, за, там, все, что дольше 20 минут есть.

РОМАН РЫБАЛЬЧЕНКО: То есть… ну, это по, там, маркетинг-технологиями — это Google Analytics, Google Optimize, JavaScript, DataLayer, там, типа, R, Python и все в сторону техническую.

ГЛЕБ ХОДОРОВСКИЙ: Да. И у нас еще, что очень важно, у нас так исторически сложилось, я вышел из фриланса по CRO, т.е. я долго был как фрилансер и до того, как мы сделались агентство, и уже привык к почасовому оплате труда и у нас большинство команды, они работают на почасовых ставках, и у нас отдельный человек, он может считать стат. значимость, вот есть чувак крутой в статистике, он занимается, там, стат. значимостью, у нас отдельный человек настраивает, там, Mixpanel, отдельный — GA, отдельный человек ищет гипотезы и так дальше. Но все это в одном, я очень, ну, долго пытался найти какое-то объединение, но это как бы очень сложно.

РОМАН РЫБАЛЬЧЕНКО: Хорошо. Одна роль для бизнеса — это технический настройщик. Эту роль, кстати, достаточно легко делегируется и аутсорсится, да, т.е. вместо того, чтобы искать себе человека в бизнес, который настроит Google Analytics, можно это заказать услугой разово, там, за 2 месяца это закрыть и уже иметь чистые данные.
Следующая роль — исследователь.

ГЛЕБ ХОДОРОВСКИЙ: Я бы это объединил, да, т.е. есть исследования качественные, они, ну, это не ракетная наука, но очень полезно для аналитиков немножко вылезти. Вообще проблема вот всех digital-специальностей — то, что мы как бы можем быть интровертами, мы сидим за экраном, который нас отделяет от реального мира, вот, и, например, поговорить с живыми людьми — это для аналитиков уже что-то такое, т.е. тут очень… чтобы здорово прокачало каждого веб-аналитика — это, например, позвонить, вот так вот даже. Я, например, брал, у нас некоторые люди почему-то оставляют свои телефоны там в вопросах. Я могу всех прозвонить, например, вот, или даже попродавать услугу. Есть такой фонд, есть большой очень фонд, Rocket Internet, по-моему, он называется. И у них бизнес-модель про то, что они копируют успешные стартапы. И у них один из самых крутых CRO хаков — это вот так вот просто звонить пользователям и реально им продавать услуги, тогда как бы настоящие возражения вскрываются, т.е. настоящие, наиболее достоверные данные, т.е. продажники это все…

РОМАН РЫБАЛЬЧЕНКО: И сразу ты видишь реакцию на, там, контр-аргумент, что человек его принял или нет. Окей, т.е. это роль какая-то дополнительно человека, который продает, или UX Researcher, ну, например, Mailchimp в свое время связывались со мной и Facebook присылает такие приглашения, и не только они, «Поучаствуй в нашем исследовании». Человек, там, час задает тебе вопросы, активно слушает, проверяет, там, это вот Customer Development, UX Researcher. Нужно ли тут еще 3-я роль, например, Growth Hacker’а?

Нужен ли отдельно Growth Hacker

ГЛЕБ ХОДОРОВСКИЙ: Понимаете, это все одно, т.е. Growth Hacker, он про что? Он про то, чтобы на основе данных построить гипотезы. И самая тут ключевая штука — это именно вот такие данные находить. И… Ну, мы рекомендуем… Ну, например, как мы определяем CRO-специалиста профессию, т.е. это чувак, который… он может базово разбираться в веб-аналитике, но не обязательно, он может просто задавать вопросы, т.е. мы пришли к тому, что даже вообще можно без навыков GA и так дальше, т.е. он должен задавать вопросы, т.е. в идеале тот человек, который лично делает все про качественные данные, он будет лучше всех понимать, потому что… т.е. хорошо, если у такого чувака, он UX понимает, вот. Каждого веб-аналитика очень бы здорово прокачало, если бы он пошел в качественные данные и в такой более тесный контакт с аудиторией.

РОМАН РЫБАЛЬЧЕНКО: Окей, услышал. Дима, Юля, вот у вас, вы работаете в продуктовых компаниях, кем у вас закрывается и закрывается ли роль Growth Hacker’а? Под Growth Hacker’ом я подразумеваю человека, который не просто полезет в данные и найдет гипотезу, а возможно сразу же создаст сам лендинг, запустит на этот лендинг какой-нибудь тестовый трафик, проверит, что это работающий подход, связка, трафик есть, конвертация какая-то. Придет и скажет: «Вот, ребята, дальше масштабируйте». Ну, условно, будет делать внутри бизнеса внутренние пивоты, скажем так, да, искать какие-то новые бизнес-модели, новые связки, там, трафик, сообщения, предложения, конвертация. Ожидаете ли вы это от аналитиков или вы же это ожидаете от PPC-отдела, например?

ДМИТРИЙ ОСИЮК: Не знаю.

У нас в компании много людей, которые могут заниматься сразу несколькими направлениями. Мы это называем кросс-функциональной командой.

У нас, например, есть дизайнер, который сам писал мобильные приложения, знает Python, может посчитать значимость A/B тестов и сам их же запустить. Это обычные дизайнеры, которые тоже рисуют как бы и прототипы.

РОМАН РЫБАЛЬЧЕНКО: Просто обычный дизайнер.

ДМИТРИЙ ОСИЮК: Да, просто обычный дизайнер. И из последнего кейса, как бы, он взял и подумал: «Блин, нам не хватает одной кнопки в интерфейсе», но ее пилить очень долго, реально, надо потратить время. Но чтобы проверить гипотезу, нужна она или нет, т.е. будут ли люди пользоваться этим функционалом, он взял просто, сделал сам кнопку, которая не делает ничего, и добавил в интерфейс, и мы провели тест, типа, нажимают ли на нее люди или нет. Оказалось, что она не нужна, ну, или нужна, там, я уже не помню исход, но я веду к тому, что ответ на вопрос, что каждый человек, который отвечает за какую-то область в компании, т.е. есть дизайнер, у которого, там… ну, т.е. он запускает A/B тесты, он улучшает пользовательское взаимодействие, он же, кстати, ищет и инсайты в данных, он умеет открывать Google Analytics. Если у него есть какие-то вопросы за рамках его стандартных задач, то он может обратиться, например, ко мне, как к человеку, который более как бы с аналитикой знаком. Я ему помогу это сделать за 1-2, там, раза, он поймет принцип и дальше сделает сам. И суть в том, что он на своем как бы поле хозяин. Он может сам принимать решение за ту часть продукта, за которую он отвечает. То есть ответ на вопрос Growth Hacker на всю компанию, ну, как бы, я бы не сказал, что такой человек у нас прям есть прям с такой должностью, но у каждой команды каждый человек, отвечающий за какую-то область, он является Growth Hacker’ом в своем направлении.

РОМАН РЫБАЛЬЧЕНКО: То есть Growth Hacking, как функция существующих сотрудников, коллег, которые ее просто закрывают в своих направлениях.

ДМИТРИЙ ОСИЮК: Да, да, да. И в основном, конечно же, мы придерживаемся как раз таки направления, протестить гипотезу сначала какими-то способами, а потом уже приступать к ее разработке. Вот я считаю тоже, что это хорошая как бы идея.

РОМАН РЫБАЛЬЧЕНКО: Окей. Услышал.

ЮЛИЯ ХАНСВЯРОВА: У нас, наверное, примерно плюс-минус тоже самое, т.е. если мы ждем Growth Hacking’а, то как правило все-таки это в сторону маркетинга.

РОМАН РЫБАЛЬЧЕНКО: В сторону существующих специалистов по UX, по каналам трафика и так далее?

ЮЛИЯ ХАНСВЯРОВА: В принципе, да, в зависимости от предметной области. А так, аналитики сейчас пока больше в пассивной роли в этой истории.

ГЛЕБ ХОДОРОВСКИЙ: Давайте добавлю про то, что… Ну, вот как в мире выглядит Growth Hacking. Я чуть-чуть допрашивал руководителя роста Airbnb, который руководитель команды роста, Густав Альстромер, был как-то в Киеве по неосторожности. Я его прям допрашивал, как у них все устроено. То есть на самом деле есть команда роста, туда могут входить с разных функций. Суть в том, что происходит постоянно, еженедельно совещания, там люди генерят гипотезы. Вот, например, в Airbnb даже эти гипотезы были не на основе данных, а просто все, что там в голову пришло, это просто системно тестировалось. То есть когда… Вообще CRO или там Growth Hacking в компании начинается с того момента, когда появляется один человек, который… он только ответственен за, например, там, retention продукта или только ответственен за конверсию, ну, грубо говоря. То есть CRO — это часть Growth Hacking’а, которая не про трафик, т.е. Growth Hacking состоит из чего там, из трафик эксперимента и экспериментов внутри продукта, на сайте.
Так вот, с точки зрения менеджмента, надо, чтобы был, во-первых, постоянный процесс, т.е. еженедельные совещания, на которых обсуждаются все гипотезы, обсуждаются результаты прошлых экспериментов и то, что дальше будет тестироваться, и это как бы постоянный процесс с единым ритмом. И есть один чувак или девушка, которая за это отвечает и у которых есть KPI за рост.
И тут это все как бы не так… Тут тоже есть… Сейчас в «Долине» пришли к тому, чтобы разделять Growth Marketing и Growth Hacking. И Growth Hacking — это… Была проблема в том, что, вот, есть команда Growth Hacking’а и они там мелкие фишечки находят какие-то, например, если в продукте, то это там чуть-чуть что-то перекрасили и да, и они как бы не касаются таких более кардинальных решений продукта. Но фишка в том, что тот человек, который больше всего копает в данные, он в итоге лучше всех может понимать про то, каким должен быть продукт.
Поэтому очень важно, чтобы это была как бы единая команда, там, где есть и продукты, и чтобы они как бы обменивались между собой инсайтами и они все вместе генерили гипотезы, одни более такие значимые продуктовые решения и про такие более точечные эксперименты, как вот с Growth Hacking.

РОМАН РЫБАЛЬЧЕНКО: Понял. У нас есть еще приз — книжка за лучший вопрос. Я предлагаю людям, которые нас сейчас слушают.

ВОПРОС ИЗ ЗАЛА: А можно еще вопрос задать.

РОМАН РЫБАЛЬЧЕНКО: Да, позадавать эти вопросы.

ВОПРОС ИЗ ЗАЛА: Я тут. Привет, ребят, еще раз. Мы знаем, что в аналитике есть настройка аналитики, сбор данных, поиск оттоков различных в воронке, регрессионный анализ, но это все стандартизированные задачи, т.е. их реально может решать. Вот Глеб говорил о том, что Google будет вести вперед всех. Вот я недавно читал Авинаша, он сказал, значит, что настройка данных будет полностью автоматизирована, от человека ничего не будет зависеть, т.е. полностью все взаимосвязи, все взаимоконтакты пользователя с сайтом и любым продуктом будут полностью размечены уже до того, как что-то начнется.

РОМАН РЫБАЛЬЧЕНКО: Условно, как сейчас Facebook Pixel сам понимает, когда пользователь кликает по имейлу, что он собирается написать на почту, или по телефону, что он, скорее всего, набрал.

ВОПРОС ИЗ ЗАЛА: Да.

ГЛЕБ ХОДОРОВСКИЙ: Как уже Firebase.

Какими навыками должен обладать аналитик через 5 лет, чтобы не остаться без работы

ВОПРОС ИЗ ЗАЛА: Воронка, регрессионный анализ и много чего другого, что делает аналитик сейчас, все будет стандартизировано, т.е. по запросу аналитическая модель будет тебе давать эти ответы. Вопрос: через 5 лет какими навыками должен обладать аналитик, чтобы не остаться без работы?

ГЛЕБ ХОДОРОВСКИЙ: Ну, да, мы… Как я и говорил, это вот бизнес-логика, потому что… Вот у нас тоже был забавный случай. Часто очень, например, владельцы бизнеса или просто многие разные другие функции, веб-аналитик в том числе, они думают, «Мы не будем ничего предлагать по дизайну, по UX продукта. Мы мол, типа, в этом ничего не понимаем». У нас был забавный случай на курсе по CRO, т.е. там я показал определенные данные и спрашиваю у участников: «Какую вы бы гипотезу построили на основе этих данных?». Там был один из лучших UX в Украине и был просто владелец интернет-магазина небольшого, который к UX, к дизайну вообще никак, но у него есть такая логика: «Так, где тут бабло, короче?» Так вот, вот этот мужик, он лучше гипотезы дал, потому что мы уже… В общем, он дал ровно такую же гипотезу, как и я, и она просто раньше уже была протестирована, т.е. именно он, просто предприниматель, как бы, обычный, очень далекий от Digital, у него вот просто такая, вот, такая более, ну, как у предпринимателей, логика, да, т.е. его гипотезы были качественней, чем вот у одного из лучших UX… я имею в виду вот конкретный тот кейс… чем у одного из лучших UX в Украине.
Вот я к тому, что владельцам, вообще всем участникам процесса не надо стесняться придумывать гипотезы и этот навык — ключевой, вот это вот, именно бизнес-логика и способность формировать гипотезы. Вот это не поддастся никакой автоматизации, потому что вот то, что сказал Игорь про то, что и настройка данных тоже автоматизируется, т.е. вот в Firebase уже автоматически шлются многие важные ивенты, типа, там, добавить в корзину и… ну, как бы, ну, неизбежно это все со временем будет еще дальше заходить. Вот.

A/B тестирование при добавлении новых фич

ДМИТРИЙ ОСИЮК: Да, я еще хотел сказать, что аналитику, чтобы остаться с работой через несколько лет, я думаю, нужно уметь валидировать полученные результаты каких-то исследований. По-моему, это вообще очень важная составляющая его работы, потому что можно делать отчет как бы 3 дня, там, ну, или, условно, какой-то research, если не задавать себе вопрос вообще, а адекватны эти результаты, то можно делать просто впустую, как бы, тратить время.
И в связи с этим, я хотел бы сказать, вот, например, сегодня предыдущий доклад был про то, что Google Cloud сделал бету сервиса генерации рекомендаций, персональный для каждого юзера на основе каких-то датасетов. Так вот, конечно же, можно брать это все и тестировать, но, по-моему, все движется к тому, что… ну, все упрощается, да, т.е. все говорят, там, Data Science, Machine Learning, и Google в том числе делает многое для того, чтобы снизить порог входа в эту вообще отрасль. То есть, да, если раньше для разработки каких-то Machine Learning алгоритмов надо было в этом глубоко разбираться и быть PhD по математике, то сейчас достаточно открыть одни полуготовые как бы сервисы Гугла и попробовать сделать какой-то prediction.
Так вот, мой посыл в том, что хороший аналитик должен через 5 лет, когда все это будет для всех одинаково условно работать, уметь тюнить какую-то систему для получения лучших результатов. Потому что если руководствоваться какими-то дефолтными штуками, которые предлагает Google или Facebook, есть риск, что ты будешь двигаться так же, как и все. А если ты хочешь быть как бы лидеров своей ниши, да, ты должен двигаться быстрее, ты должен делать более качественные вообще… принимать более качественные решения. Вот, например, этот же Recommendations AI я считаю, что отличная штука для того, чтобы протестить какую-то гипотезу. У нас, например, в «ЛУН» есть где это применять. Мы хотим использовать этот Recommendations AI в продакшене, но только для того, чтобы протестить, будет ли вообще работать Machine Learning в этой конкретной составляющей нашего продукта, будет ли он давать результаты, которые окупят нам…

РОМАН РЫБАЛЬЧЕНКО: Или будет ли он давать значимый прирост по сравнению с базовым алгоритмом, который вы заложили.

ДМИТРИЙ ОСИЮК: Конечно. Может быть, в какой-то области продукта так очень часто бывает. Любые эмпирические как бы наблюдения могут работать лучше, чем какой-то Machine Learning, а на Machine Learning нужно еще потратить много времени, ресурсов и не понятен Value от этого решения. Потому я считаю, что все вот такие штуки, которые делает Google, это очень крутой способ попробовать, поиграться, как это работает, протестировать гипотезу. Тем более, если я не ошибаюсь, там 20 000 бесплатных реквестов или даже уже рекомендаций, полученных от Гугла, т.е. это классная штука, чтобы быстро взять вот прям и внедрить, протестировать какую-то гипотезу.

РОМАН РЫБАЛЬЧЕНКО: Согласен.

ДМИТРИЙ ОСИЮК:

Хороший аналитик должен уметь провалидировать этот результат, понять, почему он такой и сделать лучше.

РОМАН РЫБАЛЬЧЕНКО: И надо ли его внедрять.

ДМИТРИЙ ОСИЮК: Да, т.е. как его подтюнить, чтобы получить еще лучше результат.

РОМАН РЫБАЛЬЧЕНКО: Я, по-моему, когда-то это обсуждал на Бали с одним из аналитиков Яндекса. Мы с ней обсуждали. Я говорю: «Смотри, ну, очень часто ты внедряешь базовый алгоритм и он уже дает какой-то прирост. Ты просто по логике понимаешь этот рынок, сообщения и так далее, и такой подбираешь коэффициенты и берешь на вход, там, не знаю, 5 исходных данных, 5 метрик, да, их перемножаешь и получаешь какую-то, там, сортировку, например, товаров в E-commerce». И говорю: «И есть Machine Learning, куча разных алгоритмов. Вот когда вы принимаете решение, что вы это внедряете?» Она говорит: «В большинстве случаев, если ты не Яндекс, где плюс 1% — это миллионы долларов, да, то в большинстве случае базовый алгоритм дает вот эти 80% результата и все борются за плюс 20%, опять же, на каких-то объемах».
Какие еще вопросы есть у нас у аудитории? Поднимайте руки. Будут к вам подносить микрофон. Напоминаю, мы разыгрываем книжку за лучший вопрос.

Валидация полученных результатов

ДМИТРИЙ ОСИЮК: Хотел еще добавить по поводу валидации результатов. Вот, если взять даже обычный Facebook Ads Manager, да, и посмотреть репорты, которые он генерирует, то я вот думаю, у многих закрадывались вообще какие-то сомнения в адекватности полученных результатов, т.е. ты смотришь в Facebook Аналитику и видишь там невероятную вообще эффективность рекламы, хотя в Google Analytics ты как бы не такую вообще видишь картину. Если спросить у людей, которые работают в Фейсбуке, почему так, они скажут: «Ну, смотрите, понимаете, вы смотрите в Google Analytics, это cookie-based система аналитики, а у нас people-based, мы многое знаем о людях, мы знаем их действия на разных девайсах, вот и поэтому у нас такие результаты». Но на самом деле там много как бы завязано на моделях атрибуции, на Post View, Post Click эффектах, и плохой аналитик как бы посмотрит, скажет: «Да, вот это вот лучше, вот это вот хуже», но я считаю, что… должна быть какая-то доля сомнений в полученных результатах. И вот мы, например, мы просто не можем смотреть на цифры в Facebook Аналитике, в Facebook Ads Manager’е, потому что они реально смущают. Они настолько смущают, что ты в них не веришь и этот инструмент теряет свою вообще пользу. Поэтому… Ну, т.е. конечно же, если, например, даже сравнивать Facebook и Google, то это делать нельзя, но опять-таки адекватность подсказывает, что в принципе этот инструмент можно использовать только в рамках одного и того же Фейсбука, т.е. если ты смотришь на 2 кампании, которые по разному perform’ят, да, то можно выбрать лучшую из них.

РОМАН РЫБАЛЬЧЕНКО: Потому что они померены одинаково.

ДМИТРИЙ ОСИЮК: Да, у них же одинаковый метод вообще подсчета результатов. Но если ты сравниваешь Google и Facebook, в которых абсолютно другая логика и другие алгоритмы подсчета, то уже как бы некорректно сравнивать цифры. И вот, когда я говорю про то, что аналитик должен обладать таким чувством адекватности вообще полученных результатов, то я вот как раз про вот это и просто пришел в голову хороший пример.

Как справляетесь с тем, что PPC отбирает возможность заниматься тонкой настройкой

РОМАН РЫБАЛЬЧЕНКО: Да, абсолютно согласен. В итоге, ну, мы, например, пришли, что мы это окно атрибуции сворачиваем, переставляем Post View на минимально возможное, но все равно тут инструментарий, что Гугла, что Фейсбука, идет в том направлении, что они потихоньку отсекают возможность для вот такого fine-tuning’а, т.е. они потихоньку убирают варианты, там, где заблокировать вот это, отключить вот это, или эти варианты требуют на порядок больше трудозатрат, т.е. какие-то скрипты начинаешь выдумывать, еще чего-нибудь, обходить это, банить так, закрывать так.
Лена, скажи, как вы у себя справляетесь с тем, что PPC отбирает возможность заниматься Fine Tuning’ом и все идет к тому, что будет Google Shopping, он сам будет работать по каким-то своим ключам и максимум ты можешь разбить фид, отключить товары и задать ставки.

ЕЛЕНА СМИРНОВА: Классный вопрос. Спасибо. На самом деле я вот согласна, что мерить разные системы и сравнивать их аналитику нельзя. Facebook — это, конечно, большая боль любого рекламодателя с этой точки зрения, так и то, что действительно они все меньше возможностей дают для тонких настроек, мотивируя это тем, что им видней, у них больше данных и так далее. Хотя, по сути, мы понимаем, что они просто хотят больше заработать на рекламодателях.

РОМАН РЫБАЛЬЧЕНКО: Продать больше инвентаря.

ЕЛЕНА СМИРНОВА: Да. Что мы с этим делаем? Мы работаем с теми тонкими настройками, которые все еще доступны. Это, как минимум, площадки, на которых транслируется реклама. Мы по умолчанию для не ремаркетинга всегда выключаем Audience Network и также мы оставляем окно конверсии минимальное допустимое Фейсбуком. Конечно, они все время его пытаются расширить.
Ну и также мы используем сторонние инструменты, которые нам дают либо какую-то дополнительную аналитику, либо которые дают возможность через API управлять кампаниями, т.е. это, например, для Гугла — это инструмент Kenshoo, хотя у Гугла есть и свой инструмент тоже для управления — это DoubleClick for Search. Но тут уже кому, что больше нравится. То есть это просто система над системой, которую ты можешь дополнительно настроить, которая работает с другим уровнем данных, скажем так, которые больше знают о пользователе, которая может отследить те аномалии либо последовательности, которые ты не можешь сделать как специалист. То есть даже здесь это получается все равно, т.е. ты, как PPC-специалист, ты больше становишься управленцем этих систем, т.е. какую из них… По сути, задача сводится к тому, чтобы выбрать все-таки систему автоматизации, которая все еще будет это делать за тебя. То есть все равно идет автоматизация, роботизация, а мы просто должны выбрать с каким именно роботом нам выгодней работать на данный момент времени.

РОМАН РЫБАЛЬЧЕНКО: То есть как в Azure ты выбираешь, какой алгоритм Machine Learning ты сейчас вытянул, тоже самое в PPC, ты выбираешь робота, который…

ЕЛЕНА СМИРНОВА: По сути, да, ты выбираешь робота, который…

РОМАН РЫБАЛЬЧЕНКО: …для твоего бизнеса работает лучше.

ЕЛЕНА СМИРНОВА: …лучше работает для твоего бизнеса. Ты выбираешь сервисы, которые будут работать с inventory-based рекламой лучше, более удобно для тебя, потому что на самом деле на рынке решений очень много похожих. Есть возможность все их протестировать и ты уже с точки зрения чисто пользователей, если они дают одинаковый результат, ты уже смотришь, где тебе интерфейс приятнее. Банально до такого доходит.

РОМАН РЫБАЛЬЧЕНКО: Окей. У меня такой вопрос к аудитории. Да, есть дополнить что? Вопрос? Отлично.

ВОПРОС ИЗ ЗАЛА: Спасибо. Иногда так получается, что в стремлении сделать наш продукт более функциональным мы пробуем добавить слишком много какого-то функционала и наши пользователи не воспринимают этот продукт — слишком сложно. Поэтому мы проводим А/В тесты, чтобы понять понравиться пользователям продукт или нет. Дайте пример такого А/В теста с вашей истории когда вы стремитесь улучшить продукт, мы получили противоположный результат, но это наоборот стало бы инсайдом для развития продукта.

ГЛЕБ ХОДОРОВСКИЙ: Ну, смотрите, вы так пристально смотрели мне в глаза, я думаю, вопрос ко мне. Смотрите, тут, как бы, это неправильно, что вы вот строите фичи, круто, что вы делаете A/B тесты, это уже хорошо, но неправильно, что вы строите фичи, а потом вы делаете A/B тест, чтобы проверить, а как это повлияет на пользователей. То есть правильный процесс — это когда то, какими нужны фичи, определяется на основе данных. То есть вы на основе данных думаете: «Ага, вот такая фича, она, возможно, увеличит мой retention, доход, конверсию, средний чек или что-нибудь». Только на основе этого… Причем это стат. значимые данные. Не потому, что, там, у вас, там, 10 пользователей написало: «Нам нада эта фича». Это еще не говорит о том, что она… все, там, пару тысяч пользователей, на них эта фича доход увеличит. То есть приоритеты разработки и опять-таки управления продуктом, оно должно быть исключительно на основе данных.

ВОПРОС ИЗ ЗАЛА: Если можно, хочу попросить Вас про такой пример, когда Ваш запрос данных, но вы нашли бы какой-то инсайд, который противоречил предыдущему импорту.

РОМАН РЫБАЛЬЧЕНКО: Имеется в виду, что в основе лежала одна гипотеза, по результатам A/B тестов вылезла совсем кардинально другая гипотеза и A/B тест помог научиться чему-то.

ГЛЕБ ХОДОРОВСКИЙ: Так происходит на самом деле часто, потому что…

РОМАН РЫБАЛЬЧЕНКО: Дай один пример. Я знаю. что это сложно.

ГЛЕБ ХОДОРОВСКИЙ: Вот я сегодня рассказывал про то, что одна и та же стратегия, про то, чтобы раньше спрашивать регистрацию, точнее, позже спрашивать регистрацию. Там это был один кейс для сетапа MacPaw, про то, чтобы сначала дать скачать приложение, а потом уже на входе спросить регистрацию. Вот там эта штука не выросла. А почти идентичная стратегия для другого SaaS, она дала рост. То есть A/B тест на самом деле это инструмент обучения, т.е. его на самом деле основная задача — это еще, ну, как бы тебя обучить тому, как нужно по-другому строить продукт.
То есть в A/B тестах очень важно смотреть по сегментам результаты. И очень часто как бы эти результаты, они отличаются от изначально запланированного, т.е. очень часто… Да, есть еще такая классическая шутка в том, что вы изначально планируете какую-то фичу, а пользователи ей пользуются совсем по-другому, для других кейсов, не пользуются для тех кейсов, которые вы изначально задумали.

РОМАН РЫБАЛЬЧЕНКО: Как в E-commerce есть шутка, что когда женщина искала красные туфли, а купила зеленое платье, то веб-аналитика бессильна.
Дима, был у тебя какой-то кейс подобный, когда вот кардинально все поменялось? То есть тут был кейс по поводу того, когда пользователя подсекать, да, т.е. на языке рыбаков, т.е. его пушить на регистрацию быстрее и потом продавать или дать ему влипнуть, а потом уже подсекать, когда он влип в использование.

ДМИТРИЙ ОСИЮК: На самом деле я сейчас сижу, думаю, и мне трудно привести какой-то пример.

Видение фаундера

ГЛЕБ ХОДОРОВСКИЙ: Я вспомнил наконец-то. До меня что-то дошло. Можешь пока… У нас был очень крутой кейс. В общем, это сервис типа как соцсеть для актеров. Суть в том, что пользователи… Видение Founder’а было в том, чтобы это была как соцсеть и пользователи друг с другом отыгрывали сценки разных фильмов. Вот мы говорим, что… Вот, смотри, есть данные про то, что… т.е. очень большая виральность таких роликов, можно просто не что внутри соцсеть была, а чтобы это просто был как бы генератор контента для Фейсбука и это будет супер виральная штука. Ну и надо делать flow, который максимально быстро, т.е. чтобы пользователи не в друзья друг друга добавляли, а чтобы они быстро в пару кликов сняли этот ролик, расшарили на Facebook. Он говорит: «Нет. Мы потратили $3,000,000 на то, чтобы это была соцсеть. Это мое видение и бла-бла-бла». А данные говорят о том, что надо, черт побери, просто делать как был… в общем, генератор контента для Фейсбука. Но вот это очень болезненно, там, не соотносится с видением Founder’а. И вот такие штуки, ну, как бы, надо, к сожалению, они, конечно, могут расстраивать Founder’ов, но надо…

РОМАН РЫБАЛЬЧЕНКО: Надо не влипать.

ГЛЕБ ХОДОРОВСКИЙ: Тут интересная штука. Это в итоге про эго фаундеров, да, т.е. не про то, что…

РОМАН РЫБАЛЬЧЕНКО: Не всегда это про эго. Это есть такое про Боинг, что если Боинг влип и уже потратил $100,000,000 на производство, то уже тяжело свернуть с этого пути. Они влипли в производство, они понимают, что оно уже выйдет вот не таким, каким оно должно быть, но они уже влипли.
У нас там еще пара вопросов есть. Я бы хотел успеть… Давай, давай, коротко.

АНДРЕЙ ЧОРНЫЙ: Если коротко, достаточно они вроде просто звучат, и на основании карты кликов, если функционал готов, нужно смотреть месседжи которые там находятся возле этого функционала, где он размещен, и если это функционал дополняет предыдущий, он должен работать. Разве что могут быть размещенные его очень далекие и очень сложные ползунки, тогда они могут не использоваться. Примеров у нас таких много. Когда требуют, чтоб дополнить количество кликов и за счет тех изменений они увеличиваются. Банальные примеры — к гамбургеру добавляем название меню — количество увеличивается.

РОМАН РЫБАЛЬЧЕНКО: То есть какой-то вопрос в исполнении, в execution’е, ты считаешь?

АНДРЕЙ ЧОРНЫЙ: Конечно.

Какую использовать модель атрибуции

РОМАН РЫБАЛЬЧЕНКО: Окей. У нас там еще 2 вопроса, как минимум.

ВОПРОС ИЗ ЗАЛА: У меня вопрос про eCommerce онлайн у которого есть несколько каналов трафика. Например, клиент проходит через несколько каналов — платную рекламу, органика и пуш-уведомления. Или есть какие-то другие рациональные критерии, когда начинать вводить мультиканальность в бизнесе и когда стоит сделать рассмотрение атрибуции сложнее чем просто LastClick.

ДМИТРИЙ ОСИЮК: Смотрите, вот хороший пример, кстати, и у нас. Мы, сайт «ЛУН», это ресурс, где можно выбрать, например, ну, в первую очередь мы позиционируем себя как новостройки, т.е. вы можете зайти на «ЛУН», посмотреть…

РОМАН РЫБАЛЬЧЕНКО: Первичную недвижимость.

ДМИТРИЙ ОСИЮК: Любой ЖК, да, первичку, да, т.е. вы можете посмотреть любой новый жилой комплекс, там, в Киеве, и не только. И, например, вот многие спрашивают: «А какая у вас модель атрибуции?» И на самом деле как бы мы пока не продаем квартиры, т.е. вероятно это может быть в будущем. И когда мы будем продавать квартиры через сайт, да, будет смысл заморачиваться с моделями атрибуции. Если говорить сейчас про продукт, который мы развиваем. Мы видим, что нет большой комбинации каналов, через которые приходят пользователи к нам. И, например, если взять конверсию, на которую мы смотрим, т.е. в данном случае это трафик на сайты застройщиков, это звонки, которые происходят у нас на платформе, это лиды, т.е. формы, которые пользователь отправляет. И на самом деле для этих целевых действий flow юзера не такой большой, чтобы был смысл разрабатывать какие-то сложные модели. Хотя на самом деле даже это уже очень просто сделано с тем же OWOX BI, т.е. на самом деле можно как бы пробовать, мы и пробовали на самом деле, и профит от этого был небольшой.
И, например, я считаю, что вы должны задать вопрос как бы к своим данным, да, получить ответ из вашей системы аналитики, сколько вообще времени люди принимают решение о покупке, т.е. если мы говорим за E-commerce, да, это о заказ, т.е. смотря какими товарами вы вообще торгуете, да, если это более дорогие товары и люди реально месяцами выбирают товар, т.е. проходит много времени до совершения конверсии и эти конверсии для вас очень ценны, да, то, наверное, есть смысл запариваться с моделями атрибуции. Но я просто вспоминаю доклад Сергея Яременко 2 года назад на Analyze, он рассказывал про то, как они построили вообще просто, там, Data Warehouse на базе Amazon Redshift, собрали там вообще все, что можно. Абсолютно. Email-рассылки, все рекламные системы, продукт. Все было в одном месте. Все очень круто. Data Scientist придумал алгоритм на основе марковских цепей, атрибуцию, которая показывала результаты. И в конце этого доклада был вывод такой, что на самом деле разница в тех полученных результатах, т.е. и Funnel Based и марковские цепи, и, там, ну, любого уровня как бы сложность вот этой атрибуции с кастомизированными всякими штуками, она не дала того… т.е. она не показала слишком разные результаты для бизнеса. То есть они построили это все и поняли, что, блин, это было, скорее всего, зря.

РОМАН РЫБАЛЬЧЕНКО: Или точность не настолько повлияла на принятие их решений.

ДМИТРИЙ ОСИЮК: Одним словом, если я правильно помню, стояли с тобой, Рома, и с Сережей, и обсуждали эту проблему. И, например, Сережа сказал одну штуку, что на самом деле у нас много рекламы медийной и в этой всей системе не хватало данных о показах рекламы. То есть они понимали, что система все равно была неидеальна, и не хватало сигналов, которые помогли бы еще лучше построить эту модель атрибуции. То есть, например, они чувствовали, что медийка работает, влияет на продажи, и даже такая построенная система не дала им возможности, правильно это измерить. То есть все равно были недостатки у этой системы аналитики со своей кастомной моделью атрибуции. И они пришли к выводу, что блин, если бы можно было вернуть это время, то можно было бы просто использовать Last Click.

РОМАН РЫБАЛЬЧЕНКО: Last Non-Direct, ты имеешь в виду?

ДМИТРИЙ ОСИЮК: Last Non-Direct.

ЕЛЕНА СМИРНОВА: Я еще дополню. Спросите себя действительно, зачем вам это нужно. То есть если у вас есть определенный бюджет, который вы инвестируете сейчас только, скажем, в низ воронки, т.е. это только Google Search или какие-то вот такие инструменты.

РОМАН РЫБАЛЬЧЕНКО: В Performance?

ЕЛЕНА СМИРНОВА: В Performance-маркетинг. И не готовы сейчас инвестировать в медийку и оценивать ее влияние, то вам это сейчас точно не нужно. Если же у вас есть какие-то планы по развитию, по росту и вы думаете, или вы исчерпали, например, свои Performance-каналы, вы уперлись в потолок по поисковым запросам либо по номенклатуре, которую вы предоставляете, вот, все, дальше инвестировать некуда, вы выкупаете там 90% трафика по репорту, который вы видите в Google Ads. Тогда да, вам стопудово будет интересно идти либо в область каких-то смежных запросов, информационных запросов или инвестировать в ту же медийку, и тогда вам будет интересно посмотреть, а как же вот эти ваши новые активности повлияют на итоговый профит.

РОМАН РЫБАЛЬЧЕНКО: Я абсолютно согласен. Сколько мы не работали с E-commerce, в большинстве случаев Last Non-Direct до тех пор, пока мы не уперлись в потолок по Performance-инструментам, а очень многие бизнесы не упираются в него никогда, он работает. Единственно, что можно добавить гибридность к этой модели, т.е. вы можете начать, если у вас есть какой-то gap между тем, что пользователь подписался на рассылку, зарегистрировался и тем, что купил, вот, если вам эту задачу надо решать, что люди подписываются, а потом приходят с рассылки или с мессенджеров и вам нужно их правильно атрибуцировать, то тогда есть смысл добавить вот этот слой сохранения источника лида, который потом превратился в продажу.

РОМАН РЫБАЛЬЧЕНКО: Она дорогая? На общих объемах бизнеса она дорогая? Если нет, вы просто делаете это, потому что вы в это верите. Это как гигиенический фактор — вы чистите зубы по утрам, вы делаете ремаркетинг, вы делаете email-маркетинг, потому что вы понимаете, чем больше контактов у вас будет с целевой, тем больше вероятность, что вы запомнитесь, что к вам придут, купят повторно, что вы с ним n-ое количество раз прокоммуницируете. Ну, глобально, мы E-commerce проектам рекомендуем за первый месяц от получения лида прокоммуницировать имейлом 10-15 раз. Большая часть бизнеса этого не делает. И отписок нет, жалоб на спам нет, спокойно можно, пока человек горячий, коммуницировать 10-15 раз. Если ремаркетинг или имейл не стоит ничего, вы просто в него верите и делаете как зубной пастой.
У нас есть кейс. Мы внедряя ремаркетинг, email-маркетинг, повторные коммуникации, мы подняли повторные продажи для Sokol.ua на 42%. И мы замерили это год к году. И у нас была возможность. У нас были, там, когорты подсчитаны. Но для этого вам нужно на вход много данных и чтобы это было достаточно дорого или у вас бизнес, на котором на данных вы можете это проверить. Есть правильный учет и вы можете сравнить покогортно и по базе данных. Если у вас чего-то из этого нет, просто делайте этого, потому что вы верите в это. Не все вещи надо анализировать.

ДМИТРИЙ ОСИЮК: Можно вопрос? Какой процент конверсии происходит от ремаркетинга?

РОМАН РЫБАЛЬЧЕНКО: Так сразу не скажу.

ДМИТРИЙ ОСИЮК: Ну, порядок. 90 процентов? 10-20-30? Меньше, чем 10? А теперь вопрос: «Зачем запариваться с моделями атрибуции, чтобы 10% конверсии распределить по-другому», ну, т.е. поможет ли вам это то, что вы вот эти 10% возьмете и более грамотно раскинете на остальные 90%. Я думаю, что нет. Потому… Ну, я бы, например, не забил бы просто на это. Понятно, что ремаркетинг работает хорошо и он даже работает хорошо, скорее всего, просто из-за того, что модель атрибуции именно такая, да, там, By Default в Google Analytics. Но, опять-таки, благодаря таким платформам, как OWOX BI, вам ничего не мешает взять триал на 14 дней и протестировать как бы вообще, какие результаты вам даст Funnel Based Attribution за 14 дней. Потом, не знаю, потратьте $100, купите платный пакет, попробуйте месяц-второй-третий попринимать решения на основе такой модели атрибуции и посмотрите общие результаты. Если вы увидите, что, блин, да, реально, оно как бы окупает себя, то вы на правильном пути. Но, опять-таки, если их меньше 10%…

РОМАН РЫБАЛЬЧЕНКО: И у тебя должны быть объемы, потому что если у тебя нет объемов, тест этот просто не оправдан будет.

ЕЛЕНА СМИРНОВА: Плюс используйте Data-Driven атрибуцию. Это встроенный инструмент Гугла. Он работает на определенных объемах, т.е. если у вас объемы достаточные в вашем интернет-магазине, вы просто включаете Data-Driven и принимаете решение уже на основе конверсии, которую Гугл показывает. Data-Driven учитывает, что Google был в любой момент цепочки и распределяет конверсии в зависимости от того, насколько близко это было к покупке к финальной. Там у вас конверсии будут такими дробными числами обозначены в колоночке с конверсиями, но это классный инструмент, мы его вот используем, не для отчетности финальной, потому что мы все равно по Last Click все сравниваем, но мы сравниваем это для того, чтобы принимать решение внутри самого инструмента Google Ads и принимать решение, какие кампании работают лучше и как лучше оптимизировать, т.е. вы даете алгоритму дополнительный инструмент оптимизации, если у вас мало конверсии, например, по Last Click.

ГЛЕБ ХОДОРОВСКИЙ: Есть тоже крутая стратегия. Вот в США, например, часто обсуждают такую метрику, как Cost Per Pixel, т.е. стоимость пикселя. И стратегия заключается в том, что весь информационный траф, он как бы дешевле, т.е. не про то, что, там, сразу купить, а про какие-то информационные запросы, причем не только контекст, а на Фейсбук тоже. Если вы будете лить траф, там, на топ-10, не знаю, инструментов для A/B тестов, то это будет эффективней, чем купи, там, сервиса для A/B тестов. Так вот, суть стратегии в том, что ты сначала льешь такой более дешевый трафик через PPC и все такое на информационные запросы, а потом ты пользователя можешь полгода догонять.

РОМАН РЫБАЛЬЧЕНКО: Ты имеешь в виду, когда у тебя информационные трафик является первым шагом продаж в многошаговой модели продаж, где ты нагоняешь этот дешевый трафик, а потом ремаркетингом его уже конвертируешь, когда ремаркетинг является частью этой механики.

ГЛЕБ ХОДОРОВСКИЙ: Да, да, да. И тут надо понимать, что как бы весь, если мы посмотрим, почти универсально, во многих, независимо от индустрии, у нас есть 3-5% трафа, которому вот надо сейчас купить и это супер красный рынок, супер дорогой трафик, и у нас 70% трафа, которому надо через месяц или они еще не знают, что надо.

РОМАН РЫБАЛЬЧЕНКО: Или они вообще не знают, что надо, да, и там работает ремаркетинг, email-маркетинг, удержание.
У нас есть еще один вопрос, последний, и мы будем разыгрывать книгу и перемешаться на фуршет.

Автоматизация маркетинга

ВОПРОС ИЗ ЗАЛА: Добрый день. У меня вопрос по будущему аналитики. Как бы сейчас не было, мы видим по Гуглу, что все идет к автоматизации и все автоматические кампании гугла работают лучше, чем то, что бы ты делал руками. Так вот вопрос — не кажется ли Вам, что будущее аналитики как раз таки, с такими сервисами, будет сводиться к UA и UX сайта, а не к самой непосредственной работы аналитики как сейчас. Т.е. это все заберет гугл и аналитики немного поменяют свою работу в других направлениях.

ГЛЕБ ХОДОРОВСКИЙ: Да, я вот как раз про это, по-моему, много говорил, т.е. UX аналитика, ну, маркетинг-аналитика, она все больше и больше будет автоматизироваться, там надо будет все меньше и меньше как бы человеческого фактора, т.е. постоянно мы видим, там, вот Facebook выкатил, теперь там нельзя, там, ну, короче, многие апдейты в основных рекламных продуктах, они про то, что надо теперь меньше человеческого фактора и алгоритмы ключевых рекламных сервисов, они все больше и больше будут сами считать.
А вот в чем сейчас…

Если вы, как аналитик, на рынке хотите стоить больше, то идите в UX-аналитику, потому что под это пока нету никаких решений автоматически, чтобы условно понять, как на основе данных увеличить конверсию, средний чек и так дальше, retention продукта.

То есть такое пока никакая автоматизированная система про такое не говорит.

РОМАН РЫБАЛЬЧЕНКО: Я пока не соглашусь, что автоматические алгоритмы всегда работают лучше. Очень часто ручные алгоритмы или прикручивание автоматики, есть ли достаточно данных на вход и достаточно опытные люди этим занимаются, то все-таки они работают в среднем лучше. Для малого бизнеса, наверное, автоматика будет работать лучше, чем плохой PPC-шник, который это руками делает или лениво делает. Для среднего и крупного, мне кажется, что автоматика далеко не всегда пока выигрывает, даже с учетом того, что много данных. Но, да, глобально, если вы хотите быть конкурентоспособными, надо лезть в то, что в голове у потребителя, и какими инструментами вы это будете делать, это, там, их масса. Это могут быть чаты, Exit Popup’ы, исследования, как это делает Mailchimp, карты кликов и так далее.

ВОПРОС ИЗ ЗАЛА: Ну вот смотрите, я как раз представитель среднего бизнеса, потому что у нас запущено, могу сказать, что не сравнить нам с автоматическими компаниями гугла.

РОМАН РЫБАЛЬЧЕНКО: Вопрос вашего execution’а. Ну, т.е. мы, например, в агентстве Roman.ua не любим автоматику, потому что в большинстве случаев мы руками настраиваем лучше, чем работает автоматика.

ВОПРОС ИЗ ЗАЛА: Ну сейчас запустился шопинг и мы используем смарт-шопинг, который нам генерирует конверсионный трафик за 42 копейки.

ЕЛЕНА СМИРНОВА: Можно я…

ВОПРОС ИЗ ЗАЛА: Добиться результат вручную нереально тяжело. И мне кажеться, что из года в год Гугл будет усложнять

РОМАН РЫБАЛЬЧЕНКО: Там надо анализировать. Там может быть и брендованный трафик и все остальное.

ЕЛЕНА СМИРНОВА: Да, насчет смарт-шоппинга хотела тоже сказать. Мы тоже запустили шоппинг GoalOptimize и когда мы начали пытаться посмотреть, что там под капотом, то оказалось, что там очень много ремаркетингого трафика, который вы, скорее всего, выкупаете или выкупали бы через другие кампании.

РОМАН РЫБАЛЬЧЕНКО: Или пользователь так бы купил, но теперь они атрибуцировали это на себя.

ЕЛЕНА СМИРНОВА: Да, совершенно верно. Да, они работают классно, потому что, скорее всего, Google ищет те места, в которых пользователь именно сейчас готов воспринять рекламу, именно вот этот пользователь. Она показывается также в Gmail. Она показывается в YouTube. То есть это большая сеть… ну, КМС там очень сильно задействована. Там того шоппинга не такой большой процесс самого шоппинга. Мы пытались спросить у команды Гугла, вот как нам посмотреть конкретно, сколько показов, кликов мы получили с КМС. Вы думаете, нам кто-то ответил?

РОМАН РЫБАЛЬЧЕНКО: Или сколько бы из этих людей и так, и так купили бы, без…

ЕЛЕНА СМИРНОВА: Это реально черный ящик.

РОМАН РЫБАЛЬЧЕНКО: В каких случаях они просто своровали куку, перезаписав это за собой.

ЕЛЕНА СМИРНОВА: Да, а потом говорят: «У нас такая классная оптимизация. Она работает». То есть если вам комфортно работать в этой парадигме, пожалуйста, и мы тоже, мы с удовольствием используем Smart Goals, мы просто сделали проще. Мы увидели, что ремаркетинговые кампании, которые мы напрямую делали, даже динамические, работали хуже, мы их выключили. Все, мы дали все на откуп Smart Shopping’у и он себе работает и все довольны. Для нас это было выгоднее. У вас ситуация может быть другая. Вам может быть наоборот выгоднее разделить отдельно Google Shopping, отдельно ремаркетинг, отдельно Gmail-кампании, но это явно сложнее. То есть если у вас цель сэкономить время, то работайте по простому варианту, тестируйте.
И еще есть Google Рекомендации, появилась сейчас такая вкладочка. Она тоже местами полезная. Она стала гораздо лучше, чем была раньше. Там, где была просто основной рекомендацией — потратьте больше денег. Сейчас она, конечно, более умная. Местами даже просит, там, снизить ставки.

РОМАН РЫБАЛЬЧЕНКО: Местами потратьте больше денег предлагают менеджеры рекламных систем.

ЕЛЕНА СМИРНОВА: Да, но по прежнему без вмешательства человека она ничего не стоит.

РОМАН РЫБАЛЬЧЕНКО: Она опасна. Можно потратить тысячи долларов просто в квартал, применив все.

ЕЛЕНА СМИРНОВА: Потому что какие-то аномалии, да, сезонные аномалии, там, типа, слова с ошибками либо слова конкурентов.

РОМАН РЫБАЛЬЧЕНКО: Я видел как собственники применяют эти рекомендации, тысячи долларов в квартал потрачены…

ЕЛЕНА СМИРНОВА: А потом ты сидишь и откатываешь все, да.

РОМАН РЫБАЛЬЧЕНКО: …хотя раньше тратилось сильно меньше и работало сильно лучше. Я предлагаю продолжить это обсуждение на фуршете, потому что мы уже совсем по времени затянули.

АНДРЕЙ ЧОРНЫЙ: 30 секунд, 25.

РОМАН РЫБАЛЬЧЕНКО: Давай, 25, включите отчет.

АНДРЕЙ ЧОРНЫЙ: Если посмотреть на рекламные кампании гугл, то ясно гугл хочет заработать. UX анализ автоматические, та нет. Нет что анализировать, каждый бизнес отличается. Мы это видим на картах кликов, на больших объемах кликов, и их нельзя все использовать автоматично для будь-какого бизнеса.

РОМАН РЫБАЛЬЧЕНКО: Да будут просто автоматические сайты для малого бизнеса.

РОМАН РЫБАЛЬЧЕНКО: …будет, там, тестировать размещение этих блоков сам.

АНДРЕЙ ЧОРНЫЙ: …если много каналов трафика, это нереально принимать решения автоматически.

ДМИТРИЙ ОСИЮК: И еще буквально минутка. Я просто хотел сказать по поводу автоматизации и маркетинга.

ДМИТРИЙ ОСИЮК: Первая штука. А кто будет отдавать данные в рекламную систему для того, чтобы она автоматически работала лучше? То есть я говорил за то, что человек-аналитик должен уметь тюнить то, то ему как бы делает автоматическая система. Если говорить за автоматическую рекламу, да, то стопудово надо будет уметь настроить обмен данными между вашим сайтом и этой маркетинговой системой, чтобы она лучше подбирала рекламу.

РОМАН РЫБАЛЬЧЕНКО: И соблюсти свои интересы.

ДМИТРИЙ ОСИЮК: Да. А вторая штука, что по поводу UX-аналитики, да, и будущего его. Ну, давайте тогда будем откровенными. Если полностью маркетинг будет автоматическим, то и сайты будут полностью динамическими, которые будут подстраиваться под каждого юзера конкретного, да, т.е. если говорить за UX, который есть сейчас, это мы делаем один сайт для всех, но тогда, когда будет маркетинг полностью автоматический, я думаю, что и сайты будут тоже автоматически за счет Machine Learning выбирать самую удачную комбинацию размещения блоков, функционала и так далее.

АНДРЕЙ ЧОРНЫЙ: И тогда придет один дядя и купит все.

ДМИТРИЙ ОСИЮК: Мы же говорим за полную автоматизацию маркетинга. Так вот я считаю, что это произойдет одновременно с полной автоматизацией UX.

РОМАН РЫБАЛЬЧЕНКО: Джефф Безос раньше говорил, что если у вас оффлайн — у вас один для миллионов пользователей, если у вас онлайн — у вас миллион видов для каждого пользователя. И, соответственно, просто крупные игроки будут сами проводить эти автоматизированные тесты и даже не привлекая тебя, если у тебя микросайт на Prom, или на Wix, или на eBay или еще где-то. Это уже делают… делают, там, на eBay, Amazon, просто тебе надо завести товар и все дальше Amazon без тебя сделает.
Я хотел бы подарить книгу за вопрос про модели атрибуции, потому что это очень частый вопрос и он по-прежнему актуален, — когда переходить от Last Non-Direct и вообще стоит ли переходить, — т.е. это горячий вопрос, все хотят изучать, как оно все устроено, загружать по API эти данные из Google Analytics или не из Google Analytics, а очень часто бизнесу это там и не обязательно нужно.
Давайте уже все переместимся на фуршет и там продолжим. Спасибо, что были с нами сегодня.