Главная » Статьи » Статьи » Холдинг » Идеальное тестовое для продакта: самые популярные вопросы при найме
Идеальное тестовое для продакта: самые популярные вопросы при найме
18.08.2020
У меня есть на руках множество тестовых из самых топовых компаний рунета. Что дальше?
Дальше можно было бы углубиться в то, какие качества требуются от продакта. Однако я не хочу. Есть прекрасная от Егора Руди, и в целом я с ней согласен. Ее можно брать и использовать в работе. Но одно дело теория, а другое дело посмотреть, кого же компании ищут на самом деле. На самом деле — значит именно эти качества пытаются отобрать на скрининге. В тестовых и в собеседованиях. Собеседования идут по софт-скиллам и там дофига вопросов, поэтому их анализ дается сложновато. Ну то есть я тоже их собирал и компилировал опросники, но это пока готово сугубо для внутреннего пользования, то есть для меня.
А вот с тестовыми все оказалось намного понятнее, вопросы быстро начали повторяться, и сегодня я с вами смогу поделиться выводами.
Это будет не статистика (доверительные интервалы, размер выборки и так далее идет нафиг, ибо столько данных нету).
Далее я приведу самые популярные вопросы в тестовых заданиях для продакта с моими комментариями. Бонусом — идеальное тестовое, которое включает их все. Пойдем по частоте встречаемости. Наверху — самые популярные. Сами вопросы я перефразировал так, чтобы выделить среди них основную суть.
Погнали!
Номер один. Составление бэклога
Оно же:
Предложите способы вырастить метрику X?
Придумайте фичи и приоритизируйте бэклог.
Как улучшить продукт Y?
Логично.
Продакту нужно бы знать, что делать с продуктом. Его в общем-то для этого нанимают и хочется, чтобы он делал именно ту дичь, которую от него ожидают. Кстати, совпадение с ожиданиям это важно, ибо критерии оценки у разных компаний могут быть диаметрально противоположны, хотя здесь и есть какие-то общие тенденции.
Этот вопрос так или иначе встречается чуть ли не в каждом задании.
Что стоит отметить. Компании очень любят спрашивать в тестовых про себя любимых. Я считаю, что это антипаттерн. Он сильно ограничивает кандидата по сравнению с проверяющим по количеству априорных знаний о продукте.
В итоге тестовые превращаются не в проверку аналитических скиллов, а в «угадай, над чем мы прямо сейчас ломаем голову». Вдобавок, кандидаты не любят такое делать, ибо думают, что вы украдете у них идеи (это, конечно, бред, но это понимают только те, кто уже прочитал пару сотен тестовых с одними и теми же идеями).
Поэтому советы по данному вопросу следующие:
Кандидатам: тренируйтесь составлять бэклоги и придумывать, что нужно сделать в продукте X, отталкиваясь от метрик.
Нанимающим: перефразируйте кейс на синтетическую компанию, или какую-то компанию с рынка, но не вашу. Вам важно не знать о проблеме слишком много специфической информации. Только так вы сможете корректно оценить уровень мышления кандидата, а не просто случайное совпадение того, что он знает с тем, что знаете вы. Например, в моих задачах уже давно нет ни слова про мою компанию, и это только помогает мне скринить.
Номер два. Выбор метрик
(На самом деле номер один и два крайне близки по частоте встречаемости. Под вторым номером тоже крайне популярный вопрос)
Оно же:
Выберите метрики, с помощью которых мы поймем, что продукт X (хороший/плохой/какой вообще?)
На какие метрики вы будете смотреть, составляя бэклог?
Про метрики.
Все с ума посходили с этими метриками. Скоро как мантры будут видимо читать. Произнесите протяжно:
CAC LTV LTV NPээээээS
CAC LTV LTV NPээээээS
Похоже на продуктовый ом-мани-падме-хум. И каждый монах должен эти мантры знать и работать с ними в меру своего разумения. И это будет модной темой на скрининге до тех пор, пока кандидаты не перестанут в этом плавать (а они все не перестают).
Кстати, я считаю, что это правильно (ха-ха, да, я туда же). Ну просто работа в терминах метрик это самый простой способ начать задавать себе вопрос «а на хрена мы это вообще делаем?», а значит и находить другие варианты действия, а не только те, которые сходу пришли в голову.
Совет кандидатам: умейте рассказать о своем продукте, о чужом продукте, о своей семье и о своей собаке в терминах метрик. И я не шучу про собаку, это реальный вопрос с собеседования. Тренируйтесь, на деле это достаточно простой навык.
Нанимающим: попробуйте задавать тот же вопрос с подковыркой. Первое, что делает кандидат, когда видит такой вопрос — лезет в гугл, забивает туда «какие метрики бывают у продукта», и начинает про них что-нибудь умно рассказывать.
Перефразируйте это так, чтобы нужно было включать мозг. Например, задайте вопрос: «В продукте X измеряется NPS. Последний месяц он понизился на Y%. Какие могут быть причины? Выпишите гипотезы, как нам его увеличить? Можете ли вы сказать, как с этим связано изменение churn? Предложите дополнительные метрики, на которые нужно обратить внимание в этом случае?». Короче, заставьте кандидата поломать голову.
В общем, это вопрос из той эпохи, когда то, что сейчас называется продакт-менеджментом, было просто куском маркетинга.
Продакту конечно крайне необходимо это все знать и уметь, поэтому вопрос годный. Но есть и минус — высокая сложность выполнения. На кривой козе к анализу рынка не подъедешь и за пару часов не сделаешь. В итоге кандидаты вынуждены делать крайне поверхностный анализ в стиле «ничего обо всем».
Самые умные кандидаты в этом случае делают поверхностный обзор по всему спектру проблем, при этом отдельно углубляются в какую-то частную проблему, давая понять, что они могли бы покопать и глубже, будь у них время.
Из этого и рождается первый совет.
Нанимающим: проблемой для нанимающего менеджера является то, что каждый из успешных испытуемых в этом случае углубляется в что-то свое, таким образом их становится сложно сравнить между собой.
Поэтому совет следующий — прикидывайте по времени, сколько должно занять выполнение задания и прямо пишите, какую тему вы бы хотели раскрыть подробнее.
Кандидатам: при анализе рынков всегда вспоминайте конечные пользовательские метрики и думайте о конкуренции именно в их контексте. См. предыдущий вопрос. Так, например, вы обнаружите, что ближайшие конкуренты Netflix это соцсети и сон, а вовсе даже не обязательно кинотеатры.
Не забывайте, что многие продукты имеют сложную бизнес-модель и разные категории участников, у которых есть разные интересы. Так, простейший пример про Фейсбук. Его истиными клиентами являются рекламодатели, а пользователи и их внимание по сути товар, который предлагается им к покупке.
И работа происходит на двух разных рынках — рынке привлечения внимания пользователей и рынке продажи рекламы. Или Skyeng — это рынок услуг для клиентов и одновременно рынок работы для преподавателей. Ваш анализ рынка обязан учитывать наличие таких нюансов.
Номер четыре. Проектирование MVP
Оно же:
Как проверить востребованность продукта X на рынке?
Напишите ТЗ для проверки гипотезы.
Опишите эксперимент
Как бы вы реализовали фичу Y?
Лично я считаю этот тип заданий самым важным для уровня джун-мидл. На этом уровне обычно вам еще говорят, что нужно делать, поэтому высокие материи про метрики и позиционирование в реальности уходят на второй план, хотя про них и любят спрашивать. Зато от вас ждут предложений нормальных решений.
— Мышки, станьте ежиками
— Сова, но как?
— Мое дело стратегия...
Данное задание показывает то, как кандидат умеет связать теоретические построения в голове с осязаемым результатом на выходе. Продакт может сколько угодно ходить на митинги и выражаться красивыми словами, но если из-под него не выходит документации и других реальных артефактов, то он идет лесом :)
Проверяют:
Соответствие достижения заявленной цели (в задании построить подводную лодку не нужно проектировать самолет).
Умение отделить главное от второстепенного.
Бережное отношение к ресурсам.
Вменяемость UX для пользователя.
Понятность для разработчиков.
Понимание того, как будут делаться выводы об успешности изменения/эксперимента..
Советы кандидатам: не пренебрегайте картинками и макетами. Они делают любую документацию в 10 раз понятнее. Объясняйте ход своих мыслей в комментариях или сносках. Ценится логичность и последовательность рассуждений, а не только итоговая правильность.
Нанимающим: В данном задании проверяются практические навыки кандидата, а не стратегический вижен. Поэтому старайтесь сужать формулировку задания. Например, вместо предложения перепроектировать всю воронку, предложите улучшить один экран или кейс. Так вам будет намного проще сравнивать кандидатов между собой.
Пятый вопрос?
А пятого нет. Дальше повторяемость исчезает и начинают идти различные вопросы, которые не складываются в какую-либо четкую систему. Они есть почти у каждой компании, при этом у каждой свои и не встречаются у других.
Это могут быть вопросы типа «что такое идеальный продукт?» Или задачки из разряда «есть два эксперимента, какой сам сделаешь а какой коллеге предложишь?»
В общем, всякая всячина, поэтому сильно рассматривать ее не будем.
Следует помнить, что чем более странный и нетипичный вопрос попался в тестовом, тем более сложно отскринить по нему кандидатов. До такой степени, что проверяющий может перестать рассматривать этот вопрос при оценке. Это я могу сказать по собственному опыту задавания странных вопросов :)
Поэтому первоочередное внимание обращайте на топ вопросов из списка. Вот их оценивать будут пристально.
Итого, мы рассмотрели основные типы вопросов, встречающихся в тестовых заданиях для продакт-менеджеров. Я их кратко прокомментировал.
И чтобы подвести точку, хочу представить вам ноу-хау!
Шаблон тестового задания для продакта, включающее все четыре самых популярных вопроса от гигантов индустрии
Подставив в этот шаблон значения по вкусу, вы можете использовать его как скрининг для своих вакансий:
Кратко проанализируйте рыночное положение продукта [X]. Опишите подробнее: [сегменты пользователей/конкурентов/стратегию продвижения/whatewer]
Какие метрики бы вы развивали в этом продукте? Чем бы вы занялись в первую очередь? Аргументируйте.
В вашей зоне ответственности метрика [Y]. Проанализируйте гипотезы, как можно ее улучшить? Выполните приоритизацию? Какую бы из них вы брали в работу в первую очередь?
Ваш руководитель хочет провести эксперимент по проверке гипотезы [Z]. Предложите план эксперимента, составьте техническое задание для его реализации (реализацию представить в формате [удобный вам формат]).
Ремарка для составителей тестовых. Обратите внимание, что на каждом шаге я НЕ предлагаю использовать результаты предыдущего шага, а задаю условия заранее. Так ошибки кандидатов на предыдущих шагах не будут мешать объективно воспринимать их результаты на следующем шаге
