Как получить 500 фидбэков за день — по стартапу, сайту, или фоткам для Тиндера

Эта статья о том, как быть ближе к реальности.

(Или реже улетать в космос.)

Поэтому мы поговорим о двух вещах:

1. Как получать фидбэк от сотен людей практически по любой теме.
2. Как это делать быстро и дешево.

Герой сегодняшней статьи — астронавт-ленивец:

Астронавт-ленивец — это символ отрыва от реальности. Астронавт-ленивец символизирует не только отсутствие связи с Хьюстоном, но и нежелание выходить на связь с Хьюстоном в принципе. Он же ленивец.

Но к ленивцам мы еще вернемся.

А пока о фидбэках — на наглядном примере.

Кейс #1: Получить фидбэк по стартапу

Роберт Моррис — фаундер стартапа KoKo. Он закончил Принстон и получил PhD в Мичиганском Университете, но вместо науки его тянуло к стартапам — как никак, его детство прошло в Силиконовой Долине, в нескольких кварталах от гаража где Стив Джобс запускал Apple.

И так сложилось, что в рамках подготовки диссертации в MIT Роберт запустил KoKo. Суть KoKo: это как Фейсбук, но только с депрессивным контентом. В этой социальной сети можно жаловаться на что угодно — и получать моральную поддержку от незнакомых людей.

Промок под дождем, поругался с подругой, потерял работу, или просто грустишь — пишешь туда, и через несколько минут тебе приходят первые сообщения.

И вот что важно: тебя не просто утешают, но и показывают новый ракурс на проблему: “Потерял работу? Возможно, ты не так уж ее и любил. Любимую работу обычно не теряют”. И благодаря рациональному взгляду со стороны тебя немного отпускает.

I can definitely relate to the first one

Сервис понравился пользователям. Более миллиона человек так или иначе им воспользовались. Union Square Ventures инвестировали $2.5М в KoKo на Series A. В 2018 году их выкупил Airbnb — но не для развития социальной сети, а чтобы использовать их технологию на основе машинного обучения по анализу текстов. Поэтому, увы, депрессивный Фейсбук прекратил существование. И несмотря на закрытие сервиса, это все равно очень успешный кейс — в лучших традициях Долины.

Истории успеха вроде этой скрывают важную истину: в начале пути вообще не очевидно, будет ли продукт пользоваться спросом. И в случае с KoKo это тоже был большой вопрос.

Например, было непонятно: готовы ли пользователи регулярно выступать в роли “терапевтов” — бесплатно, или, хотя бы, за минимальное вознаграждение. Роберт опасался, что добровольцев не найдется.

Но чтобы не витать в космосе и узнать это наверняка — нужен фидбэк от реальных людей. Поэтому Роберт запустил опрос на Amazon MTurk.

Вопрос от астронавта-ленивца:

— А что такое Amazon MTurk?

Ответ:

— Amazon MTurk — это своего рода фриланс-биржа, где можно создавать простые задачи для большого количества исполнителей. Российский аналог — Яндекс.Толока.

Многие компании используют сервис для примитивных задач — например, разметить десятки тысяч картинок, чтобы потом обучать с их помощью нейронную сеть.

Мы в BulletPoint VC используем Amazon MTurk для опросов для стартапов. Там можно проводить опросы на любые аудитории — на тысячи, или даже десятки тысяч человек.

За задания можно назначать любое вознаграждение. Мы платили по $0.2 за прохождение 10-минутного опроса.

Роберт создал на Amazon MTurk задание: “отвечать на депрессивные посты в KoKo”, и за каждый ответ он платил несколько центов. В задании он разместил ссылку на сырой прототип соцсети.

К удивлению Роберта, сотни фрилансеров взялись за задачу бодро и с большим усердием. Более того, они стали спрашивать: “могу ли я делать эту задачу регулярно?”. Некоторые фрилансеры сказали что они хотят это делать бесплатно — и стали самыми лояльными пользователями KoKo.

Благодаря этому фидбэку Роберту стало понятно: люди готовы морально помогать незнакомцам, и более того — они рады это делать бесплатно.

Но могло бы сложиться наоборот. И “наоборот” — это норма в мире стартапов. Если бы фидбэк был негативным, то Роберт бы понял, что никому не нужен депрессивный Фейсбук. И тогда бы он нажал на стоп-кран, и сэкономил бы кучу времени и денег.

Увы, тысячи стартапов затопили рынок никому не нужными продуктами и сгорели в стратосфере — и все потому, что их основатели не получили вовремя негативный фидбэк. Они лихо проскочили этап проверки гипотез — и разу стали пилить код финальной версии.

А потом наступает день запуска:

We’re ready to lunch

Вот так делать, конечно, не стоит. Лучше все же получить фидбэк на ранних этапах — тогда риск будет адекватным.

Ниже — пошаговая инструкция о проведении опроса на MTurk. Мы ей следуем, когда делаем подобные опросы для клиентов BulletPoint VC:

1. Создать опрос. Лучше всего подойдут Typeform или SurveyMonkey.
2. Показать в опросе будущий продукт. В начале опроса нужно разместить мокапы, либо ссылку на интерактивный прототип. Если возможно — то ссылку на сырую, но настоящую версию продукта. Тут уже зависит от стадии проекта.
3. Рассказать о продукте. Несколько тезисов о функционале и решении проблем клиента.
4. Написать вопросы. Цель: получить честное мнение от целевой аудитории. Последний вопрос можно сделать таким: “Если вам интересен наш продукт — оставьте свой email, и мы напишем вам о его запуске”. И тогда вы сможете посчитать конверсию из опросов в мейлы — тоже полезная составляющая обратной связи. Правильнее всего выуживать из людей опасения и негативный фидбэк, а к позитивным отзывам относиться осторожно — тогда от опроса будет польза.
5. Опубликовать на Amazon MTurk. Создаете задание — “Complete the survey”. Пишите, что это займет 5 минут — и предлагаете 10 центов за ответ. Опрашиваете таким образом 1000 человек за 100 долларов.

Результат: фидбэк от 1000 людей. Где-то половина из них будут боты или халтурщики. От оставшихся 500 вы получите вполне валидные комментарии, и потратите в сумме не больше $50.

Вопрос от астронавта-ленивца:

— Но разве есть польза от фидбэка фрилансеров? И не будет ли это смещенная выборка?

Ответ:

— Если у вас B2C продукт — все в порядке. Можно ввести таргетинг по уровню дохода, роду деятельности, возрасту, образованию, стране, и даже конкретному штату где живет фрилансер.

Для еще более глубокого таргетинга можно обозначить ограничение (например: “проходите опрос только если у вас есть домашний ленивец”) в заголовке задания, и дополнительно верифицировать релевантность участника (попросить загрузить фото с питомцем). Вы сами формируете свою выборку — но важно понимать, что дополнительные условия таргетинга повышает стоимость опроса.

А о средней демографии MTurk можно прочитать в исследованиях.

С B2B-продуктами сложнее — даже с глубоким таргетингом вы вряд ли найдете релевантных людей на MTurk. Про опросы для B2B-продуктов будет отдельный пост.

Сейчас я покажу пример фидбэков, которые мы получили от фрилансеров MTurk на проект нашего клиента.

Продукт клиента — многопользовательская онлайн-игра. У игры уже был проработанный концепт — но результаты опроса привели к нескольким существенным изменениям в первоначальной задумке.

Например, скорее всего наш клиент будут перерабатывать графический движок — слишком много респондентов негодовали из-за графики:

• • If these characters are the graphics, I’m not really on board. I definitely wouldn’t play a game with characters like this. They’re very uncanny valley, and I think games are expected to be either better than this or to have learned to stylize enough to avoid it.
• • I dislike how cheesy the graphics are. It’s hard to play and stay interested when they are so unrealistic.
• • Design should be changed. The designing must be attractive and looks good. Because appearance is most important while play the game. Without good appearance it is difficult to play the game.

Также фаундеры приняли решение упростить фичу с возможностью построения своего бизнеса в игре. Изначально на ней был значительный акцент. Но вот что об этом думают люди:

• • I would imagine the business aspect of it would become boring quickly.
• • The main element that is missing is fun; enjoyment. I can’t really find any part of this game I believe I’d like. I dislike the concept a lot. People play games to be taken away from reality. This game is too much like everyday work type reality.
• • It doesn’t sound very fun. It’s just an economy simulation with a VR chat room. It’s just not my thing.

Ну и так далее.

Причем вот что важно: до получения реального фидбэка разработчики не видели этих проблем. Или, по крайней мере, сильно их недооценивали.

И так в любом стартапе.

Кейс #2: получить фидбэк по сайту

В 2016 году я собрал сайт BulletPoint VC — из палок и прочих субстанций:

И мне, вот честно, казалось что он норм.

Но спустя три года у меня появился партнер по бизнесу. И он довольно быстро до меня донес, что сайт все-таки не очень. Чтобы понять, стоит ли затевать капитальный ремонт, мы с партнером запустили опрос — на моем любимом Amazon MTurk.

В опросе мы показали скриншоты с сайта — и задали следующие вопросы:

1. Насколько эта компания вызывает доверие?
2. Насколько профессиональна эта компания?
3. Насколько дорогие услуги этой компании?
4. Насколько вероятно, что они решат проблему клиента?
5. Насколько хорош дизайн их сайта?
6. Насколько информативны первые два экрана сайта?
7. Назовите три ассоциации, которые приходят в голову при взгляде на сайт.
8. Как вы поняли по сайту — какие услуги оказывает эта компания?

И мы провели несколько таких опросов: по нашему сайту, и по сайтам конкурентов. Благодаря конкурентам у нас была база для сравнения.

Результаты были неожиданными.

Вот, например, что мы увидели по вопросу #3:

По сравнению с другими компаниями нас оценивали как довольно дешевых чуваков. А мы же наоборот — играем в премиум-сегменте, поэтому это было плохой новостью.

Как оказалось, преобладающий желтый цвет на сайте вызывал ассоциации с чем-то дешевым. И, вероятно, из-за этого к нам приходили лиды из Индии — с запросами “сделайте нам питч-дек за $50”.

А по вопросу #8 — “какие услуги оказывает эта компания?” — был самый отрезвляющий фидбэк. Выяснилось, что 57% посетителей вообще не понимали, о чем наш бизнес.

Мы вроде как делаем питч-деки для стартапов. Но вот какие выводы были у респондентов:

• • Financial advice
• • Services to help invest
• • By helping its clients through investing in various market
• • Investing advice
• • MONEY MANAGEMENT
• • Investments in various types of portfolios
• • И так далее.

Оказывается, все три года я был в космосе. И продавал инвестиционные услуги с финансовым консалтингом — а не питч-деки.

И да, делал я это по ценнику гораздо ниже чем конкуренты.

В дальнейшем мы собирали фидбэки через MTurk еще не раз — например, когда тестировали логотип и концепты дизайна нового сайта. И почти каждый раз мы узнавали что-то новое.

Метод такого сбора фидбэков помогает еще и объективно оценивать работу фрилансеров.

Нарисовали, например, вам фирменный стиль #1:

И фирменный стиль #2:

Как понять, какой из них лучше?

А с фидбэком от сотен людей проблема решается сама собой. Вы получаете статистически значимый результат — и на выходе у вас сразу появляются конкретные правки к дизайнеру.

Например, мы делали попарные сравнения нашего логотипа с логотипами других компаний. Из забавного — галка, нарисованная в фотошопе за 10 минут, оказалась по всем параметрам лучше логотипа Accenture (и наверное они потратили на него чуть больше времени и денег). Из менее забавного — наш логотип набрал очень низкий балл по вопросу “How visible this logo would be in the market?”.

В общем, узнаешь много неожиданного для себя.

И возвращаешься из космоса на Землю.

Примерно так можно использовать фидбэки в бизнесе.

Теперь — о том, как собирать и применять фидбэки в повседневной жизни. Поговорим о самом важном:

Кейс #3: Получить фидбэк по фоткам для Тиндера

На самом деле тут будет не только про Тиндер, но и про фидбэк на фотографии в целом — для Фейсбука и Линкедина.

Например, у вас есть две фотографии — как понять, какую из них ставить на аватарку?

Сложность в том, в этой дилемме мы максимально предвзяты. Как и со стартапами, у нас искаженный взгляд — мы видим себя не так, как видят другие. И из-за этого, как правило, выбираем не самые удачные фото.

Есть масса исследований, которые это подтверждают — но конкретно этот эксперимент будет наилучшей иллюстрацией.

В нем участвовало 102 студента. Эти студентам надо было выбрать лучшего и худшего кандидата для аватарки из своих собственных 12 фотографий: для Фейсбука, Линкедина, и дэйтинговых сайтов. В сумме получилось 1224 фотографии.

Вот пример фотографий одной из студенток:

Потом эти же фотографии оценили другие люди — 160 фрилансеров с M-Turk.

И вот результат: предпочтения людей со стороны не совпали с предпочтениями студентов.

Например, девушка из примера выше хотела поставить эту фотографию в Линкедин:

Но большинство людей посчитали, что лучшая фотография будет эта:

А вот парень выбирал между своими фотографиями для сайта знакомств:

Ему больше всего нравилась фотка внизу справа, но в голосовании она получила очень низкие рейтинги. Гораздо лучше оценили вторую фотографию в верхнем ряду — она стала лидером.

Почитав это исследование и другие, я перестал доверять своим предпочтениям, и теперь тестирую фотографии на Photofeeler.

Там можно проводить голосования по своим фотографиям в одной из трех категориях, в каждой из которых есть три разных критерия, по которым оценивают фото:

1. Социальные фотографии
   • • Confident
   • • Authentic
   • • Fun
2. Деловые фотографии
   • • Competent
   • • Likable
   • • Influential
3. Дэйтинговые фотографии
   • • Smart
   • • Trustworthy
   • • Attractive

Вот, например, как выглядит это голосование изнутри в категории Social:

Вот как выглядят результаты по трем разным фото в категории Dating:

Если тестировать много разных фоток — можно увидеть, как даже небольшие изменения оказывают сильный эффект на восприятие фото со стороны.

Кстати, в блоге Photofeeler есть куча статей на тему того, как можно влиять на эти параметры. Они анализируют десятки тысяч фотографий и ищут причинно-следственные связи: например, как влияют очки на показатель “Competent”? Предсказуемо — увеличивают (в среднем на +26%). Но без улыбки проседают все показатели сразу (-22% Competent, -80% Likable, -23% Influential).

Солнцезащитные очки, например, почти всегда идут в минус:

Неожиданно позитивный эффект от легкого прищура:

Видео о том, почему прищур — это важно:

Пиджак в Линкедине решает:

В общем, залипать в эти мини-инсайты можно бесконечно. Рекомендую почитать блог Photofeeler — и попробовать эти рекомендации на практике.

Я использую Photofeeler не для того, чтобы выбрать лучшую фотку для аватарки — а скорее для того, чтобы выкинуть изначально плохие фотографии, которые мне по каким-то причинам кажутся офигенными.

Например, эта фотка из руфтоп-бара в Хошимине мне казалось лучшей — но она провалилась в Photofeeler, и, предсказуемо, набрала супер-мало лайков в Тиндере:

Надо было снять очки и одеть пиджак.

Фидбэк, конечно, это не серебряная пуля. Если задать неправильные вопросы — он уведет не туда.

Например, вопрос “купили бы вы наш продукт?” может дать ложную уверенность — люди ответят “да, я бы купил”, но когда дело дойдет, собственно, до дела, многие поменяют свою точку зрения. Так бывает часто, поэтому любые позитивные фидбэки надо делить на два, а то и на три.

Думаю, правильнее всего использовать фидбэк для выявления рисков — а потом уже решать, реагировать ли на негативный фидбэк, или нет.

В целом — полезно тестировать все, где мы предвзяты.

Есть риск влюбиться в свой стартап, и месяцами пилить никому не нужные фичи.

Есть риск привязаться к своему сайту, и терять лидов из-за очевидных косяков.

С фоточками, правда, рисков никаких — но все равно неприятно узнавать пост-фактум, что ты почему-то выглядишь высокомерно на этой фотографии. Хотя простой опрос подсветил бы это моментально:

Кстати, как вы уже наверное поняли, я большой фанат ленивцев. Я настолько ими увлекся, что они мне стали сниться по ночам.

Сегодня мне приснилось, что мы запустили первого ленивца в космос. И если честно — мне кажется это гениальной идеей. Вот Илон Маск, например, запустил машину в космос — и это было безусловно круто, и это нас всех вдохновило, но… часто ли вы думаете об этой машине?

А вот если Илон Маск запустит в космос астронавта-ленивца — 100% населения Земли будут думать об освоении космоса каждый день. Люди будут просыпаться каждое утро с осознанием того, что где-то на орбите летает ленивец. Я бы очень хотел жить в таком мире.

Да и ленивцу там будет отлично. Он достигнет максимального уровня чилла — сейчас ему приходится бороться с силой гравитации каждый день, а в космосе гравитации нет.

В общем, когда я однажды встречу Илона Маска, я знаю какая у меня будет первая фраза.

P.S. случайно выяснил, что не только я об этом мечтаю (в подписях к видео — комментарии на Ютубе):

Annnnnnd this song will be in my head all day.

it is as if every moment in my life has been leading up to this magnificent moment

One small step for man… One long nap for Sloth-Kind…

Главное не переходите потом по рекомендациям к видео — попадете в Youtube Sloth-Spiral минимум на два часа.