Структура принятия решений, которые вы создаете для своей команды или организации, будет иметь решающее значение для ее успеха или неудачи. В эпоху Интернета данные стали ключевой частью структуры принятия решений в компаниях. И, по праву, так. Данные основаны на реальности - на том, что происходит на самом деле. И ваши решения должны быть основаны на реальности и фактах в максимально возможной степени. Однако то, как вы используете данные в своих решениях, также имеет значение. И это может иметь долгосрочное влияние на качество продукта, который вы разрабатываете.

Data-Driven против Data-Informed

Иногда люди думают, что разница между Data-driven (основанный на данных) и Data-informed (действующий с учетом данных) подобна potayto potahto. Некоторые организации называют себя приверженцами Data-driven, другие называют себя Data-informed. Для многих это означает одно и то же.

Хотя разница между этими условиями может показаться тонкой, в зависимости от того, какую культуру принятия решений вы настроили в своей организации, она может иметь долгосрочные последствия для вашего продукта и траектории вашей организации.

Чтобы понять, в чем разница между Data-driven и Data-informed , мы рассмотрим пример. Скажем, вы издатель новостей, и вы решаете, как создавать заголовки своих новостных сообщений. Вы попробуете несколько разных вариантов и обнаружите, что тот, у кого есть завлекающее название, получает наибольшее количество кликов.

Принятие решений, управляемых данными: клики растут. Посещения (основной показатель для этого издателя) растут. Доход (с тех пор, как они запускают объявления CPM) растет. Здорово! Все наши ключевые показатели растут. Давайте отправим заголовки с кликабельными названиями.

Принятие решений по принципу информированности данными: все наши ключевые показатели растут. Это хорошо. Каковы счетчики? Показатель отказов вырос. Это не похоже на хороший опыт, если пользователи уходят. Что относительно долгосрочных показателей счетчика? Разве мы считаем, что кликабельные названия хороши для наших пользователей? Будет ли это негативно отразиться на нашем издательском бренде? Кстати, почему кликабельные заголовки работают? Контент, который вызывает любопытство пользователей, преуспевает. Вместо того, чтобы писать кликабельные заголовки, мы можем интегрировать это понимание в нашу стратегию контента. Напишите о тех темах, о которых люди интересуются, но могут не знать достаточно.

При принятии решений, основанных на данных, данные находятся в центре принятия решений. Это первичное (а иногда и единственное) понимание. Вы полагаетесь только на данные, чтобы выбрать лучший путь вперед. При принятии решений, основанных на информированности, данные являются ключевым фактором среди многих других переменных. Вы используете данные для более глубокого понимания того, какую ценность вы предоставляете своим пользователям.

Итак, можно спросить, что случилось с культурой, управляемой данными. Данные - неопровержимый источник истины. Вера в то, что данные неопровержимы, на самом деле является мифом. Есть несколько слепых пятен в данных, которые, если их не решить, могут привести к субоптимальным решениям. Посмотрите на риски, связанные с культурой, основанной на данных.

Мертвая зона культуры, управляемой данными

Когда вы применяете выводы из данных буквально

Допустим, вы разработчик игр, вы проводите анализ и обнаружили, что пользователи, которые получают уведомление, более активны. Вы говорите, давайте отправим больше уведомлений! Объем уведомлений увеличивается в приложении. Я получаю уведомление о новом игровом пакете, который я могу купить, мой друг, который получил новый уровень, и так далее. Отношение шума к сигналу увеличивается. Пользователи начинают игнорировать уведомления, даже высокоценные, которые вы отправили ранее, в конечном итоге отключив push, и в конечном итоге ваше игровое приложение станет одним из нескольких знаковых, но никогда не открываемых приложений на устройстве пользователя.

В культуре, основанной на информированности данными, вы пытаетесь понять поведение, стоящее за данными. Пользователи находят ценность в содержании, о котором они уведомляются, а не в самом уведомлении. Понимая, какие уведомления любят пользователи и почему они находят эти определенные уведомления ценными, вы сможете выяснить, как: а) как увеличить ценность, предоставляемое вашим приложением; б) если есть похожие события с высокой ценностью, за уведомления которых пользователи будут благодарны.

Когда данные, которые вы измеряете, фиксируют поведение не точно

Ведущие и отстающие показатели

Измерение правильных показателей имеет решающее значение для создания как культуры ориентированной на данные, так и основанной на информированности. Однако, когда вы сакрально относитесь к данным, вы, скорее всего, попадетесь на ошибку измерения показателя отставания. Допустим, что вы разработчик игр, ваш основной инструментальный показатель измерения здоровья вашего приложения - это ежедневные и ежемесячные активы и удержание. Вы создаете новую функцию. Были некоторые отзывы, что это изменение делает игру более сложной. Вы решаете, что результаты теста A / B должны помочь вам принять решение. Таким образом, вы запускаете тест A/B, не замечаете влияния на вышеуказанные показатели. Все хорошо, вы отправляете изменения.

Однако через некоторое время вы заметите, что уровень игровых уровней, достигнутый людьми, снизился, но DAU/MAU все еще стабильны. Ваше изменение увеличило сложность игры, поэтому пользователям сложно ориентироваться в игре. В течение следующих нескольких месяцев начинается отток пользователей, и именно тогда вы видите влияние на DAU/MAU. В этом случае достигнутые уровни игры были ведущим показателем (который вы не измеряли), DAU/MAU были отстающими индикаторами. К тому времени, когда вы увидите влияние DAU/MAU, слишком поздно остановить отторжение.

Влияние участия против объема

Иногда вы можете заметить положительное влияние на свои показатели и предположить, что это положительное изменение для всех пользователей. Фактически, небольшая группа опытных пользователей может смещать ваши результаты, и значительная часть ваших пользователей подвергается негативному воздействию.

Влияние контекста

Опять же, возьмем пример разработчика игры. Скажем, вы создаете магазин для игрового приложения. Витрина очень заметно размещена в вашем приложении, так что все ваши пользователи знают, что она существует. Вы измеряете воронку преобразования для витрины. Один из ваших сотрудников, который раньше был в электронной коммерции, говорит: “Воу, это намного меньше, чем мы видели там. Эта воронка сломана!“

Вот где имеет значение контекст. Ваша витрина занимает очень важное место в игровом приложении. Вы обеспечиваете функциональность в дополнение к играм, а не первичную ценность. Таким образом, ваша вершина воронки массивная, а также не слишком высокая. Но приложение электронной коммерции получает (с высоким намерением) пользователей, которые хотят что-то купить. Поэтому, если вы сравните последовательность конверсий в этих двух приложениях, это похоже на яблоки и апельсины. В этом случае вам нужно либо измерить верхнюю часть воронки на витрине таким образом, чтобы отфильтровывать трафик с низким намерением, либо сравнивать с другим приложением, которое обеспечивает аналогичную функциональность.

Когда у вас паралич из-за отсутствия данных

Иногда культура, основанная на данных, приводит к отношению: если мы не можем ее измерить, мы ее не будем строить. Без данных (или несовершенных данных) сложно определить, действительно ли есть проблема или нет. Зачастую решение в конечном итоге заключается в том, чтобы не решать его до тех пор, пока вы не сможете измерить эту возможность. Основополагающее мышление - это ваш друг в этот момент. Понимание основных блоков проблемы может помочь вам решить, какой путь движения вперед лучше, даже если у вас нет данных.

Когда тенденции меняются

Ранние тенденции редко проявляются в данных. Люди начинают замечать ранние тенденции раньше, чем они появляются в данных. Не стесняйтесь доверять своим продуктовым инстинктам. Если вы посмотрите на проблему с первопричины, возможное воздействие будет гораздо более очевидным, даже до того, как оно появится в данных. Это огромное слепое пятно для большинства крупных организаций, и это пространство, в котором процветают стартапы. Разрушение крупных организаций происходит, когда они игнорируют или не замечают ранних тенденций и вместо этого полагаются на существующие данные.

Когда вы перенаправляете продукт, руководствуясь данными

Иногда, когда у вас есть данные, которые легко доступны, легко начать микро-оптимизацию, не думая о конечных продуктах. Хотя на первый взгляд это может показаться обоснованным подходом (в конечном счете, вы управляете данными), чистый эффект от всех микрооптимизаций может быть отрицательным. И, иногда, это может занять некоторое время, чтобы увидеть влияние этого (см. выше пункт о измерении отстающих индикаторов). Пользовательская эмпатия, дизайн и смысл продукта всегда должны руководить вами, а также данными при решении проблем для ваших пользователей. Спросите, дает ли это решение ценность пользователям? Соответствует ли это их ментальной модели? Имеет ли это смысл для всей системы?

Но, как предотвратить субъективность культуры, основанной на информированности?

Для создания отличных продуктов требуется, чтобы вы хорошо поняли пользователя. Ваша цель в использовании данных должна быть в единственном стремлении к этому. Субъективность не плоха. Построение продукта по своей сути субъективно.Вот почему Twitter отличается от Facebook, WhatsApp отличается от Telegram. Каждый из этих продуктов обслуживает аналогичные варианты использования, и можно утверждать, также замечает много подобных поведений, но предпочитает интерпретировать их по-разному.

Но как масштабировать субъективность в организации? Хотя данные гораздо проще масштабировать, масштабирование культуры, основанной на информированности осуществить трудно, но не невозможно. Это может быть достигнуто за счет использования прочных процессов и принципов в структуре разработки продукта.

Как создать культуру Data-Informed?

• Понимать, какое поведение пользователя управляет показателем, не используйте показатель вслепую. Любой эксперимент должен иметь набор гипотез, в которых указывается, какое поведение пользователя может привести к перемещению показателя. Если возможно, подтвердите их с помощью дополнительных исследований пользователей.
• Спросите себя, измеряете ли вы правильные вещи? Является ли это ведущим индикатором или индикатором отставания? Каковы последствия для субпопуляций? Каковы слепые пятна в ваших измерениях? Как вы покроете их?
• Подумайте о контексте данных. Каким был опыт пользователя в этом эксперименте? Что еще происходит в системе, частью которого является это изменение, что может повлиять на это?
• Заставьте себя рассмотреть все мнения о том, почему результаты анализа могут быть неправильными. Слушайте адвоката дьявола.
• Когда у вас есть несовершенные данные, используйте первые принципы.
• Всегда, всегда думайте о пользователе. Это святой Грааль, который определит успех культуре Data-informed.

No Comments