что нужно сделать чтобы проверить гипотезу в первую очередь
Проверка гипотез
Общий обзор
Часто делают выборку, чтобы определить аргументы против гипотезы относительно популяции (генеральной совокупности). Этот процесс известен как проверка гипотез (проверка статистических гипотез или проверка значимости), он представляет количественную меру аргументов против определенной гипотезы.
Установлено 5 стадий при проверке гипотез:
Определение нулевой и альтернативной гипотез, уровня статистической значимости
При проверке значимости гипотезу следует формулировать независимо от используемых при ее проверке данных (до проведения проверки). В таком случае можно получить действительно продуктивный результат.
Всегда проверяют нулевую гипотезу (
), которая отвергает эффект (например, разница средних равняется нулю) в популяции.
Например, при сравнении показателей курения у мужчин и женщин в популяции нулевая гипотеза означала бы, что показатели курения одинаковые у женщин и мужчин в популяции.
Затем определяют альтернативную гипотезу (
), которая принимается, если нулевая гипотеза неверна. Альтернативная гипотеза больше относится к той теории, которую собираются исследовать. Итак, на этом примере альтернативная гипотеза заключается в утверждении, что показатели курения различны у женщин и мужчин в популяции.
Разницу в показателях курения не уточнили, т.е. не установили, имеют ли в популяции мужчины более высокие или более низкие показатели, чем женщины. Такой подход известен как двусторонний критерий, потому что учитывают любую возможность, он рекомендуется постольку, поскольку редко есть уверенность заранее в направлении какого-либо различия, если таковое существует.
В некоторых случаях можно использовать односторонний критерий для гипотезы , в котором направление эффекта задано. Его можно применить, например, если рассматривать заболевание, от которого умерли все пациенты, не получившие лечения; новый препарат не мог бы ухудшить положение дел.
Уровень значимости. Важным этапом проверки статистических гипотез является определение уровня статистической значимости 
, т.е. максимально допускаемой исследователем вероятности ошибочного отклонения нулевой гипотезы.
Получение статистики критерия, определение критической области
После того как данные будут собраны, значения из выборки подставляют в формулу для вычисления статистики критерия (примеры различных статистик критериев см. ниже). Эта величина количественно отражает аргументы в наборе данных против нулевой гипотезы.
Критическая область. Для принятия решения об отклонении или не отклонении нулевой гипотезы необходимо также определить критическую область проверки гипотезы.
Выделяют 3 вида критических областей:
Рис. 1 Двусторонняя критическая область
Рис. 2 Левосторонняя критическая область
Рис. 3 Правосторонняя критическая область
— заданный исследователем уровень значимости.
Для краткости можно записать и так:
| K | 0,05, то аргументов недостаточно, чтобы отвергнуть нулевую гипотезу. Не отвергая нулевую гипотезу, можно заявить, что результаты не значимы на 5% уровне. Данное заключение не означает, что нулевая гипотеза истинна, просто недостаточно аргументов (возможно, маленький объем выборки), чтобы ее отвергнуть.
Уровень значимости (т.е. выбранная «граница отсечки») 5% задается произвольно. На уровне 5% можно отвергнуть нулевую гипотезу, когда она верна. Если это может привести к серьезным последствиям, необходимо потребовать более веских аргументов, прежде чем отвергнуть нулевую гипотезу, например, выбрать значение = 0,01 (или 0,001).
Определение результата только как значимого на определенном уровне граничного значения (например 0, 05) может ввести в заблуждение. Например, если р = 0,04, то нулевую гипотезу отвергаем, но если р = 0,06, то ее не отвергли бы. Действительно ли они различны? Мы рекомендуем всегда указывать точное значение р, обычно получаемое путем компьютерного анализа.
Проверка гипотез против доверительных интервалов
Доверительные интервалы и проверка гипотез тесно связаны. Первоначальная цель проверки гипотезы состоит в том, чтобы принять решение и предоставить точное значение р.
Доверительный интервал (ДИ) количественно определяет изучаемый эффект (например, разницу в средних) и дает возможность оценить значение результатов. ДИ предоставляют интервал вероятных значений для истинного эффекта, поэтому его также можно использовать для принятия решения даже без точных значений р.
Дата публикации Sep 10, 2019
Область Data Science развивается как никогда раньше. Многие компании в настоящее время ищут профессионалов, которые могут просеять свои данные о добыче золота и помочь им эффективно принимать быстрые бизнес-решения. Это также дает возможность многим работающим профессионалам переключить свою карьеру на область Data Science.
Имея этот ИИ, Data Science окружает многих студентов колледжей и хочет продолжить свою карьеру в области Data Science. И эта шумиха вокруг Data Science правильно провозглашена Томасом Х. Давенпортом и Д.Дж. Патил в одной из статей Harvard Business Review,
«Data Scientist: самая сексуальная работа XXI века»
В современном мире аналитики модели машинного обучения в строительстве стали сравнительно простыми (благодаря более надежным и гибким инструментам и алгоритмам), но фундаментальные концепции по-прежнему сбивают с толку. Одним из таких понятий является проверка гипотез.
В этом посте я пытаюсь прояснить основные понятия проверки гипотез с помощью иллюстраций.
Что такое проверка гипотез? Чего мы пытаемся достичь? Зачем нам нужно проверять гипотезы? Мы должны знать ответы на все эти вопросы, прежде чем мы продолжим.
Статистика это все о данных. Данные сами по себе не интересны. Это интерпретация данных, которые нас интересуют. ИспользованиеПроверка гипотезымы пытаемся интерпретировать или делать выводы о населении, используя выборочные данные.Проверка гипотезоценивает два взаимоисключающих утверждения о совокупности, чтобы определить, какое утверждение лучше всего подтверждается данными выборки. Всякий раз, когда мы хотим заявить о распределении данных или о том, отличается ли один набор результатов от другого набора результатов в прикладном машинном обучении, мы должны полагаться на статистические проверки гипотез.
Давайте посмотрим на терминологию, которую мы должны знать вПроверка гипотезы
1. Параметр и статистика:
параметрявляется кратким описанием фиксированной характеристики или показателя целевой группы населения. Параметр обозначает истинное значение, которое будет получено при проведении переписи, а не выборки.
Пример:Среднее (μ), дисперсия (σ²), стандартное отклонение (σ), пропорция (π)
В реальном мире сложно получить полную информацию о населении. Следовательно, мы выбираем выборку из этой совокупности и получаем те же статистические показатели, упомянутые выше. И эти меры называются выборочной статистикой. Другими словами,
статистикаявляется кратким описанием характеристики или меры выборки. Выборочная статистика используется в качестве оценки параметра совокупности.
Пример:Среднее значение выборки (x̄), дисперсия выборки (S²), стандартное отклонение выборки (S), пропорция выборки (п)
2. Распределение выборки:
Пример:Предположим, что простая выборка из пяти больниц должна быть взята из населения 20 больниц. Возможны следующие варианты: (20, 19, 18, 17, 16) или (1,2,4,7,8) или любая из 15 504 (с использованием комбинаций 20C)) различных образцов размера 5.
В целом среднее значение распределения выборки будет приблизительно эквивалентно среднему значению для населения, т.е. E (x̄) = μ
Чтобы узнать больше о распределении выборки, пожалуйста, проверьте это ниже видео:
Видео из ханской академии
3. Стандартная ошибка (SE):
Стандартная ошибка (SE) очень похожа на стандартное отклонение. Оба являются мерами распространения. Чем выше число, тем больше разбросаны ваши данные. Проще говоря, два термина по сути равны, но есть одно важное отличие. Пока стандартная ошибка используетстатистика(пример данных) использование стандартного отклоненияпараметры(данные о населении)
Стандартная ошибка говорит вам, насколько далеко ваша выборочная статистика (например, среднее значение выборки) отклоняется от фактического среднего значения населения. Чем больше размер вашей выборки, тем меньше SE. Другими словами, чем больше размер выборки, тем ближе среднее значение выборки к среднему значению популяции.
Чтобы узнать больше о стандартной ошибке (SE), пожалуйста, смотрите видео ниже
Теперь давайте рассмотрим следующий пример, чтобы лучше понять остальные концепции.
4. (а) Нулевая гипотеза (H₀):
Заявление, в котором не ожидается никакой разницы или эффекта. Если нулевая гипотеза не отклонена, никакие изменения не будут внесены.
Слово «ноль» в данном контексте означает, что общепринятый факт, что исследователи аннулируют. Это не означает, что само утверждение является нулевым! (Возможно, этот термин следует называть «недействительной гипотезой», поскольку это может вызвать меньше путаницы)
4. (б). Альтернативная гипотеза (H₁):
Утверждение, что ожидается некоторое различие или эффект. Принятие альтернативной гипотезы приведет к изменению мнений или действий. Это противоположность нулевой гипотезы.
Чтобы узнать больше о нулевых и альтернативных гипотезах, пожалуйста, посмотрите это видео ниже
5. (а). Односторонний тест:
Односторонний тест также известен как направленная гипотеза или направленный тест.
5. (б). Двусторонний тест:
По соглашению, двусторонние тесты используются для определения значимости на уровне 5%, то есть каждая сторона распределения сокращается на 2,5%.
6. Тестовая статистика:
тестовая статистикаизмеряет, насколько близко образец пришел к нулевой гипотезе. Его наблюдаемое значение изменяется случайным образом от одной случайной выборки к другой выборке. Тестовая статистика содержит информацию о данных, которые имеют значение для принятия решения о том, следует ли отклонить нулевую гипотезу или нет.
Различные тесты гипотез используют разные статистические тесты, основанные на вероятностной модели, принятой в нулевой гипотезе. Общие тесты и их тестовая статистика включают в себя:
В общем, выборочные данные должны предоставить достаточные доказательства, чтобы отвергнуть нулевую гипотезу и сделать вывод, что эффект существует в популяции. В идеале, проверка гипотезы не позволяет отклонить нулевую гипотезу, когда эффект отсутствует в популяции, и отвергает нулевую гипотезу, когда эффект существует.
К настоящему времени мы понимаем, что вся проверка гипотез работает на основе имеющегося образца. Мы можем прийти к другому выводу, если образец будет изменен. Есть два типа ошибок, которые относятся к неверным выводам о нулевой гипотезе.
7. (а). Ошибка типа I:
Тип-I Ошибка возникает, когда результаты выборки приводят к отклонению нулевой гипотезы, когда она на самом деле верна.Тип-Iошибки эквивалентны ложным срабатываниям.
Тип-Iошибки можно контролировать. Значение альфа, которое связано суровень значимостичто мы выбрали, имеет прямое отношение кТип-Iошибки.
7. (б). Ошибка типа II:
Тип-IIошибка возникает, когда на основании результатов выборки нулевая гипотеза не отклоняется, если она фактически ложна.Тип-IIошибки эквивалентны ложным негативам.
Уровень значимости (α):
Вероятность сделатьТип-Iошибка, и это обозначаетсяальфа (α), Альфа это максимальная вероятность того, что у нас естьТип-Iошибка. Для уровня достоверности 95% значение альфа составляет 0,05. Это означает, что существует 5% вероятность того, что мы отвергнем истинную нулевую гипотезу.
P-значение:
р-значениеиспользуется во всей статистике, от t-тестов до простого регрессионного анализа до моделей на основе дерева, почти во всех моделях машинного обучения. Мы все используемP-значениеопределить статистическую значимость в тесте гипотезы. Несмотря на то чтоР-значениескользкая концепция, которую люди часто неправильно интерпретируют.
P-значениеоцените, насколько хорошо выборочные данные подтверждают аргумент защитника дьявола о том, что нулевая гипотеза верна. Он измеряет, насколько совместимы ваши данные с нулевой гипотезой. Насколько вероятен эффект, наблюдаемый в ваших данных выборки, если нулевая гипотеза верна?
Другими словами, если нулевая гипотеза верна,Р-значениевероятность получения результата как экстремального или более экстремального, чем результат выборки, только по случайной случайности
Высокие значения P:Ваши данные, скорее всего, с истинным нулем
Низкие значения P:Ваши данные вряд ли с истинным нулем
Пример: Предположим, что вы проверяете следующую гипотезу на уровне значимости (α) 5%, и вы получаете значение p как 3%, и ваша выборочная статистикаИксзнак равно25
Интерпретация р-значения выглядит следующим образом:
Мы видели выше, чтоαтакже известен как совершениеТип-Iошибка. Когда мы говорим, αзнак равно5%, мы можем отклонить нашу нулевую гипотезу 5 из 100 раз, даже если это правда. Теперь, когда нашиР-значение3%, что меньшеα(мы определенно ниже порога совершенияТип-Iошибка),означает получение выборочной статистики как можно более экстремальной (x̄>знак равно25) учитывая, что H₀ истинно, очень меньше. Другими словами, мы не можем получить нашу выборочную статистику, если предположим, что H₀ истинно. Следовательно, мы отвергаем H₀ и принимаем H₁. Предположим, вы получаетеР-значениекак 6%, т. е. вероятность получения выборочной статистики как можно более экстремальной, тем выше, учитывая, что нулевая гипотеза верна. Таким образом, мы не можем отказаться от H₀, по сравнению сαмы не можем рисковатьТип-Iошибка больше, чем согласованный уровень значимости. Следовательно, мы не можем отвергнуть нулевую гипотезу и отвергнуть альтернативную гипотезу.
Теперь, когда мы поняли основную терминологию вПроверка гипотезы,Теперь давайте рассмотрим этапы проверки гипотез и приведем пример с примером.
Например, крупный универмаг рассматривает возможность введения услуги интернет-магазина. Новая услуга будет введена, если более 40 процентов интернет-пользователей совершают покупки через Интернет.
Шаг 1: сформулируйте гипотезы:
Подходящий способ сформулировать гипотезы:
Если нулевая гипотеза H₀ отклонена, то будет принята альтернативная гипотеза H₁ и введена новая услуга интернет-покупок. С другой стороны, если мы не сможем отклонить H₀, то новая услуга не должна быть введена, пока не будут получены дополнительные доказательства. Этот тест нулевой гипотезы являетсяодин хвостТест, потому что альтернативная гипотеза выражается направленно: доля интернет-пользователей, которые используют Интернет для покупок, превышает 0,40.
Шаг 2: Выберите подходящий тест:
Чтобы проверить нулевую гипотезу, необходимо выбрать соответствующий статистический метод. Для этого примераZ статистика, которая соответствует стандартному нормальному распределению, будет уместной.
z = (p-π) / σₚ, где σₚ = sqrt (π (1-π) / n)
Шаг 3: Выберите уровень значимости, α:
Мы поняли чтоУровень значимостиотносится кТип-Iошибка. В нашем примере ошибка Типа I произошла бы, если бы мы пришли к выводу, основываясь на выборочных данных, что доля клиентов, предпочитающих новый тарифный план, была больше 0,40, тогда как на самом деле она была меньше или равна 0,40.
Ошибка типа II возникла бы, если бы мы пришли к выводу, основываясь на выборочных данных, что доля клиентов, предпочитающих новый тарифный план, была меньше или равна 0,40, тогда как фактически она была больше 0,40.
Необходимо сбалансировать два типа ошибок. В качестве компромисса α часто устанавливается на 0,05; иногда это 0,01; другие значения α редки. Мы рассмотрим 0,05 для нашего примера.
Шаг 4: Соберите данные и рассчитайте статистику теста:
Размер выборки определяется после учета требуемого значения α и других качественных соображений, таких как бюджетные ограничения для сбора данных выборки. Для нашего примера, скажем, 30 пользователей были опрошены, а 17 указали, что они использовали Интернет для покупок.
Таким образом, значение пропорции выборки составляетр = 17/30 = 0,567.
Значениеσₚ = SQRT ((0,40) (0,60) / 30) = 0,089.
Тестовая статистикаZможно рассчитать как
г = (р-π) / σₚ = (0.567-0.40) /0.089=1.88
Шаг 5: Определите вероятность (или критическое значение):
Используя стандартные нормальные таблицы из приведенного выше, вероятность полученияZзначение 1,88 составляет 0,96995, т.е.Р (z≤1.88) = 0,96995,Но мы хотели вычислить вероятность справа отz (потому что мы заинтересованы в получении значения вероятности, которое попадает в область отклонения или критическую область),то есть1-0.96995знак равно0,03005, Эта вероятность прямо сопоставима с(поскольку α совершает ошибку Типа I, а рассчитанное нами значение вероятности также попадает в критическую область)
Если вы хотите понять, как искать значения вероятностей для данных z-оценок, посмотрите видео ниже:
В качестве альтернативы, критическое значениег,который даст область справа от критического значения 0,05, находится между 1,64(при 1,64 вероятность составляет 0,94950)и 1,65(при 1,65 вероятность равна 0 95053)и равен 1,645(вероятность равна 0,95, то есть слева от нормального распределения, что означает, что справа она равна 0,05),
Если вы хотите понять, как искать критическое значениеα,Пожалуйста, посмотрите видео ниже:
Шаг 6 и 7: сравните вероятность (или критическое значение) и примите решение:
Вероятность, связанная с вычисленным или наблюдаемым значением статистики теста, составляет 0,03005. Это вероятность полученияР-значение0,567 (доля образца =п)когда π = 0,40. Это меньше уровня значимости 0,05. Следовательно, нулевая гипотеза отвергается.
В качестве альтернативы рассчитывается значение тестовой статистикиг = 1,88лежит в области отклонения, за пределами значения 1,645. Снова, тот же самый вывод отклонить нулевую гипотезу сделан.
Обратите внимание, что два способа проверки нулевой гипотезы эквивалентны, но математически противоположны в направлении сравнения. Если вероятность, связанная с вычисленным или наблюдаемым значением тестовой статистики (TSCAL), равнаменьше, чемНа уровне значимости (α) нулевая гипотеза отвергается. Однако, если абсолютное значение рассчитанного значения статистики тестабольше чемабсолютное значение критического значения тестовой статистики (TSCR), нулевая гипотеза отклоняется. Причина этого смещения знака состоит в том, что чем больше абсолютное значение TSCAL, тем меньше вероятность получения более экстремального значения тестовой статистики при нулевой гипотезе.
если вероятность TSCAL | TSCR |, затем отклонить H₀
Шаг 8: Вывод:
В нашем примере мы заключаем, что есть свидетельства того, что доля интернет-пользователей, совершающих покупки через Интернет, значительно превышает 0,40. Следовательно, рекомендация для универмага будет заключаться в том, чтобы ввести новый сервис интернет-магазинов.
Этот пример относится к одному образцу теста пропорций. Тем не менее, существует несколько типов тестов, которые зависят от знаний о населении и рассматриваемой проблемы.
Например, у нас есть t-тест, Z-тест. Тест хи-квадрат, тест Манна-Уитни, тест Вилкоксона и т. Д.
На этом я хотел бы завершить часть I «Все, что вам нужно знать о проверке гипотез». Я буду обсуждать параметрические и непараметрические тесты и какой тест использовать в каком сценарии в части II. До тех порСчастливого обучения…
Пожалуйста, поделитесь своим мнением в разделе комментариев ниже.
Три маркетолога о том, как проверять гипотезы
5 правил тестирования в маркетинге.
Правильный цвет кнопки на лендинге может повысить конверсию в несколько раз. А если добавить в шапку сайта email и телефон, вырастет количество целевых обращений. Раньше это были гипотезы. Но после A/B тестирования они стали рабочим инструментом.
Попросили 3-х экспертов рассказать, как они строят и проверяют гипотезы в маркетинге.
В беседе принимали участие:
Элина Медынская, Senior Marketing Consultant в GlobalLogic Ukraine
Артем Товстенко, digital-маркетолог в LABA
Маргарита Кашуба, Chief marketing officer в OWOX BI
Что такое гипотеза в маркетинге
Элина: Тестирование гипотез напоминает подбор отмычки к закрытой двери — нужно постоянно менять вопросы (отмычки) и измерять данные (проверять, насколько они влияют на замок). Так получается прийти к обоснованным доказательствам и максимальному результату (открытой двери).
Артем: Гипотеза — это всегда предположение. Чаще всего она формируется благодаря фразе «А что, если…», и на основе анализа данных.
Маркетолог может интуитивно почувствовать, что можно заменить определенную деталь на сайте. Чем больше опыт, тем реже подводит интуиция. Бывает, все работает и так хорошо, но интуиция подсказывает, что можно сделать еще лучше.
Элина: Если у вас меняются аудитории, инструменты, продукты или вы запускаете новые проекты — не забывайте об интуиции (вы же маркетолог). Но важно научиться задавать правильные вопросы, формулировать гипотезы, разрабатывать к ним тесты, делать выводы и корректировать свои коммуникации.
#1. Правильно сформулируйте гипотезу
Элина:
Есть четыре критерия для выбора гипотезы:
Татьяна Лукинюк,
B2C-директор в Kyivstar
Катерина Левченко,
Маркетинг директор Danone Nutricia
Вопрос «Привлечет ли картинка в лендинге вакансии больше кандидатов?» — еще не гипотеза. Нужно добавить конкретики и понять, какие данные могут это доказать.
«Увеличит ли добавление картинок на лендинг с вакансией отклик кандидатов на 10%?» — это уже гипотеза.
Артем: Тестировать можно все, но всегда логически оценивайте гипотезу и придерживайтесь tone of voice. Не стоит тестировать абсурдные идеи, которые могут навредить бренду.
Например, у вас есть сайт для образованной бизнес-аудитории. И возникла идея добавить что-то некорректное на лендинг. Например, существует мнение, что в рекламе хорошо работают изображения женского тела. Но добавлять такое фото на бизнес-сайт — неуместно.
#2. Определите время на тестирование
Артем: На тестирование в среднем уходит одна-две недели. Этого достаточно, чтобы понять, насколько хорошо сработала гипотеза. Но бывают исключения.
Недавно мы тестировали один элемент на лендинге и закончили тест раньше. Мы ежедневно отслеживали конверсию и увидели, что новый лендинг был в 1,5 раза лучше. Он побеждал каждый день. На третий день мы решили отключить тест и поставили этот лендинг основным.
Бывает, тестирование длится дольше. Однажды мы проводили A/B тест лендинга с целью повысить конверсию в лид (заполнение формы регистрации). Конверсия не улучшилась, но во время теста мы заметили, что у нового лендинга намного выше конверсия в продажу. Это более существенный для нас показатель.
Мы решили продлить тест еще на две недели, чтобы собрать больше данных. В итоге, конверсия в лид снизилась, а конверсия в продажу и ROI — повысились.
Элина: Время на тестирование зависит от самой гипотезы. Но не стоит растягивать тест на несколько месяцев, потому что на него начнет влиять сезонность.
Оптимально измерять результат в недельных циклах. Маркетологи знают, что рассылки на рабочие почты в пятницу вечером открывают меньше, чем в понедельник утром или в обед. Поэтому недельный цикл позволяет собрать данные, обработать их и подготовиться к следующему циклу проверки гипотезы. При анализе данных важно использовать цифры за одинаковый промежуток времени.
#3. Выберите оптимальный метод тестирования
Популярные методы — A/B тест и мультивариантное тестирование (MVT).
Маргарита: A/B тестирование креативов в рекламе, разного оформления сайта, рассылок — это процесс, поставленный на поток.
Иногда простые гипотезы могут приносить много пользы. Например, недавно у нас была гипотеза: если поменять email отправителя новостной рассылки на новый, то больше писем попадет в Inbox. Она подтвердилась.
Или гипотеза, что если добавить в шапку сайта email и телефон, количество целевых обращений вырастет. К нам действительно стало приходить больше заявок.
Элина: «Отклик на вакансии увеличится на 100500%, если добавить картинки, изменить заголовок и увеличить текст» — это многоуровневая гипотеза.
Можно разделить ее на три отдельные гипотезы для А/В тестирования или использовать мультивариантные тесты.
#4. Проанализируйте результаты
Маргарита: Наша компания занимается маркетинг-аналитикой, поэтому мы считаем все. У нас за гипотезу отвечает один человек, который на время проверки считается руководителем проекта. Он следит за метриками и результатом. После проверки делаем выводы на основе таких вопросов:
Артем: Мы используем Google Optimize для тестирования. Запускаем эксперименты и следим за результатами каждый день.
Однажды мы хотели узнать, как изменится конверсия лендинга, если поменять цвет кнопки регистрации с красного на зеленый. Выбрали продукты для разных сегментов: финансистов, эйчаров и управленцев. Для последних зеленая кнопка сработала лучше — конверсия повысилась на 65%.
Мы пришли к выводу, что управленцы — это бизнес-аудитория. После этого решили протестировать новый цвет еще на трех лендингах для бизнес-аудитории — и везде он срабатывал лучше. Инсайт: разная аудитория по-разному реагирует на цвета.
Весь бизнес-контент в удобном формате. Интервью, кейсы, лайфхаки корп. мира — в нашем телеграм-канале. Присоединяйтесь!
#5. Проведите работу над ошибками и тестируйте новые гипотезы
Артем: Ошибки чаще всего возникают, когда:
Чем больше гипотез тестирует компания, тем больше будет успешных результатов. Не стоит бояться тестов — это процесс роста.
Чаще всего гипотеза проваливается, но это нормально. Если 4 из 10 гипотез будут удачными, мы в 4-х случаях продвинемся дальше — и точно узнаем, что работает, а что — нет.