Методический материал «Спутник». Примеры учебные; они не являются результатами клиентов.

Сначала определить действие и измеряемый эффект

Опишите вмешательство так, чтобы его можно было повторить: новая выкладка, правило заказа, действие торгового представителя или конкретная акция. Задайте единицу воздействия, дату запуска, основную метрику и окно наблюдения. Для промо результат может включать перенос продаж из следующей недели; для изменения наличия эффект способен проявляться постепенно.

Отделяйте эффект назначения действия от эффекта его фактического выполнения. Если часть магазинов не исполнила новую схему, исключать их после запуска опасно: исполнение может быть связано с качеством управления и будущими продажами. Основной анализ по назначенным группам сохраняет смысл рандомизации, а дополнительный анализ исполнения требует собственного обоснования.

Какие данные нужны

Зерно должно соответствовать воздействию и способу анализа: магазин × день, клиент × неделя или другая заранее выбранная единица. Нужны идентификатор группы, дата назначения, фактическое исполнение, исходы до и после, доступность товара, цена, промо, ассортимент, календарь и значимые внешние события. Список допустимых объектов фиксируют до просмотра результата.

Сохраняют знаменатели: продажи на открытый магазин нельзя сравнивать с общей суммой сети, где изменилось число точек. Для маржи нужны сопоставимые стоимость и налоги. Пропавшие наблюдения, закрытые магазины и ошибки телеметрии проверяются по группам отдельно. Неравномерная потеря данных способна сделать полезное действие вредным на бумаге или наоборот.

Рандомизированный эксперимент

Если возможно, объекты случайно распределяют на действие и контроль. При сильных различиях магазинов полезна предварительная стратификация по формату, региону и исходному уровню. Единицу рандомизации выбирают так, чтобы уменьшить перетекание воздействия: соседние магазины или клиенты одного менеджера могут влиять друг на друга.

До старта рассчитывают длительность и размер выборки из исторической вариативности и минимального практически важного эффекта. Большое число чеков не компенсирует малое число независимых магазинов, если действие назначается магазину. Анализ и стандартные ошибки должны учитывать этот уровень. Проверяют соблюдение назначения и ожидаемое соотношение групп; нарушение распределения требует расследования до вывода об эффекте.

Когда рандомизация недоступна

Для двух групп и двух периодов разность разностей равна Δ = (Y_T,после − Y_T,до) − (Y_C,после − Y_C,до). Здесь T — группа действия, C — сравнение. Ключевая предпосылка: без действия изменения шли бы параллельно. Похожий уровень продаж в одной исходной неделе эту предпосылку не подтверждает; изучают длительную динамику, выбор объектов и сопутствующие события.

При последовательных запусках в разные даты обычная регрессия с фиксированными эффектами может смешать несопоставимые эффекты. Выбирают методы, которые явно определяют группы ещё не затронутого контроля и оцениваемое среднее. Если контроль тоже испытал воздействие или изменилась его структура, красивый график до запуска не спасает причинную интерпретацию.

Временные ряды и контрфактический прогноз

Структурные временные модели, включая подход CausalImpact, строят прогноз поведения метрики без вмешательства по истории и контрольным рядам. Разность наблюдаемого и такого прогноза трактуется как эффект только при выполнении предпосылок. Контрольные ряды не должны быть затронуты действием, а связь между ними и изучаемым результатом должна оставаться достаточно стабильной.

Хорошая точность обычного прогноза не доказывает, что он представляет мир без действия. Например, в признаки нельзя включить продажи товара-заменителя, если вмешательство как раз перетягивает его покупателей. Полезны плацебо-запуски на прошлых датах, проверка альтернативных контролей и чувствительность к окну обучения. При отсутствии надёжного сравнения результат честно остаётся описательной динамикой.

Неопределённость и бизнес-смысл

Относительный эффект рассчитывают как дополнительный результат, делённый на оценку результата без действия. Для финансовой оценки используют дополнительный вклад после переменных затрат и стоимости самого вмешательства. Нельзя умножать весь рост оборота на среднюю маржу, если одновременно изменились цены, ассортимент или себестоимость.

Показывают оценку эффекта и интервал неопределённости, а не только p-value. Статистически различимый маленький эффект может быть экономически неинтересен, а широкий интервал не доказывает отсутствия пользы. Основную метрику, правила остановки и подход к множественным сравнениям согласуют заранее. Постоянное завершение теста в первый удачный день завышает долю ложных побед без корректной последовательной процедуры.

Практический пакет проекта

Подготовьте одностраничный протокол: гипотеза, объект воздействия, метрика, минимальный полезный эффект, дизайн, источники данных, ограничения и условия остановки. Проведите проверку исходной сопоставимости и тестовую загрузку метрик. Во время запуска фиксируйте исполнения и сопутствующие изменения, а не только итоговые продажи.

Финальный отчёт должен позволять восстановить сравнение: охват, потери наблюдений, версии расчёта, результат основной метрики, побочные эффекты и чувствительность. Для полки контролируют OSA и списания, для пополнения — запас и сервис, для промо — каннибализацию и период после акции. Масштабирование обосновывают областью, где эффект подтверждён; успешный тест одного формата магазина не делает результат универсальным.

Учебный пример: рост на 200 единиц не равен эффекту 200

В учебном примере средние продажи сопоставимой группы действия выросли с 1000 до 1200 единиц, контрольной — с 800 до 880. Разность разностей = (1200−1000)−(880−800) = 120 единиц. При предпосылке параллельных абсолютных изменений результат без действия составил бы 1000+80 = 1080, а относительный эффект 120/1080 = 11,11%. Если дополнительный вклад равен 40 рублям на единицу, неценовое вмешательство стоило 1500 рублей и иных эффектов нет, дополнительный вклад после затрат = 120×40−1500 = 3300 рублей. Четырёх средних недостаточно для надёжного доверительного интервала: нужны распределения и зависимости наблюдений. Все числа служат проверке арифметики и не являются доказательством эффекта реального проекта.

Где нельзя делать вывод без проверки

  • Предпосылки квазиэксперимента не следуют из одного успешного статистического теста.
  • Контроль, затронутый тем же вмешательством, не представляет сценарий без действия.
  • Отсутствие статистической значимости не означает доказанное отсутствие экономического эффекта.

Источники и основания

Google: CausalImpact, описание метода и предпосылок

World Bank: What Are We Estimating When We Estimate Difference-in-Differences?

Microsoft Research: Diagnosing Sample Ratio Mismatch

Применить к своей задаче