Методический материал «Спутник». Примеры учебные; они не являются результатами клиентов.
Сначала определить действие и измеряемый эффект
Опишите вмешательство так, чтобы его можно было повторить: новая выкладка, правило заказа, действие торгового представителя или конкретная акция. Задайте единицу воздействия, дату запуска, основную метрику и окно наблюдения. Для промо результат может включать перенос продаж из следующей недели; для изменения наличия эффект способен проявляться постепенно.
Отделяйте эффект назначения действия от эффекта его фактического выполнения. Если часть магазинов не исполнила новую схему, исключать их после запуска опасно: исполнение может быть связано с качеством управления и будущими продажами. Основной анализ по назначенным группам сохраняет смысл рандомизации, а дополнительный анализ исполнения требует собственного обоснования.
Какие данные нужны
Зерно должно соответствовать воздействию и способу анализа: магазин × день, клиент × неделя или другая заранее выбранная единица. Нужны идентификатор группы, дата назначения, фактическое исполнение, исходы до и после, доступность товара, цена, промо, ассортимент, календарь и значимые внешние события. Список допустимых объектов фиксируют до просмотра результата.
Сохраняют знаменатели: продажи на открытый магазин нельзя сравнивать с общей суммой сети, где изменилось число точек. Для маржи нужны сопоставимые стоимость и налоги. Пропавшие наблюдения, закрытые магазины и ошибки телеметрии проверяются по группам отдельно. Неравномерная потеря данных способна сделать полезное действие вредным на бумаге или наоборот.
Рандомизированный эксперимент
Если возможно, объекты случайно распределяют на действие и контроль. При сильных различиях магазинов полезна предварительная стратификация по формату, региону и исходному уровню. Единицу рандомизации выбирают так, чтобы уменьшить перетекание воздействия: соседние магазины или клиенты одного менеджера могут влиять друг на друга.
До старта рассчитывают длительность и размер выборки из исторической вариативности и минимального практически важного эффекта. Большое число чеков не компенсирует малое число независимых магазинов, если действие назначается магазину. Анализ и стандартные ошибки должны учитывать этот уровень. Проверяют соблюдение назначения и ожидаемое соотношение групп; нарушение распределения требует расследования до вывода об эффекте.
Когда рандомизация недоступна
Для двух групп и двух периодов разность разностей равна Δ = (Y_T,после − Y_T,до) − (Y_C,после − Y_C,до). Здесь T — группа действия, C — сравнение. Ключевая предпосылка: без действия изменения шли бы параллельно. Похожий уровень продаж в одной исходной неделе эту предпосылку не подтверждает; изучают длительную динамику, выбор объектов и сопутствующие события.
При последовательных запусках в разные даты обычная регрессия с фиксированными эффектами может смешать несопоставимые эффекты. Выбирают методы, которые явно определяют группы ещё не затронутого контроля и оцениваемое среднее. Если контроль тоже испытал воздействие или изменилась его структура, красивый график до запуска не спасает причинную интерпретацию.
Временные ряды и контрфактический прогноз
Структурные временные модели, включая подход CausalImpact, строят прогноз поведения метрики без вмешательства по истории и контрольным рядам. Разность наблюдаемого и такого прогноза трактуется как эффект только при выполнении предпосылок. Контрольные ряды не должны быть затронуты действием, а связь между ними и изучаемым результатом должна оставаться достаточно стабильной.
Хорошая точность обычного прогноза не доказывает, что он представляет мир без действия. Например, в признаки нельзя включить продажи товара-заменителя, если вмешательство как раз перетягивает его покупателей. Полезны плацебо-запуски на прошлых датах, проверка альтернативных контролей и чувствительность к окну обучения. При отсутствии надёжного сравнения результат честно остаётся описательной динамикой.
Неопределённость и бизнес-смысл
Относительный эффект рассчитывают как дополнительный результат, делённый на оценку результата без действия. Для финансовой оценки используют дополнительный вклад после переменных затрат и стоимости самого вмешательства. Нельзя умножать весь рост оборота на среднюю маржу, если одновременно изменились цены, ассортимент или себестоимость.
Показывают оценку эффекта и интервал неопределённости, а не только p-value. Статистически различимый маленький эффект может быть экономически неинтересен, а широкий интервал не доказывает отсутствия пользы. Основную метрику, правила остановки и подход к множественным сравнениям согласуют заранее. Постоянное завершение теста в первый удачный день завышает долю ложных побед без корректной последовательной процедуры.
Практический пакет проекта
Подготовьте одностраничный протокол: гипотеза, объект воздействия, метрика, минимальный полезный эффект, дизайн, источники данных, ограничения и условия остановки. Проведите проверку исходной сопоставимости и тестовую загрузку метрик. Во время запуска фиксируйте исполнения и сопутствующие изменения, а не только итоговые продажи.
Финальный отчёт должен позволять восстановить сравнение: охват, потери наблюдений, версии расчёта, результат основной метрики, побочные эффекты и чувствительность. Для полки контролируют OSA и списания, для пополнения — запас и сервис, для промо — каннибализацию и период после акции. Масштабирование обосновывают областью, где эффект подтверждён; успешный тест одного формата магазина не делает результат универсальным.
Учебный пример: рост на 200 единиц не равен эффекту 200
В учебном примере средние продажи сопоставимой группы действия выросли с 1000 до 1200 единиц, контрольной — с 800 до 880. Разность разностей = (1200−1000)−(880−800) = 120 единиц. При предпосылке параллельных абсолютных изменений результат без действия составил бы 1000+80 = 1080, а относительный эффект 120/1080 = 11,11%. Если дополнительный вклад равен 40 рублям на единицу, неценовое вмешательство стоило 1500 рублей и иных эффектов нет, дополнительный вклад после затрат = 120×40−1500 = 3300 рублей. Четырёх средних недостаточно для надёжного доверительного интервала: нужны распределения и зависимости наблюдений. Все числа служат проверке арифметики и не являются доказательством эффекта реального проекта.
Где нельзя делать вывод без проверки
- Предпосылки квазиэксперимента не следуют из одного успешного статистического теста.
- Контроль, затронутый тем же вмешательством, не представляет сценарий без действия.
- Отсутствие статистической значимости не означает доказанное отсутствие экономического эффекта.
Источники и основания
Google: CausalImpact, описание метода и предпосылок
World Bank: What Are We Estimating When We Estimate Difference-in-Differences?