1. Наша Бизнес цель: Как мы используем фичу, что мы хотим проверить
   1. 1) Наименование и описание
   2. 2) Цель
   3. 3) Формулируем гипотезу
   4. Определяем Бизнес-ценность гипотезы
2. Общая информация
   1. Роли сотрудников, которые будут работать с гипотезой
   2. Сценарий ее использования для каждой из ролей
   3. Контекст использования и формат взаимодействия (ноут/мобайл, демо/отчетность/плановая работа)
      1. Частота использования
   4. Важные продуктовые требования (например, категорически нельзя делать ложные срабатывания или требования к конфиденциальности данных, что нельзя хранить какую-то инфу и тд)
   5. Как сейчас решается проблема, если решается, какие есть источники данных и как сейчас уже с ними идет работа ( можно ли получить эти данные для сравнение полученных результатов)
   6. в какое время суток нужно трекать данные: рабочие часы, 24/7
3. Данные: что получаем и как
   1. 3) Данные:
      1. что является источником данных
      2. какие требования к данным
   2. 4) Камера:
      1. требования к разрешению изображения
      2. где должна быть установлена
      3. какой угол обзора камеры требуется?
      4. если мы трекам данные в неосвещенном помещение, то какие требования к камере?
      5. кол-во камер
      6. как будем решать вопрос, если камер несколько? будем стоить трехмерные модели?
      7. нужна ли аудиозапись
   3. 5) Как мы обрабатываем данные:
      1. нужна ли разметка
         1. можем ли использовать Толоку или другие краундинговые сервисы разметки
   4. 6) Есть ли какие-то внешние зависимости кроме видеопотока (например, информация с терминала)
4. Расчет: что мы получаем на выходе:
   1. 7) Как считаем метрику- математика наше все
   2. 8) Что получаем на выходе:
      1. Какой отчет будем формировать?
      2. С каким шагом нужно трекать динамику изменения метрики?
      3. Нужна ли детализация динамики, ее медиана/среднее/пороговые значения?
      4. Какие пороговые значения метрики для алертинга?
   3. 9) Какая получаемая точность. Какой процент допустимых ошибок и на каких изображениях
   4. 10) Как можем графически представлять результаты и можем ли?
   5. 11) Какие оповещение нужны и в какой момент они должны срабатывать:
      1. смс
      2. телеграм-бот
      3. и тд
   6. 12) Производственные мощности для обработки гипотезы (быстродействие железа):
      1. какие сейчас показатели
      2. что нужно
   7. 13) как часто нам нужно обрабатывать и отображать изменение данных:
      1. реалтайм
      2. ночная выгрузка и обработка
   8. 14) как мы начинаем работы с метрикой? если это терминал/окно, с которым мы фиксируем взаимодействие, то как и где мы его отмечаем как объект анализа
5. Доставка гипотезы, поддержка и обновление и не только:
   1. 15) какой метод приемки каждой гипотезы:
      1. на собранных доменных данных
      2. на открытых данных (например, поджигать не будем ничего)
      3. что будем делать, если нет данных для старта работы модели
      4. что будем делать, если тестовые данные отличаются от продакшена- могут ли отличаться?
   2. 16) Потенциальные риски и эдж-кейсы (что может пойти не так всех этапах - от сбора и разметки до моделирования, оценки результатов и использования в проде, вероятность возникновения и возможные последствия)
   3. 17) потребуется ли поддержка и обновление модели, как будет происходить процесс обновления.
   4. 18) приёмка на ретроспективных данных - это хорошо, а как будет происходить валидация в продакшне? потребуется ли какой-то мониторинг, какой период тестовый? какие вообще сценарии использования?
   5. 19) мониторинг поведения модели, как мы будем убеждаться, что наша модель работает корректно и не переобучилась и не эволюционировала непонятно куда
6. Это будет интересно
   1. Строим Дашборд правильно
   2. Статистика: Задача- Метод. A/B Testing. Statistical tests (Ru, En)
   3. ML-продукты. Разбираем основы
   4. Some notes about A/B Testing (V 2.0)
   5. Some notes about Exploratory Data Analysis (Python and Pandas)