Share Description
Влияет ли знание методов анализа данных на уровень заработной платы? Работает ли система оценки кредитоспособности клиентов банка? Действительно ли новый баннер лучше старого? Чтобы ответить на такие вопросы, нужно собрать данные. Данные почти всегда содержат шум, поэтому утверждения, которые можно сделать на их основе, верны не всегда, а только с определённой вероятностью.
Syllabus :
1. Интервалы и гипотезы
- Как прекрасны машинное обучение и анализ данных
- Как устроена специализация, и зачем ее проходить
- Выводы и рациональность
- Проблемы построения выводов
- Примеры прикладных задач
- Как устроен этот курс
- МФТИ
- Интервальные оценки с помощью квантилей
- Доверительные интервалы с помощью квантилей
- Распределения, производные от нормального
- Доверительные интервалы для среднего
- Доверительные интервалы для доли
- Доверительные интервалы для двух долей
- Доверительные интервалы на основе бутстрепа
- Проверка гипотез: начало
- Ошибки I и II рода
- Достигаемый уровень значимости
- Статистическая и практическая значимость
- Биномиальный критерий для доли
- Критерии согласия Пирсона (хи-квадрат)
- Связь между проверкой гипотез и доверительными интервалами
2. АБ-тестирование
- Что такое АБ-тестирование
- Где используется АБ-тестирование
- Метрики
- Дизайн эксперимента
- Устойчивость
- Размер выборки
- Одновыборочные критерии Стьюдента
- Двухвыборочные критерии Стьюдента, независимые выборки
- Двухвыборочные критерии Стьюдента, связанные выборки
- Нормальность выборок
- Пример: применение критериев Стьюдента
- Гипотезы о долях
- Пример: проверка гипотез о долях
- Как работают непараметрические критерии?
- Критерии знаков
- Ранговые критерии
- Перестановочные критерии
- Перестановки и бутстреп
- Пример: одновыборочные непараметрические критерии
3. Закономерности и зависимости
- Взаимное влияние в продажах товаров
- Внешние факторы, влияющие на продажи
- Корреляция Пирсона
- Корреляция Спирмена
- Корреляция Мэтьюса и коэффициент Крамера
- Пример: поиск взаимосвязей с помощью корреляции
- Значимость корреляции
- Булщит и консервативность
- Корреляция и причинно-следственная связь
- В чем проблема?
- Постановка
- FWER. Поправка Бонферрони
- FWER. Метод Холма
- FDR. Метод Бенджамини-Хохберга
- Пример: поправки на множественную проверку при корреляционном анализе
- Анализ подгрупп
- Взаимосвязь нескольких признаков
- Свойства решения задачи
- Интервалы и гипотезы
- Проверка предположений
- Регрессия и причинно-следственные связи
- Пример: оценка зависимости с помощью регрессии
