Лекция 1. Основные понятия и примеры прикладных задач

Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные.
Типы задач: классификация, регрессия, прогнозирование, кластеризация.
Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.
Примеры прикладных задач.

Лекция 2. Байесовские алгоритмы классификации, непараметрические методы

Вероятностная постановка задачи классификации. Основные понятия: априорная вероятность, апостериорная вероятность, функция правдоподобия класса.
Функционал среднего риска. Ошибки I и II рода.
Оптимальный байесовский классификатор.
Оценивание плотности распределения: три основных подхода.
Наивный байесовский классификатор.
Непараметрическое оценивание плотности распределения по Парзену-Розенблатту. Выбор функции ядра. Выбор ширины окна, переменная ширина окна. Метод парзеновского окна.
Непараметрический наивный байесовский классификатор.
Робастное оценивание плотности. Цензурирование выборки (отсев объектов-выбросов).

Лекция 3. Параметрические методы, нормальный дискриминантный анализ

Многомерное нормальное распределение: геометрическая интерпретация, выборочные оценки параметров: вектора математического ожидания и ковариационной матрицы.
Квадратичный дискриминант. Вид разделяющей поверхности. Подстановочный алгоритм, его недостатки и способы их устранения.
Линейный дискриминант Фишера.
Проблемы мультиколлинеарности и переобучения. Регуляризация ковариационной матрицы.
Метод редукции размерности.
Модель смеси распределений.
EM-алгоритм: основная идея, понятие скрытых переменных, Е-шаг, М-шаг. Конструктивный вывод формул М-шага (без обоснования сходимости).

Лекция 4. EM-алгоритм и сеть радиальных базисных функций

Критерий останова, выбор начального приближения, выбор числа компонент.
Стохастический EM-алгоритм.
Смесь многомерных нормальных распределений. Сеть радиальных базисных функций (RBF) и применение EM-алгоритма для её настройки.
Метод ближайших соседей (kNN) и его обобщения.
Подбор числа k по критерию скользящего контроля.

Лекция 5. Метрические алгоритмы классификации

Обобщённый метрический классификатор, понятие отступа.
Метод потенциальных функций, градиентный алгоритм.
Отбор эталонных объектов. Псевдокод: алгоритм СТОЛП.
Функция конкурентного сходства, алгоритм FRiS-СТОЛП.
Биологический нейрон, модель МакКаллока-Питтса.
Линейный классификатор, понятие отступа, непрерывные аппроксимации пороговой функции потерь.

Лекция 6. Линейные алгоритмы классификации

Квадратичная функция потерь, метод наименьших квадратов, связь с линейным дискриминантом Фишера.
Метод стохастического градиента и частные случаи: адаптивный линейный элемент ADALINE, перcептрон Розенблатта, правило Хэбба.
Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).
Гипотеза экспоненциальности функций правдоподобия классов.
Теорема о линейности байесовского оптимального классификатора.
Оценивание апостериорных вероятностей классов с помощью сигмоидной функции активации.
Логистическая регрессия. Принцип максимума правдоподобия и логарифмическая функция потерь.
Метод стохастического градиента, аналогия с правилом Хэбба.

Лекция 7. Метод опорных векторов (SVM)

Оптимальная разделяющая гиперплоскость. Понятие зазора между классами (margin). Случаи линейной разделимости и отсутствия линейной разделимости.
Связь с минимизацией регуляризованного эмпирического риска. Кусочно-линейная функция потерь.
Задача квадратичного программирования и двойственная задача. Понятие опорных векторов.
Рекомендации по выбору константы C.
Функция ядра (kernel functions), спрямляющее пространство, теорема Мерсера.
Способы конструктивного построения ядер. Примеры ядер.
Сопоставление SVM с гауссовским ядром и RBF-сети.

Лекция 8. Линейные методы классификации: обобщения и обзор

Теоретические обоснования различных непрерывных функций потерь и различных регуляризаторов.
Байесовский подход. Принцип максимума совместного правдоподобия данных и модели.
Некоторые разновидности регуляризаторов, применяемые на практике. Квадратичный (L2) регуляризатор. L1- и L0- регуляризаторы и их связь с отбором признаков.
Метод релевантных векторов.
Сложностный подход. Радемахеровская сложность и некоторые её свойства. Верхняя оценка вероятности ошибки для линейных классификаторов.

Лекция 9. Методы восстановления регрессии

Задача восстановления регрессии, метод наименьших квадратов.
Одномерная непараметрическая регрессия (сглаживание): оценка Надарая-Ватсона, выбор ядра и ширины окна сглаживания.
Многомерная линейная регрессия. Сингулярное разложение.
Регуляризация: гребневая регрессия и лассо Тибширани.
Метод главных компонент и декоррелирующее преобразование Карунена-Лоэва.
Робастная регрессия: простой алгоритм отсева выбросов LOWESS.

Лекция 10. Прогнозирование временных рядов

Аддитивная и мультипликативная модели временного ряда. Тренд, сезонность, календарные эффекты.
Адаптивные модели: экспоненциальное сглаживание, модели Хольта-Уинтерса и Тейла-Вейджа.
Скользящий контрольный сигнал и модель Тригга-Лича.
Адаптивная селекция и композиция моделей прогнозирования.
Примеры прикладных задач: прогнозирование трафика, числа посещений, объёмов продаж.

Лекция 11. Нейронные сети

Структура многослойной нейронной сети. Функции активации.
Проблема полноты. Задача исключающего или. Полнота двухслойных сетей в пространстве булевских функций.
Алгоритм обратного распространения ошибок. Формирование начального приближения. Проблема паралича сети.
Методы оптимизации структуры сети. Выбор числа слоёв и числа нейронов в скрытом слое. Постепенное усложнение сети. Оптимальное прореживание сети (optimal brain damage).

Лекция 12. Алгоритмы кластеризации

Постановка задачи кластеризации. Типы кластерных структур.
Графовые методы кластеризации: алгоритм выделения связных компонент, алгоритм ФОРЭЛ, функционалы качества кластеризации.
Иерархическая кластеризация (таксономия): агломеративная иерархическая кластеризация, дендрограмма и свойство монотонности, свойства сжатия, растяжения и редуктивности.
Статистические методы кластеризации: EM-алгоритм, метод k-средних.

Лекция 13. Методы частичного обучения

Простые эвристические методы: особенности задачи SSL, метод self-training, композиции алгоритмов классификации.
Модификация методов кластеризации: оптимизационный подход, кластеризация с ограничениями.
Модификация методов классификации: трансдуктивный SVM, логистическая регрессия, Expectation Regularization.

Лекции 14-15. Композиции классификаторов. Бустинг (часть 1, часть 2)

Композиция классификаторов: задачи обучения композиций, классический алгоритм AdaBoost, градиентный бустинг.
Бэггинг и комитетные методы: бэггинг и метод случайных подпространств, простое и взвешенное голосование, голосование по старшинству.
Смеси алгоритмов: идея областей компетентности, итерационный метод обучения смеси, последовательное наращивание смеси.

Лекция 16. Оценки обобщающей способности

Задачи и критерии выбора метода обучения: задачи выбора модели или метода обучения, эмпирические оценки скользящего контроля, аналитические оценки и критерии регуляризации.
Теория обобщающей способности: вероятность переобучения и VC-теория, бритва Оккама, комбинаторная теория переобучения.
Методы отбора признаков: полный перебор и жадные алгоритмы, поиск в глубину и в ширину, стохастический поиск.

Лекция 17. Методы отбора признаков. Отбор признаков

Сложность задачи отбора признаков. Полный перебор.
Метод добавления и удаления, шаговая регрессия.
Поиск в глубину, метод ветвей и границ.
Усечённый поиск в ширину, многорядный итерационный алгоритм МГУА.
Генетический алгоритм, его сходство с МГУА.
Случайный поиск и Случайный поиск с адаптацией (СПА).

Лекция 18. Логические алгоритмы классификации

Понятие закономерности и информативности: определения и обозначения, интерпретируемость, информативность.
Методы поиска информативных закономерностей: жадный алгоритм, алгоритм на основе отбора признаков, бинаризация данных.
Композиции закономерностей: решающий список, решающие деревья, голосование закономерносей, решающие леса.

Лекция 19. Логические алгоритмы классификации. Решающие деревья

Решающий список. Жадный алгоритм синтеза списка.
Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения.
Редукция решающих деревьев: предредукция и постредукция.
Преобразование решающего дерева в решающий список.
Алгоритм LISTBB.
Чередующиеся решающие деревья (alternating decision tree).
Невнимательные решающие деревья (oblivious decision tree).
Решающий лес и бустинг над решающими деревьями. Алгоритм TreeNet.

Лекция 20. Логические алгоритмы классификации. Взвешенное голосование

Методы синтеза конъюнктивных закономерностей. Псевдокод: алгоритм КОРА, алгоритм ТЭМП.
Эвристики, обеспечивающие различность и полезность закономерностей. Построение Парето-оптимальных закономерностей. Выравнивание распределения отступов.
Применение алгоритма бустинга AdaBoost к закономерностям. Критерий информативности в бустинге.
Примеры прикладных задач: кредитный скоринг, прогнозирование ухода клиентов.

Лекция 21. Поиск ассоциативных правил

Методы синтеза конъюнктивных закономерностей. Псевдокод: алгоритм КОРА, алгоритм ТЭМП.
Эвристики, обеспечивающие различность и полезность закономерностей. Построение Парето-оптимальных закономерностей. Выравнивание распределения отступов.
Применение алгоритма бустинга AdaBoost к закономерностям. Критерий информативности в бустинге.
Примеры прикладных задач: кредитный скоринг, прогнозирование ухода клиентов.

Лекция 22. Коллаборативные итерации

Постановка задачи и приложения.
Корреляционные модели, основанные на хранении данных, задача восстановления пропущенных значений функция близости.
Латентные модели: бикластеризация и матричные разложения, вероятностные латентные модели, эксперименты из данных Яндекса.

Лекции 23-24. Тематическое моделирование (часть 1, часть 2)

Задача тематического моделирования: вероятностная тематическая модель, униграммная модель.
Тематические модели PLSA и LDA: вероятностная латентная семантическая модель, латентное размещения Дирихле, эмпирические оценки качества тематических моделей.
Робастная вероятностная тематическая модель: модель с фоновой и шумовой компонентами, EM-алгоритм для робастной модели, разреженность робастной модели.

Лекция 25. Обучение с подкреплением

Многорукий бандит: простая постановка задачи, жадные и полужадные стратегии, адаптивные стратегии.
Динамическое программирование: полная постановка задачи, уравнение Беллмана.
Метод временных разностей.