Статистическая теория обучения

Статистическая теория обучения — это модель для машинного обучения на основе статистики и функционального анализа^[1][2]. Статистическая теория обучения имеет дело с задачами нахождения функции предсказывания, основанной на данных. Статистическая теория обучения привела к успешным приложениям в таких областях, как компьютерное зрение, распознавание речи и биоинформатика.

Целью обучения является понимание и предвидение. Обучение распадается на несколько категорий, включая обучение с учителем, обучение без учителя, онлайновое обучение и обучение с подкреплением. С точки зрения статистической теории обучения обучение с учителем является наиболее понятным^[3]. Обучение с учителем вовлекает обучение с помощью тренировочного набора^[англ.] данных. Любой момент тренировки является парой вход/выход, где входное значение отображается в выходное. Задача обучения состоит в реконструкции функции, которая отображает входные значения в выходные так, что функция может быть использована для предсказания вывода при будущих вводах.

В зависимости от типа вывода, задачи обучения с учителем либо являются задачами регрессии, либо задачами классификации. Если вывод может принимать непрерывную область значений, это задача регрессии. Используя закон Ома в качестве примера, регрессия могла бы брать напряжение в качестве входа и выдавать ток как выход. Регрессия могла бы найти связь напряжения и тока как ${\displaystyle {\frac {1}{R}}}$, так что

${\displaystyle I={\frac {1}{R}}V}$

Задачи классификации — это те, для которых выводом будет элемент из набора меток. Классификация очень обычна для приложений машинного обучения. В системе распознавания лиц, например, изображение лица будет входом, а выходом может быть фамилия человека. Вход может быть представлен как большой многомерный вектор, элементы которого представляют пиксели в изображении.

После обучения функция, основанная на тренировочном наборе данных, это функция проверяется на тестовом наборе данных, которые не появляются в тренировочном наборе.

Пусть ${\displaystyle X}$ будет векторным пространством всех возможных входных данных, а ${\displaystyle Y}$ — векторным пространством всех возможных выходов. Статистическая теория обучения предполагает, что имеется некоторое неизвестное распределение вероятности над произведением пространств ${\displaystyle Z=X\times Y}$, то есть существует некоторая неизвестная ${\displaystyle p(z)=p({\vec {x}},y)}$. Тренировочное множество состоит из ${\displaystyle n}$ экземпляров этого распределения вероятности и обозначается

${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}=\{{\vec {z}}_{1},\dots ,{\vec {z}}_{n}\}}$

Каждый ${\displaystyle {\vec {x}}_{i}}$ является входным вектором из тренировочных данных, а ${\displaystyle y_{i}}$ является выходом, соответствующим этому входному вектору.

В такой формализации задача вывода состоит в нахождении функции ${\displaystyle f:X\to Y}$, такой что ${\displaystyle f({\vec {x}})\sim y}$. Пусть ${\displaystyle {\mathcal {H}}}$ — пространство функций ${\displaystyle f:X\to Y}$, которое называется пространством гипотез. Пространство гипотез — это пространство, которое алгоритм будет просматривать. Пусть ${\displaystyle V(f({\vec {x}}),y)}$ будет функцией потерь, метрикой разницы между предсказанным значением ${\displaystyle f({\vec {x}})}$ и истинным значением ${\displaystyle y}$. Ожидаемый риск определяется как

${\displaystyle I[f]=\displaystyle \int _{X\times Y}V(f({\vec {x}}),y)\,p({\vec {x}},y)\,d{\vec {x}}\,dy}$

Целевая функция, лучшая функция ${\displaystyle f}$, которая может быть выбрана, это функция, удовлетворяющая условию

${\displaystyle I[f]=\inf _{h\in {\mathcal {H}}}I[h]}$

Поскольку распределение вероятности ${\displaystyle p({\vec {x}},y)}$ неизвестно, должны быть использованы косвенные показатели ожидаемого риска. Эти показатели основываются на тренировочном множестве, выборке из этого неизвестного распределения вероятности. Такой показатель называется эмпирическим риском:${\displaystyle I[f]={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i}),y_{i})}$. Алгоритм обучения, который выбирает функцию ${\displaystyle f}$, минимизирующую эмпирический риск, называется минимизацией эмпирического риска^[англ.].

Выбор функции потерь — это определение определяющего фактора для функции ${\displaystyle f_{S}}$, которая будет выбрана обучающим алгоритмом. Функция потерь влияет также на скорость сходимости алгоритма. Важно, чтобы функции потерь была выпуклой ^[4].

Используются разные функции потерь в зависимости от того, является задача регрессией или классификацией.

Наиболее употребительной функцией потерь для регрессии является квадратичная функция потерь (известная также как L2-норма). Эта знакомая функция потерь используется в обычном методе наименьших квадратов^[англ.]. Формула:

${\displaystyle V(f({\vec {x}}),y)=(y-f({\vec {x}}))^{2}}$

Абсолютная величина потери (известная также как L1-норма) также иногда используется:

${\displaystyle V(f({\vec {x}}),y)=|y-f({\vec {x}})|}$

В некотором смысле 0-1 индикаторная функция является наиболее естественной функцией потерь для задач классификации. Функция принимает значение 0, если предсказанный результат совпадает с верным значением и значение 1, если предсказанный результат не совпадает с верным значением. Для двоичной классификации ${\displaystyle Y=\{-1,1\}}$ это будет:

${\displaystyle V(f({\vec {x}}),y)=\theta (-yf({\vec {x}}))}$

где ${\displaystyle \theta }$ — функция Хевисайда.

В задачах машинного обучения главной проблемой становится переобучение. Поскольку обучение является задачей предсказания, целью является не поиск функции, которая наиболее близко подходит для (предварительно просмотренных) данных, а поиск функции, которая будет наиболее точно предсказывать выход из будущих входных данных. Минимизация эмпирического риска попадает в этот риск переобучения — нахождение функции, которая соответствует в точности данным, но не в состоянии предсказать будущее.

Переобучение является симптомом нестабильных решений — малые изменения в тренировочном наборе могут вызвать большие вариации в функции обучения. Можно показать, что стабильность решения может быть гарантирована^[5][6]. Регуляризация может решить проблему переобучения и обеспечить стабильность.

Регуляризация может быть осуществлена путём ограничения пространства гипотез ${\displaystyle {\mathcal {H}}}$. Можно ограничить, например, ${\displaystyle {\mathcal {H}}}$ линейными функциями — это можно рассматривать как ограничение до стандартной задачи линейной регрессии. ${\displaystyle {\mathcal {H}}}$ можно ограничить до многочленов степени ${\displaystyle p}$, экспонент или ограниченных функций на L1. Ограничение на пространстве гипотез исключает переобучение ограничением вида потенциальных функций, что не даёт выбирать функции, дающие эмпирический риск произвольно близким нулю.

Одним из примеров регуляризации является регуляризация Тихонова. Она состоит в минимизации

${\displaystyle {\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i},y_{i}))+\gamma \|f\|_{\mathcal {H}}^{2}}$,

где ${\displaystyle \gamma }$ фиксированный положительный параметр. Метод регуляризации Тихонова обеспечивает существование, единственность и стабильность решения^[7].

Для улучшения этой статьи желательно: Проверить качество перевода с иностранного языка. Исправить статью согласно стилистическим правилам Википедии. После исправления проблемы исключите её из списка. Удалите шаблон, если устранены все недостатки.