Машинное обучение

Машинное обучение
Краткое имя или название	ML, AM и AA
Предыдущее по порядку	теория распознавания образов и Теория вычислительного обучения
Разработчик	Артур Самуэль[1]
Предмет изучения	модель машинного обучения[вд]
Не обладает свойством	сознание
Противоположно	машинное отучение[вд]
Медиафайлы на Викискладе

Машинное обучение^[2] (англ. machine learning, ML) — класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение за счёт применения решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов, математического анализа, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме.

Согласно классическому определению Тома Митчелла (1997)^[3], «компьютерная программа считается обучающейся на опыте E относительно некоторого класса задач T и меры качества P, если её качество на задачах из T, измеренное с помощью P, улучшается с накоплением опыта E».

Различают два типа обучения:

1. Обучение по прецедентам, или индуктивное обучение, основано на выявлении эмпирических закономерностей в данных.
2. Дедуктивное обучение предполагает формализацию знаний экспертов и их перенос в компьютер в виде базы знаний.

Дедуктивное обучение принято относить к области экспертных систем, поэтому термины машинное обучение и обучение по прецедентам можно считать синонимами.

Многие методы индуктивного обучения разрабатывались как альтернатива классическим статистическим подходам. Многие методы тесно связаны с извлечением информации (англ. information extraction, information retrieval), интеллектуальным анализом данных (data mining).

Имеется множество объектов (ситуаций) и множество возможных ответов (откликов, реакций). Существует некоторая зависимость между ответами и объектами, но она неизвестна. Известна только конечная совокупность прецедентов — пар «объект, ответ», называемая обучающей выборкой. На основе этих данных требуется восстановить неявную зависимость, то есть построить алгоритм, способный для любого возможного входного объекта выдать достаточно точный классифицирующий ответ. Эта зависимость не обязательно выражается аналитически, и здесь нейросети реализуют принцип эмпирически формируемого решения. Важной особенностью при этом является способность обучаемой системы к обобщению, то есть к адекватному отклику на данные, выходящие за пределы имеющейся обучающей выборки. Для измерения точности ответов вводится оценочный функционал качества.

Данная постановка является обобщением классических задач аппроксимации функций. В классических задачах аппроксимации объектами являются действительные числа или векторы. В реальных прикладных задачах входные данные об объектах могут быть неполными, неточными, нечисловыми, разнородными. Эти особенности приводят к большому разнообразию методов машинного обучения.

Раздел машинного обучения, с одной стороны, образовался в результате разделения науки о нейросетях на методы обучения сетей и виды топологий их архитектуры, с другой стороны — вобрал в себя методы математической статистики^[a]. Указанные ниже способы машинного обучения основаны на применении нейросетей, хотя существуют и другие методы, основанные на обучающей выборке — например, дискриминантный анализ, оперирующий обобщённой дисперсией и ковариацией наблюдаемой статистики, или байесовские классификаторы. Базовые виды нейросетей, такие как перцептрон и многослойный перцептрон (а также их модификации), могут обучаться как с учителем, так и без учителя, с подкреплением и самоорганизацией. Но некоторые нейросети и большинство статистических методов можно отнести только к одному из способов обучения. Поэтому, если нужно классифицировать методы машинного обучения в зависимости от способа обучения, то будет некорректным относить нейросети к определенному виду, правильнее было бы типизировать алгоритмы обучения нейронных сетей.

• Обучение с учителем — для каждого прецедента задаётся пара «ситуация, требуемое решение»:

1. Искусственная нейронная сеть
   1. Глубокое обучение
2. Метод коррекции ошибки
3. Метод обратного распространения ошибки
4. Метод опорных векторов

• Обучение без учителя — когда требуется сгруппировать объекты в кластеры, используя данные о попарном сходстве объектов, и/или понизить размерность данных:

1. Альфа-система подкрепления
2. Гамма-система подкрепления
3. Метод ближайших соседей

• Обучение с подкреплением — для каждого прецедента имеется пара «ситуация, принятое решение»:

1. Генетический алгоритм.

• Активное обучение — отличается тем, что обучаемый алгоритм имеет возможность самостоятельно назначать следующую исследуемую ситуацию, на которой станет известен верный ответ:
• Обучение с частичным привлечением учителя (англ. semi-supervised learning) — для части прецедентов задается пара «ситуация, требуемое решение», а для части — только «ситуация»
• Трансдуктивное обучение — обучение с частичным привлечением учителя, когда прогноз предполагается делать только для прецедентов из тестовой выборки
• Многозадачное обучение (англ. multi-task learning) — одновременное обучение группе взаимосвязанных задач, для каждой из которых задаются свои пары «ситуация, требуемое решение»
• Многовариантное обучение (англ. multiple-instance learning) — обучение, когда прецеденты могут быть объединены в группы, в каждой из которых для всех прецедентов имеется «ситуация», но только для одного из них (причем, неизвестно какого) имеется пара «ситуация, требуемое решение»
• Бустинг (англ. boosting — улучшение) — это процедура последовательного построения композиции алгоритмов машинного обучения, когда каждый следующий алгоритм стремится компенсировать недостатки композиции всех предыдущих алгоритмов.
• Байесовская сеть

• Классификация, как правило, выполняется с помощью обучения с учителем на этапе собственно обучения.
• Кластеризация, как правило, выполняется с помощью обучения без учителя
• Регрессия, как правило, выполняется с помощью обучения с учителем на этапе тестирования, является частным случаем задач прогнозирования.
• Понижение размерности данных и их визуализация выполняется с помощью обучения без учителя
• Восстановление плотности распределения вероятности по набору данных
• Одноклассовая классификация и выявление новизны
• Построение ранговых зависимостей
• Обнаружение аномалий

• Признаковое описание объектов или матрица объекты-признаки — наиболее распространённый случай. Каждый объект описывается набором признаков.
• Матрица расстояний между объектами. Каждый объект описывается расстояниями до всех остальных объектов обучающей выборки, чаще всего отношениями попарного сходства.
• Временной ряд или сигнал. Последовательность измерений во времени, которое может представляться числом, вектором, а в общем случае — признаковым описанием в данный момент времени.
• Изображение или видеоряд.
• Обычный текст с помощью обработки естественного языка.

• При обучении с учителем — функционал качества может определяться как средняя ошибка ответов. Предполагается, что искомый алгоритм должен его минимизировать. Для предотвращения переобучения в минимизируемый функционал качества часто в явном или неявном виде добавляют регуляризатор.
• При обучении без учителя — функционалы качества могут определяться по-разному, например, как отношение средних межкластерных и внутрикластерных расстояний.
• При обучении с подкреплением — функционалы качества определяются физической средой, показывающей качество приспособления агента.

Целью машинного обучения является частичная или полная автоматизация решения сложных профессиональных задач в самых разных областях человеческой деятельности.

Машинное обучение имеет широкий спектр приложений^{[источник не указан 4328 дней]}:

• Распознавание речи
• Распознавание жестов
• Распознавание рукописного ввода
• Распознавание образов
• Техническая диагностика
• Медицинская диагностика
• Прогнозирование временных рядов
• Биоинформатика
• Обнаружение мошенничества
• Обнаружение спама
• Категоризация документов
• Биржевой технический анализ
• Финансовый надзор (см. также Финансовые преступления)
• Кредитный скоринг
• Прогнозирование ухода клиентов
• Хемоинформатика
• Обучение ранжированию в информационном поиске

Сфера применений машинного обучения постоянно расширяется. Повсеместная информатизация приводит к накоплению огромных объёмов данных в науке, производстве, бизнесе, транспорте, здравоохранении. Возникающие при этом задачи прогнозирования, управления и принятия решений часто сводятся к обучению по прецедентам. Раньше, когда таких данных не было, эти задачи либо вообще не ставились, либо решались совершенно другими методами.

• Глубокое обучение
• Квантовое машинное обучение
• Искусственный интеллект

• Hastie, T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. — 2nd ed. — Springer-Verlag, 2009. — 746 p. — ISBN 978-0-387-84857-0..
• Michalski, Ryszard S; Jaime G. Carbonell, Tom M. Mitchell. Machine Learning: An Artificial Intelligence Approach. — Tioga Publishing Company, 1983. — ISBN 0-935382-05-4.
• Mitchell Tom. Machine Learning (англ.). — Нью-Йорк: McGraw-Hill, 1997. — ISBN 0-07-042807-7. — This book provides a single source introduction to the field. It is written for advanced undergraduate and graduate students, and for developers and researchers in the field. No prior background in artificial intelligence or statistics is assumed.
• Schölkopf, Bernhard; Smola, Alexander J. Learning with Kernels. Support Vector Machines, Regularization, Optimization, and Beyond. — MIT Press, Cambridge, MA, 2002. — ISBN 978-0-262-19475-4.
• Vapnik V.N. Statistical learning theory. — N.Y.: John Wiley & Sons, Inc., 1998.
• Wang, Liang; Li Cheng, Guoying Zhao. Machine Learning for Human Motion Analysis. — IGI Global, 2009. — 318 p. — ISBN 978-1-60566-900-7. — doi:10.4018/978-1-60566-900-7.
• Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983.
• Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: исследование зависимостей. — М.: Финансы и статистика, 1985.
• Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989.
• Вапник В. Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979.
• Журавлёв Ю. И., Рязанов В. В., Сенько О. В. «Распознавание». Математические методы. Программная система. Практические применения. — М.: Фазис, 2006. ISBN 5-7036-0108-8.
• Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999. ISBN 5-86134-060-9.
• Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. — Киев: Наукова думка, 2004. — ISBN 966-00-0341-2.

• Simon J.D. Prince. Understanding Deep Learning (англ.). UDL Book (2025). — It is intended to be the spiritual successor to Deep Learning (Goodfellow et al., 2016) which is a fantastic resource but does not cover recent advances. At the time of writing, deep networks are the most powerful and practical machine learning models and are often encountered in day-to-day life. Дата обращения: 20 августа 2025.
• Бурков, Андрей. Машинное обучение без лишних слов. — СПб.: Питер, 2020. — С. 192. — (Библиотека программиста). — ISBN 978-5-4461-1560-0. — Типичные книги по машинному обучению консервативны, академичны и растянуты на тысячи страниц, здесь же, в паре сотен страниц, упор сделан на алгоритмах и методах, которые пригодятся в повседневной работе.
• Лекун, Ян. Как учится машина. Революция в области нейронных сетей и глубокого обучения. (Библиотека Сбера: Искусственный интеллект). — М.: Альпина нон-фикшн, 2021. — 348 с. — ISBN 978-5-907394-29-2.
• Николенко, Сергей. Машинное обучение: основы. — Санкт-Петербург: Питер, 2025. — 608 с. — ISBN 978-5-4461-4191-3.
• Принс, Саймон. Машинное обучение. От основ до продвинутых моделей. — Эксмо, 2025. — ISBN 978-5-04-192658-8. — Авторитетное, доступное и современное введение в машинное и глубокое обучение с примерами на Python (PyTorch), написанное «в качестве продолжения, вдохновленного книгой „Глубокое обучение“ (ДМК, Москва, 2018) (Goodfellow et al., 2016), которая, при всех её невероятных достоинствах, не упоминает новейших достижений».
• Серрано, Луис. Грокаем машинное обучение = Grokking Machine Learning. — Питер, 2024. — С. 512. — (Библиотека программиста). — ISBN 978-5-4461-1923-3. — Книга объясняет ключевые концепции машинного обучения простым языком и иллюстрациями без академического жаргона, но используя библиотеки Python (scikit-learn, keras (TensorFlow)).
• Флах П. Машинное обучение. — М.: ДМК Пресс, 2015. — 400 с. — ISBN 978-5-97060-273-7.

• MachineLearning.ru — ресурс по машинному обучению, распознаванию образов и интеллектуальному анализу данных  (неопр.). Научная школа академика РАН Ю. И. Журавлёва и чл.-корр. РАН К. В. Рудакова; Forecsys (1 января 2008). — Открытая вики-платформа российского научного сообщества, созданная в рамках проекта (№ 07-07-00372) РФФИ и поддерживаемая компанией Forecsys. Дата обращения: 20 августа 2025.
• ГОСТ Р 71476-2024. Искусственный интеллект. Концепции и терминология искусственного интеллекта  (неопр.). Digital Russia (декабрь 2024). — Введён в действие с 1 января 2025 года и является первым национальным стандартом в области концепций и терминологии искусственного интеллекта в России. Дата обращения: 18 августа 2025.
• Воронцов, Константин. Машинное обучение. Вводная лекция (ШАД, Яндекс)  (неопр.). Yandex for ML (2 мая 2020). Дата обращения: 20 августа 2025.
• Голиков, Евгений; Синицин, Филипп; Федотов, Станислав и др. Учебник по машинному обучению  (неопр.). Яндекс Образование (9 ноября 2022). Дата обращения: 20 августа 2025. — актуальный хендбук, включающий описание трансформеров и больших языковых моделей (GPT-3, InstructGPT^[англ.], ChatGPT и LLaMA).
• Кураленок, Игорь (с участием Никиты Поварова и Андрея Гулина). Машинное обучение (2013/14)  (неопр.). Лекториум (2013–2014). Дата обращения: 20 августа 2025.
• Шамин, Роман. Курс «Машинное обучение и искусственный интеллект в математике и приложениях». НОЦ Математического института им. В. А. Стеклова РАН