В статистике метод оценки с помощью апостериорного максимума (MAP) тесно связан с методом максимального правдоподобия (ML), но дополнительно при оптимизации использует априорное распределение величины, которую оценивает.
Предположим, что нам нужно оценить cтатистический параметр
на основе наблюдений
. Пусть
— выборочное распределение
, так что
— вероятность
при условии, что параметр выборки принимает значение
. Тогда функция
![{\displaystyle \theta \mapsto f(x|\theta )}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5e20af5cde634c106d20cc272734d473533cda85)
— функция правдоподобия, а оценка
![{\displaystyle {\hat {\theta }}_{\mathrm {ML} }(x)=\arg \max _{\theta }f(x|\theta )}](https://wikimedia.org/api/rest_v1/media/math/render/svg/65122e7dac2481d7c4fa5c60d40ddd6eef66e29e)
— оценка максимального правдоподобия
.
Теперь предположим, что существует априорное распределение
величины
. Это позволяет рассматривать
как случайную величину в байесовской статистике. Тогда апостериорное распределение
:
![{\displaystyle \theta \mapsto {\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/34b46fd05c4765ef865ba4b5dd7a9779ad9ba111)
где
плотность распределения
,
— область определения
. Это прямое приложение Теоремы Байеса.
Метод оценки апостериорного максимального правдоподобия даёт оценку
как моды апостериорного распределения этой случайной величины:
![{\displaystyle {\hat {\theta }}_{\mathrm {MAP} }(x)=\arg \max _{\theta }{\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}=\arg \max _{\theta }f(x|\theta )\,g(\theta )}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ea945ce6400b6d3629bebab938b8edfb06a030f8)
Знаменатель апостериорного распределения не зависит от
и поэтому не играет роли в оптимизации. Заметим, что MAP-оценка
соответствует ML-оценке, когда априорное распределение
постоянно (то есть
— константа).
Предположим, что у нас есть последовательность
i.i.d.
случайных величин и априорное распределение
задано
. Мы хотим найти MAP оценку
.
Функция, которую нужно максимизировать задана
![{\displaystyle \pi (\mu )L(\mu )={\frac {1}{\sqrt {2\pi \sigma _{m}}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{\sqrt {2\pi \sigma _{v}}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/db3d4a56ae577916b5768f3c51475aef20781581)
что эквивалентно минимизации
в
![{\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu }{\sigma _{m}}}\right)^{2}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2bc22ed4a09d166c5ade6fe44f4be969c89de3d8)
Таким образом, мы видим, что MAP оценка для μ задана
![{\displaystyle {\hat {\mu }}_{MAP}={\frac {\sigma _{m}^{2}}{n\sigma _{m}^{2}+\sigma _{v}^{2}}}\sum _{j=1}^{n}x_{j}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/269a23fbf49125032db656444988bdc743450a8d)
- DeGroot, Morris H. Optimal Statistical Decisions. McGraw-Hill. 1970.
- Harold W. Sorenson. Parameter Estimation: Principles and Problems. Marcel Dekker. 1980.