The use of maximum entropy principle to construct robust estimators under point Bayesian contamination. Part II
- Authors: Lisitsin D.V1, Gavrilov K.V1
- Affiliations:
- Novosibirsk State Technical University
- Issue: No 2 (2024)
- Pages: 18–33
- Section: ARTICLES
- URL: https://ered.pstu.ru/index.php/amcs/article/view/4479
- DOI: https://doi.org/10.15593/2499-9873/2024.2.02
- Cite item
Abstract
The work is devoted to the theory of robust parameter estimation of statistical models using the apparatus of information theory. The approach of A.M. Shurygin based on the model of a series of samples with random point contamination (point Bayesian contamination model) is considered. The first part of our work describes a non-parametric method of selecting the contamination point distribution – by maximizing Shannon entropy or cross entropy in the neighborhood of the model distribution limited by the value of Kulbak – Leibler divergence. This way of finding the distribution density of the contamination point allows us to consider the resulting estimators as robust, and, moreover, having the optimality property. We call the obtained estimators generalized radical, since their special case is the radical estimators of A.M. Shurygin.In the second part of the work, another optimal solution is obtained on the basis of the formalism of A. Rényi (or the formalism of C. Tsallis equivalent in terms of our problem) that gives a new family of estimators, the special cases of which are also some well-known estimators. To select one estimate from a family defined by different divergence constraints, an optimization approach is proposed. The main theoretical results obtained in the paper are illustrated by the example of location estimating for the cosine distribution.
Keywords
parameter estimation, robustness, influence function, redescending estimators, principle of maximal entropy, Shannon entropy, Kulback – Leibler divergence, Rényi entropy, Rényi divergence, Tsallis entropy, Tsallis divergence, alpha-divergence, Burg entropy, Hellinger distance, power-of-cosine distribution.
Full Text
2About the authors
D. V Lisitsin
Novosibirsk State Technical University
K. V Gavrilov
Novosibirsk State Technical University
References
- Шурыгин, А.М. Математические методы прогнозирования: учебное пособие для вузов / А.М. Шурыгин. – М.: Горячая линия – Телеком, 2009. – 180 с.
- Rényi, A. On measure of entropy and information / A. Rényi // Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability. – 1961. – Vol. 1. – P. 547–561.
- Principe, J.C. Information theoretic learning: Renyi’s entropy and kernel perspectives / J.C. Principe. – Springer: Information Science and Statistics. – 2010. – 515 p. doi: 10.1007/978-1-4419-1570-2
- Tsallis, C. Introduction to nonextensive statistical mechanics: approaching a complex world / C. Tsallis. – N.Y.: Springer, 2009. – 382 p. doi: 10.1007/978-0-387-85359-8
- Cichocki, A. Families of alpha- beta- and gamma-divergences: flexible and robust measures of similarities / A. Cichocki, S.-I. Amari // Entropy. – 2010. – Vol. 12, no. 6. – P. 1532–1568. doi: 10.3390/e12061532
- Боровков, А.А. Математическая статистика / А.А. Боровков. – СПб.: Издательство «Лань», 2021. – 704 с.
- Лисицин, Д.В. О свойствах условно оптимальных оценок / Д.В. Лисицин, К.В. Гаврилов // Научный вестник НГТУ. – 2015. – № 1(58). – С. 76–93. doi: 10.17212/1814-1196-2015-1-76-93
- Хьюбер, П. Робастность в статистике / П. Хьюбер. – М.: Мир, 1984. – 303 с.
- Робастность в статистике: подход на основе функций влияния / Ф. Хампель, Э. Рончетти, П. Рауссеу, В. Штаэль. – М.: Мир, 1989. – 512 с.
- Лисицин, Д.В. Исследование стойких оценок параметров распределения минимального значения / Д.В. Лисицин, Д.А. Грюнер // Доклады АН ВШ РФ. – 2010. – № 1(14). – С. 6–17.
- Лисицин, Д.В. Исследование устойчивых оценок параметров распределения минимальных значений / Д.В. Лисицин, Д.А. Грюнер // Научный вестник НГТУ. – 2010. – № 2(39). – С. 21–30.
- Cartwright, D.E. The use of directional spectra in studying the output of a wave recorder on a moving ship / D.E. Cartwright // Ocean Wave Spectra: Proc. of Conf. – New Jersey: Prentice Hall, 1963. – P. 203–218.
- Лисицин, Д.В. Оценивание параметров распределения ограниченной случайной величины, робастное к нарушению границ / Д.В. Лисицин, К.В. Гаврилов // Научный вестник НГТУ. – 2016. – № 2(63). – С. 70–89. doi: 10.17212/1814-1196-2016-2-70-89
- Цыпкин, Я.З. Основы информационной теории идентификации / Я.З. Цыпкин. – М.: Наука, 1984. – 320 с.
- Robust and efficient estimation by minimizing a density power divergence / A. Basu, I.R. Harris, N.L. Hjort, M.C. Jones // Biometrika. – 1998. – Vol. 85. – P. 549–559. doi: 10.1093/BIOMET/85.3.549
- Демиденко, Е.З. Линейная и нелинейная регрессии / Е.З. Демиденко. – М.: Финансы и статистика, 1981. – 302 с.
- Лисицин, Д.В. Устойчивое оценивание параметров модели по многомерным неоднородным неполным данным / Д.В. Лисицин // Научный вестник НГТУ. – 2013. – № 1(50). – С. 17–30.
Statistics
Views
Abstract - 5
PDF (Russian) - 2
Refbacks
- There are currently no refbacks.