Research and assessment of the indecomposable remainder in the degree of influence of each variable in factor analysis
- Authors: Golovanov O.A1, Tyrsin A.N1
- Affiliations:
- Institute of Economics, Ural Branch, Russian Academy of Science
- Issue: No 4 (2024)
- Pages: 52-64
- Section: ARTICLES
- URL: https://ered.pstu.ru/index.php/amcs/article/view/4571
- DOI: https://doi.org/10.15593/2499-9873/2024.4.04
- Cite item
Abstract
The least absolute deviation method is one of the most common alternatives to the least squares method in regression analysis. It allows obtaining stable estimates of coefficients when the probability density of random errors has more elongated tails compared to the normal distribution. However, when several violations of the Gauss-Markov conditions are combined, for example, with a one-sided nature of outliers and the presence of a correlation between explanatory variables and random errors, the least absolute deviation method also does not provide acceptable accuracy in estimating regression dependencies. One of the promising ways to solve this problem may be the weighted least absolute deviation method.The problem of determining the parameters of linear regression models based on the weighted least absolute deviation method is considered. Exact algorithms for solving it are described. The computational efficiency of exact algorithms for solving the problem of the weighted least absolute deviation method is investigated. It is proved that adding weight coefficients to the coordinate-wise and modified gradient descent algorithms did not cause changes in terms of computational complexity and accuracy of the solution. Nevertheless, a small increase in the execution time of computational experiments was recorded due to the addition of an additional operation to the descent algorithms. This dependence is more noticeable in the coordinate variant. This is due to the fact that the value of the objective function in it is determined at each nodal point of the nodal straight line up to finding the minimum, while in the gradient descent it is determined only at the point of extremum.As a result of the comparative analysis with the gradient projection method and solutions of direct and dual problems of linear programming using the simplex method, it was found that they are more than an order of magnitude inferior to the gradient descent along nodal straight lines in terms of computation time. It is shown that the gradient projection method does not guarantee finding an exact solution to problem.
Full Text
4About the authors
O. A Golovanov
Institute of Economics, Ural Branch, Russian Academy of Science
A. N Tyrsin
Institute of Economics, Ural Branch, Russian Academy of Science
References
- Вероятность и математическая статистика: энциклопедия / гл. ред. Ю.В. Прохоров. – М.: Большая Российская энциклопедия. 1999. – 910 с.
- Справочник по теории вероятностей и математической статистике / В.С. Королюк, Н.И. Портенко, А.В. Скороход, А.Ф. Турбин. – 2-е изд., перераб. и доп. – М.: Наука. ФИЗМАТЛИТ, 1985. – 640 с.
- Орлов, А.И. Многообразие моделей регрессионного анализа (обобщающая статья) / А.И. Орлов // Заводская лаборатория. Диагностика материалов. – 2018. – Т. 84, № 5. – С. 63–73. doi: 10.26896/1028-6861-2018-84-5-63-73
- Айвазян, С.А. Прикладная статистика: Исследование зависимостей / С.А. Айвазян, И.С. Енюков, Л.Д. Мешалкин. – М.: Финансы и статистика, 1985. – 488 с.
- Себер, Дж. Линейный регрессионный анализ: пер. с англ. / Дж. Себер. – М.: Мир, 1980. – 456 с.
- Huber, P.J. Data Analysis. What Can Be Learned from the Past 50 Years / P.J. Huber. – Wiley, 2011 – 235 p.
- Демиденко, Е.З. Линейная и нелинейная регрессия / Е.З. Демиденко. – М.: Финансы и статистика, 1981. – 302 с.
- Мудров, В.И. Методы обработки измерений. Квазиправдоподобные оценки / В.И. Мудров, В.Л. Кушко. – М.: Радио и связь, 1983. – 304 с.
- Нелюбин, А.П. Аппроксимация таблично заданных функций: многокритериальный подход / А.П. Нелюбин, В.В. Подиновский // Журнал вычислительной математики и математической физики. – 2023. – Т. 63, № 5. – С. 717–730. doi: 10.31857/S0044466923050174
- Болдин М.В. Знаковый статистический анализ линейных моделей / М.В. Болдин, Г.И. Симонова, Ю.Н. Тюрин. – М.: Наука. ФИЗМАТЛИТ, 1997. – 288 с.
- Лисицин, Д.В. Устойчивые методы оценивания параметров статистических моделей / Д.В. Лисицин. – Новосибирск: Изд-во НГТУ, 2013. – 76 с.
- Тырсин, А.Н. Робастное построение регрессионных зависимостей на основе обобщенного метода наименьших модулей / А.Н. Тырсин // Записки научных семинаров ПОМИ. – 2005. – Т. 328. – С. 236–250.
- Muler, N. Robust estimation for ARMA models / N. Muler, D. Pena, V.J. Yohai // The Annals of Statistics. – 2009. – Vol. 37, no. 2. – P. 816–840. doi: 10.1214/07-AOS570
- Zaman, T. Some Robust Estimation Methods and Their Applications / T. Zaman, K. Alakus // The Journal of Operations Research, Statistics, Econometrics and Management Information Systems. – 2015. – Vol. 3, no. 2. – P. 73–82.
- Anandhi, P. The robust regression estimators: Performance & evaluation / P. Anandhi, S.M. Prabhu // International Journal of Statistics and Applied Mathematics. – 2023. – Vol. 8(6). – P. 83–87.
- Панюков, А.В. Взаимосвязь взвешенного и обобщенного вариантов метода наименьших модулей / А.В. Панюков, А.Н. Тырсин // Известия Челябинского научного центра. – 2007. – В.1(35). – С. 6–11.
- Panyukov, A.V. Stable estimation of autoregressive model parameters with exogenous variables on the basis of the generalized least absolute deviation method / A.V. Panyukov, Y.A. Mezaal // IFAC-PapersOnLine. – 2018. – Vol. 51. – P. 1666–1669.
- Narula, S.C. Algorithm AS108: Multiple linear regression with minimum sum of absolute errors / S.C. Narula, J.F. Wellington // Applied Statistics. – 1977. – Vol. 26. – P. 106–111.
- Armstrong, R.D. Algorithm AS132: Least absolute value estimates for a simple linear regression problem / R.D. Armstrong, D.S. Kung // Applied Statistics. – 1978. – Vol. 27. – P. 363–366.
- Тырсин, А.Н. Алгоритмы спуска по узловым прямым в задаче оценивания регрессионных уравнений методом наименьших модулей / А.Н. Тырсин // Заводская лаборатория. Диагностика материалов. – 2021. – Т. 87, № 5. – С. 68–75. doi: 10.26896/1028-6861-2021-87-5-68-75
- Голованов, О.А. Модификация метода наименьших модулей на основе градиентного спуска по узловым прямым / О.А. Голованов, А.Н. Тырсин // Математические методы в технике и технологиях. – 2023. – № 11. – С. 43–46. doi: 10.52348/2712-8873_MMTT_2023_11_43
- Голованов, О.А. Спуск по узловым прямым и симплекс-алгоритм – два варианта регрессионного анализа на основе метода наименьших модулей / О.А. Голованов, А.Н. Тырсин // Заводская лаборатория. Диагностика материалов. – 2024. – Т. 90, № 5. – С. 79–87. doi: 10.26896/1028-6861-2024-90-5-79-87
- Тырсин, А.Н. Точное оценивание линейных регрессионных моделей методом наименьших модулей на основе спуска по узловым прямым / А.Н. Тырсин, А.А. Азарян // Вестник ЮУрГУ. Серия «Математика. Механика. Физика». – 2018. – Т. 10, № 2. – С. 47–56. doi: 10.14529/mmph180205
- Rosen, J.B. The Gradient Projection Method for Nonlinear Programming, Part 1: Linear Constraints / Rosen J.B. // Journal of the Society for Industrial and Applied Mathematics. – 1960. – Vol. 8, no. 1. – P. 181–217. doi: 10.1137/0108011
- The Travelling Salesman Problem: A Guided Tour of Combinatorial Optimization / Edited by E.L. Lawler, J. K. Lenstra, A.H.G. Rinnooy Kan, D.B. Shmoys. – J. Wiley & Sons, 1985. – 465 p.
- Мину, М. Математическое программирование. Теория и алгоритмы: пер. с франц. / М. Мину. – М.: Наука. Гл. ред. физ.-мат. лит., 1990. – 488 с.
- Панюков, А.В. Параметрическая идентификация квазилинейного разностного уравнения / А.В. Панюков, Я.А. Мезал // Вестник Южно-Уральского государственного университета. Серия: Математика. Механика. Физика. – 2019. – Т. 11, № 4. – С. 32–38. doi: 10.14529/mmph190404
- Tukey, J.W. A Survey of Sampling from Contaminated Distribution / J.W. Tukey // Contributions to Probability and Statistics. Stanford: Stanford University Press, 1960. – P. 443–485.
- Хьюбер, П. Робастность в статистике: пер. с англ. / П. Хьюбер. – М.: Мир, 1984. – 304 с.
Statistics
Views
Abstract - 29
PDF (Russian) - 4
Refbacks
- There are currently no refbacks.