Research and assessment of the indecomposable remainder in the degree of influence of each variable in factor analysis

Abstract


The least absolute deviation method is one of the most common alternatives to the least squares method in regression analysis. It allows obtaining stable estimates of coefficients when the probability density of random errors has more elongated tails compared to the normal distribution. However, when several violations of the Gauss-Markov conditions are combined, for example, with a one-sided nature of outliers and the presence of a correlation between explanatory variables and random errors, the least absolute deviation method also does not provide acceptable accuracy in estimating regression dependencies. One of the promising ways to solve this problem may be the weighted least absolute deviation method.The problem of determining the parameters of linear regression models based on the weighted least absolute deviation method is considered. Exact algorithms for solving it are described. The computational efficiency of exact algorithms for solving the problem of the weighted least absolute deviation method is investigated. It is proved that adding weight coefficients to the coordinate-wise and modified gradient descent algorithms did not cause changes in terms of computational complexity and accuracy of the solution. Nevertheless, a small increase in the execution time of computational experiments was recorded due to the addition of an additional operation to the descent algorithms. This dependence is more noticeable in the coordinate variant. This is due to the fact that the value of the objective function in it is determined at each nodal point of the nodal straight line up to finding the minimum, while in the gradient descent it is determined only at the point of extremum.As a result of the comparative analysis with the gradient projection method and solutions of direct and dual problems of linear programming using the simplex method, it was found that they are more than an order of magnitude inferior to the gradient descent along nodal straight lines in terms of computation time. It is shown that the gradient projection method does not guarantee finding an exact solution to problem.

Full Text

4

About the authors

O. A Golovanov

Institute of Economics, Ural Branch, Russian Academy of Science

A. N Tyrsin

Institute of Economics, Ural Branch, Russian Academy of Science

References

  1. Вероятность и математическая статистика: энциклопедия / гл. ред. Ю.В. Прохоров. – М.: Большая Российская энциклопедия. 1999. – 910 с.
  2. Справочник по теории вероятностей и математической статистике / В.С. Королюк, Н.И. Портенко, А.В. Скороход, А.Ф. Турбин. – 2-е изд., перераб. и доп. – М.: Наука. ФИЗМАТЛИТ, 1985. – 640 с.
  3. Орлов, А.И. Многообразие моделей регрессионного анализа (обобщающая статья) / А.И. Орлов // Заводская лаборатория. Диагностика материалов. – 2018. – Т. 84, № 5. – С. 63–73. doi: 10.26896/1028-6861-2018-84-5-63-73
  4. Айвазян, С.А. Прикладная статистика: Исследование зависимостей / С.А. Айвазян, И.С. Енюков, Л.Д. Мешалкин. – М.: Финансы и статистика, 1985. – 488 с.
  5. Себер, Дж. Линейный регрессионный анализ: пер. с англ. / Дж. Себер. – М.: Мир, 1980. – 456 с.
  6. Huber, P.J. Data Analysis. What Can Be Learned from the Past 50 Years / P.J. Huber. – Wiley, 2011 – 235 p.
  7. Демиденко, Е.З. Линейная и нелинейная регрессия / Е.З. Демиденко. – М.: Финансы и статистика, 1981. – 302 с.
  8. Мудров, В.И. Методы обработки измерений. Квазиправдоподобные оценки / В.И. Мудров, В.Л. Кушко. – М.: Радио и связь, 1983. – 304 с.
  9. Нелюбин, А.П. Аппроксимация таблично заданных функций: многокритериальный подход / А.П. Нелюбин, В.В. Подиновский // Журнал вычислительной математики и математической физики. – 2023. – Т. 63, № 5. – С. 717–730. doi: 10.31857/S0044466923050174
  10. Болдин М.В. Знаковый статистический анализ линейных моделей / М.В. Болдин, Г.И. Симонова, Ю.Н. Тюрин. – М.: Наука. ФИЗМАТЛИТ, 1997. – 288 с.
  11. Лисицин, Д.В. Устойчивые методы оценивания параметров статистических моделей / Д.В. Лисицин. – Новосибирск: Изд-во НГТУ, 2013. – 76 с.
  12. Тырсин, А.Н. Робастное построение регрессионных зависимостей на основе обобщенного метода наименьших модулей / А.Н. Тырсин // Записки научных семинаров ПОМИ. – 2005. – Т. 328. – С. 236–250.
  13. Muler, N. Robust estimation for ARMA models / N. Muler, D. Pena, V.J. Yohai // The Annals of Statistics. – 2009. – Vol. 37, no. 2. – P. 816–840. doi: 10.1214/07-AOS570
  14. Zaman, T. Some Robust Estimation Methods and Their Applications / T. Zaman, K. Alakus // The Journal of Operations Research, Statistics, Econometrics and Management Information Systems. – 2015. – Vol. 3, no. 2. – P. 73–82.
  15. Anandhi, P. The robust regression estimators: Performance & evaluation / P. Anandhi, S.M. Prabhu // International Journal of Statistics and Applied Mathematics. – 2023. – Vol. 8(6). – P. 83–87.
  16. Панюков, А.В. Взаимосвязь взвешенного и обобщенного вариантов метода наименьших модулей / А.В. Панюков, А.Н. Тырсин // Известия Челябинского научного центра. – 2007. – В.1(35). – С. 6–11.
  17. Panyukov, A.V. Stable estimation of autoregressive model parameters with exogenous variables on the basis of the generalized least absolute deviation method / A.V. Panyukov, Y.A. Mezaal // IFAC-PapersOnLine. – 2018. – Vol. 51. – P. 1666–1669.
  18. Narula, S.C. Algorithm AS108: Multiple linear regression with minimum sum of absolute errors / S.C. Narula, J.F. Wellington // Applied Statistics. – 1977. – Vol. 26. – P. 106–111.
  19. Armstrong, R.D. Algorithm AS132: Least absolute value estimates for a simple linear regression problem / R.D. Armstrong, D.S. Kung // Applied Statistics. – 1978. – Vol. 27. – P. 363–366.
  20. Тырсин, А.Н. Алгоритмы спуска по узловым прямым в задаче оценивания регрессионных уравнений методом наименьших модулей / А.Н. Тырсин // Заводская лаборатория. Диагностика материалов. – 2021. – Т. 87, № 5. – С. 68–75. doi: 10.26896/1028-6861-2021-87-5-68-75
  21. Голованов, О.А. Модификация метода наименьших модулей на основе градиентного спуска по узловым прямым / О.А. Голованов, А.Н. Тырсин // Математические методы в технике и технологиях. – 2023. – № 11. – С. 43–46. doi: 10.52348/2712-8873_MMTT_2023_11_43
  22. Голованов, О.А. Спуск по узловым прямым и симплекс-алгоритм – два варианта регрессионного анализа на основе метода наименьших модулей / О.А. Голованов, А.Н. Тырсин // Заводская лаборатория. Диагностика материалов. – 2024. – Т. 90, № 5. – С. 79–87. doi: 10.26896/1028-6861-2024-90-5-79-87
  23. Тырсин, А.Н. Точное оценивание линейных регрессионных моделей методом наименьших модулей на основе спуска по узловым прямым / А.Н. Тырсин, А.А. Азарян // Вестник ЮУрГУ. Серия «Математика. Механика. Физика». – 2018. – Т. 10, № 2. – С. 47–56. doi: 10.14529/mmph180205
  24. Rosen, J.B. The Gradient Projection Method for Nonlinear Programming, Part 1: Linear Constraints / Rosen J.B. // Journal of the Society for Industrial and Applied Mathematics. – 1960. – Vol. 8, no. 1. – P. 181–217. doi: 10.1137/0108011
  25. The Travelling Salesman Problem: A Guided Tour of Combinatorial Optimization / Edited by E.L. Lawler, J. K. Lenstra, A.H.G. Rinnooy Kan, D.B. Shmoys. – J. Wiley & Sons, 1985. – 465 p.
  26. Мину, М. Математическое программирование. Теория и алгоритмы: пер. с франц. / М. Мину. – М.: Наука. Гл. ред. физ.-мат. лит., 1990. – 488 с.
  27. Панюков, А.В. Параметрическая идентификация квазилинейного разностного уравнения / А.В. Панюков, Я.А. Мезал // Вестник Южно-Уральского государственного университета. Серия: Математика. Механика. Физика. – 2019. – Т. 11, № 4. – С. 32–38. doi: 10.14529/mmph190404
  28. Tukey, J.W. A Survey of Sampling from Contaminated Distribution / J.W. Tukey // Contributions to Probability and Statistics. Stanford: Stanford University Press, 1960. – P. 443–485.
  29. Хьюбер, П. Робастность в статистике: пер. с англ. / П. Хьюбер. – М.: Мир, 1984. – 304 с.

Statistics

Views

Abstract - 41

PDF (Russian) - 9

Refbacks

  • There are currently no refbacks.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies