Построение квантильной регрессии с использованием натурального градиентного спуска

Аннотация


Построение математических моделей является важной составляющей разработки цифровых продуктов в различных отраслях промышленности, медицине, геологии, строительстве, финансовой сфере и других областях. Моделирование позволяет оптимизировать производственные процессы, выявлять закономерности, прогнозировать временные ряды, классифицировать объекты и строить регрессии. Квантильные регрессионные модели являются обобщением медианной регрессии и могут быть использованы для углубленного исследования данных. Квантильный анализ включает в себя оценку параметров модели и определение квантильных значений зависимой переменной для заданных значений независимой переменной. Для этого используется минимизация функции потерь, исходя из квантильных значений. В отличие от метода наименьших квадратов, квантильная регрессия позволяет более точно предсказывать значения зависимой переменной при изменении значений независимой переменной. То есть квантильная регрессия более робастна. Она может быть использована для решения многих задач в разных областях науки и бизнеса, где необходимо более точно предсказывать значения зависимой переменной в изменяющихся условиях. Натуральный градиентный спуск является эффективным методом для построения регрессии и имеет более высокую скорость сходимости по сравнению с классическим алгоритмом. Однако на практике данный метод является достаточно сложным с вычислительной точки зрения, так как требует вычисления второй производной. Особенно остро данная проблема возникает при обучении нейронных сетей, где число параметров гораздо выше, чем при построении классических регрессионных моделей. Исследование методов построения регрессии и применение численных методов представляет практический и научный интерес. В данной работе будет рассмотрена квантильная регрессия, натуральный градиентный спуск и их сочетание для построения математических моделей. Градиентный спуск является одним из наиболее популярных методов оптимизации и широко используется в машинном обучении. Натуральный градиентный спуск является предпочтительным методом, поскольку он эффективнее и имеет высокую скорость сходимости. Кроме того, данный метод менее уязвим к попаданию в локальные минимумы и обеспечивает более точную оценку параметров модели. Однако на практике этот метод сложен с вычислительной точки зрения, так как требует вычисления второй производной. В статье представлен алгоритм построения модели с использованием натурального градиентного спуска. Суть применения квантильной регрессии в натуральном градиентном спуске заключается в том, чтобы использовать квантильную оценку функции потерь вместо традиционной оценки, которая применяется в методе наименьших квадратов. Это позволяет учитывать не только среднее значение зависимой переменной, но и более экстремальные значения (например, медиану, 25%-ный процентиль, 95%-ный процентиль и т.д.) при построении модели. Также было проведено сравнение полученного метода с другими популярными методами градиентного спуска с поддержкой квантильной регрессии на открытых наборах данных различной размерности как с точки зрения количества факторов, так и с точки зрения количества наблюдений. Кроме того, будут обсуждаться возможности дальнейшего развития и оптимизации данного метода.

Полный текст

В настоящее время непараметрические методы привлекают к себе все больший интерес ученых и практиков своей высокой устойчивостью к выбросам в данных [1; 2]. Такие параметрические методы, как метод наименьших квадратов, используются для оценки зависимости условного среднего значения зависимой переменной от независимых переменных. Квантильная регрессия используется для оценки зависимости медианы или других квантилей зависимой переменной от факторных переменных. В отличие от параметрических методов, квантильный анализ позволяет работать с нерегулярными данными и не требует выполнения предположения о нормальном распределении данных. Это делает метод квантильной регрессии более предпочтительным во многих случаях.Квантильный анализ также позволяет получить прогнозы более точно, чем использование классических методов [3]. Результаты сравнения различных реализаций построения квантильной регрессии с другими методами машинного обучения приведены на рис. 1.На рис. 1 по оси абсцисс отмечены следующие методы построения модели: QRF – quantile random forests, QKNN – k-nearest neighbors, QGB – quantile gradient boosting, QLR – quantile linear regression, MLP – Multilayer perceptron, NGBOOST – NGBoost, DT – Distributional random forests. Также представлены алгоритмы для прогнозирования полного распределения остатков этой регрессии, которые помечены как QRFL, QKNNL и QGBL соответственно. Как видно на рис. 1, квантильная регрессия в комбинации с градиентным спуском (QGB) показывает наилучшие результаты. Различные оценки параметров квантильной регрессии на разных квантилях могут интерпретироваться как различия в реакции зависимой переменной на изменение независимых переменных уравнения регрессии в различных точках условного распределения зависимой переменной. Показатели возможных колебаний, вычисленные этим методом, позволяют получить матрицу ковариаций распределения оценок параметров квантильной регрессии, что дает представление о диапазоне колебаний показателей. В качестве усложненных и более эффективных методов построения регрессии на практике используется градиентный спуск [4–6]. В результате квантильная регрессия становится все более привлекательным методом для применения в экономических и производственных моделях, нацеленных на ограничение рисков, где важен прогноз с заранее определенной вероятностью (границей риска). Построение квантильной регрессии может быть выполнено различными способами – при помощи дерева решений, случайного леса или градиентного спуска. Однако нет достаточно описанных примеров использования такого инструмента, как натуральный градиентный спуск. Таким образом, построение комбинированного алгоритма построения квантильной регрессии с использованием натурального градиентного спуска может повысить точно¬сть относительно других методов машинного обучения.

Об авторах

А. С. Тюрин

Липецкий государственный технический университет

П. В. Сараев

Липецкий государственный технический университет

Список литературы

  1. Mikhov E.D. Piecewise approximation based on nonparametric modeling algorithms // Siberian Journal of Science and Technology. - 2020. - Vol. 21, № 2. - P. 195-200. doi: 10.31772/2587-6066-2020-21-2-195-200.
  2. Direct Quantile Regression for Nonparametric Probabilistic Forecasting of Wind Power Generation / C. Wan, J. Lin, J. Wang, Y. Song, Z.Y. Dong // IEEE Transactions on Power Systems. - 2017. - Vol. 32, № 4. - P. 2767-2778. doi: 10.1109/TPWRS.2016.2625101.
  3. Vasseur S.P., Aznarte J.L.Comparing quantile regression methods for probabilistic forecasting of NO2 pollution levels // Scientific Reports. - 2021. - № 11. - Art. 11592.
  4. Тюрин А.С., Сараев П.В., Блюмин С.Л. Прогнозирование химического состава стали на выпуске из конвертера с использованием градиентного спуска // Вести высших учебных заведений черноземья. - 2022. - № 4. - С. 60-66.
  5. Tyurin A.S. Predicting the Temperature Decrease of Metal Between the Furnace-Bucket Machine and the SCCP (steel continuous casting plant) // 2nd International Conference on Control Systems, Mathematical Modeling, Automation and Energy Efficiency (SUMMA): proceeding / Lipetsk State Technical University, Lipetsk, Russia. - IEEE, 2020. - P. 413-415. doi: 10.1109/SUMMA50634.2020.9280696.
  6. Ильичев В.Ю., Жукова Ю.М., Шамов И.В. Использование технологии градиентного бустинга для создания аппроксимационных моделей // Заметки ученого. - 2021. - № 12-1. - С. 62-67.
  7. Koenker R., Hallock K. Quantile Regression // Journal of Economic Perspectives. - 2001. - Vol. 15. - P. 143-156.
  8. NGBoost: Natural Gradient Boosting for Probabilistic Prediction / T. Duan, A. Avati, D.Y. Ding, K.K. Thai, S. Basu, A. Ng, A. Schuler // Proceedings of Machine Learning Research [Proceedings of the 37th International Conference on Machine Learning]. - 2020. - Vol. 119. - P. 2690-2700.
  9. Kingma D.P., Ba J. Adam: A Method for Stochastic Optimization // CoRR. - 2014. - abs/1412.6980.
  10. Ilboudo W.E.L., Kobayashi T., Matsubara T. AdaTerm: Adaptive T-Distribution Estimated Robust Moments towards Noise-Robust Stochastic Gradient Optimizer // ArXiv. - 2022. - abs/2201.06714.
  11. Ruder S. An overview of gradient descent optimization algorithms // ArXiv. - 2016. - abs/1609.04747.
  12. Martens J. New Insights and Perspectives on the Natural Gradient Method // Journal of Machine Learning Research. - 2014. - Vol. 21 (146). - P. 1-76.
  13. Shrestha R. Natural Gradient Methods: Perspectives, Efficient-Scalable Approximations, and Analysis // ArXiv. - 2023. - abs/2303.05473.
  14. Fast Approximate Natural Gradient Descent in a Kronecker-factored Eigenbasis. Neural Information Processing Systems: George / T. George, C. Laurent, X. Bouthillier, N. Ballas, P. Vincent // ArXiv. - 2018. - abs/1806.03884.
  15. TENGraD: Time-Efficient Natural Gradient Descent with Exact Fisher-Block Inversion / S. Soori, C. Bugra, B. Mu, M. Gürbüzbalaban, M. M. Dehnavi // ArXiv. - 2021. - abs/2106.03947.

Статистика

Просмотры

Аннотация - 174

PDF (Russian) - 315

Ссылки

  • Ссылки не определены.

Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах