Training sample balancing to train artificial neural networks for geotechnical problems

Abstract


This paper deals with the issue of balancing the training sample for training artificial neural networks when solving geotechnical problems. As an example problem, the prediction of mechanical characteristics of soil based on physical parameters is considered. A multi-layer full-connection artificial neural network was used to build the dependence. The need to improve the accuracy of analytical calculation methods for geotechnical problems is constant. Recently, such a regressor as an artificial neural network has been used more and more often for geotechnical problems. Neural networks are a powerful forecasting tool that allows reproducing dependencies of almost unlimited complexity. As neural networks need to be trained on a ready set of data, there is a question of quality of geotechnical test databases that are used for training. Due to the fact that there is no centralized way to collect geotechnical test data electronically, many researchers encounter significant incompleteness and imbalance in the data when attempting to collect such data. This paper proposes a solution for balancing such a training sample by generating examples of minority classes. It is proposed to balance the sample by generating missing examples with random parameter values within a certain range. The output data is proposed to be obtained with the help of existing calculation methods. This approach made it possible to make the training sample evenly distributed over the entire available range of values. At the same time, the range of predicted values increased in accordance with the limits of the experimental and generated sample. In addition, this approach allows us to take into account the existing analytical calculation methods when training neural networks.

Full Text

Введение Многие применяемые в практике геотехнические расчеты опираются на эмпирические зависимости и коэффициенты. В последние годы все большее распространение в качестве регрессора получают полносвязные искусственные нейронные сети (ИНС). В частности, согласно универсальной теореме Цыбенко искусственная нейронная сеть прямой связи с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных. Многие геотехнические задачи имеют существенное количество входных данных и достаточно сложные зависимости, что делает ИНС привлекательным подходом для получения необходимых зависимостей. Несмотря на широкое применение метода конечных элементов, необходимость получения новых корреляционных зависимостей существует до сих пор [1, 2]. Для решения современных задач можно использовать и многослойные нейронные сети, обученные методом обратного распространения ошибки. В частности, ранее уже рассматривались предложения использовать нейронные сети при расчете несущей способности забивных свай [3-7], буровых свай [8, 9] и грунтовых анкеров [7, 10, 11]. Одной из первых и самых очевидных задач, которые могут выполнять ИНС в геотехнике, - это прогнозирование ряда характеристик грунтового основания на основе различных наборов данных. Penumadu в 1994 г. [12] предложил модель поведения глинистых грунтов в зависимости от скорости нагружения. Gribb и соавторы [13] использовали нейросетевой регрессор для оценки коэффициента фильтрации различных глинистых грунтов. Ряд исследований [14, 15] демонстрирует возможность использования нейронных сетей для моделирования нелинейных зависимостей между различными параметрами грунтов. Нейронные сети, имея возможность находить сложные зависимости без необходимости физического обоснования модели, являются хорошим инструментом для оценки поведения армированных грунтов. Так, в работе 2009 г. [16] Shouling He и Jiang Li использовали ИНС для моделирования поведения армированного фиброй грунта, стабилизированного известью. Многослойная нейронная сеть была разработана для оценки нелинейной взаимосвязи между напряжением сдвига и деформацией. Для обучения использовалась база из 34 испытаний образцов грунта. В 2014 г. Rashidian и Hassanlourad [17] предложили модель оценки поведения карбонатных грунтов на основе нейронных сетей. Для того чтобы нейронная сеть начала воспроизводить определенную зависимость, ее необходимо обучить. При этом качество конечной ИНС и прогнозов, получаемых с ее помощью, во многом зависит от качества и полноты данных, используемых при обучении. Зачастую данные взяты из одного региона и входные параметры могут иметь достаточно близкие значения. В этом случае выборка является несбалансированной. Целью данного исследования является подбор такой методики балансировки выборки, при котором обученная ИНС позволит давать точные оценки в широком диапазоне значений. Методика и постановка задачи Для обучения искусственной нейронной сети при решении определенной задачи, будь то задача классификации или регрессии, необходим определенный набор данных. Хотя нейронные сети и являются мощным апроксиматором, они довольно требовательны к данным для обучения, особенно если речь идет об описании довольно сложных зависимостей. В идеальном случае необходима большая база экспериментальных данных с эталонным выходом, например, результаты трехосных испытаний или статических испытаний свай. При этом параметры в этой базе данных должны иметь как можно более близкое к равномерному распределение. На данный момент в геотехнике нет централизованной системы сбора и хранения геотехнической информации. Инженерно-геологические отчеты, как правило, хранятся в pdf и doc файлах, и использовать данные оттуда для машинного обучения без дополнительного ручного копирования проблематично. Программы, применяемые в России, такие как CREDO геология, EngGeo, GEOTECH Геолог + GeoDraw, GEOsimple и ряд других, также зачастую подразумевают ручной ввод исходных данных. Предлагаемые решения по сохранению модели подземного пространства, как BIM модели [18, 19], могли бы частично решить проблему, но на данный момент не нашли широкого применения. В итоге из-за вышеописанных факторов для обучения нейронных сетей для решения геотехнических задач существует постоянный дефицит данных. Поэтому возможность просто добавить новые данные для обучения крайне ограниченна. Многие исследователи [20] для обучения ИНС собирали свои небольшие локальные базы данных и обучали ИНС на них. Главная проблема такого подхода в том, что ИНС не может прогнозировать выходное значение за пределами той области параметров, на которых она была обучена. А большинство собираемых баз небольшие и несбалансированные. При обучении на такой выборке обобщение информации о малопредставленном (миноритарном) классе затруднено. В данном исследовании эта проблема возникала практически с каждой обучающей выборкой. Существует ряд методик для борьбы с дисбалансом выборки [21]: - Балансировка. Изменение соотношения классов в выборке путем увеличения числа экземпляров миноритарного класса (oversampling) или уменьшения числа экземпляров мажоритарного класса (undersampling). - Внесение корректировок в алгоритм обучения. Например, установление различных штрафов для классов в методе опорных векторов, изменение вероятностного порога отнесения примера к классу в деревьях. - Установление различной цены ошибок для классов. Цена ошибок может учитываться как при изменении соотношения классов в выборке, так и при внесении корректировок в алгоритм обучения. Применение этих методик рассматривалось в ряде работ [22-24]. Вариант с балансировкой обучающей выборки является, по мнению автора, наиболее целесообразным. Развитие расчетных методик оценки тех или иных параметров грунта и сил взаимодействия фундаментов с грунтом происходило в течение достаточно продолжительного периода времени. Конечно, мы не можем просто отбросить все существующие наработки и использовать нейронные сети, обученные только на той выборке, которую удалось собрать. Тем более что, даже несмотря на значительные усилия по сбору данных, многим авторам работ, связанных с решением геотехнических задач с помощью ИНС, так и не удалось собрать в полной мере сбалансированную базу данных. Однако к подавляющему большинству данных, на которых были разработаны расчетные методы, нет доступа. Решая задачу балансировки данных предлагает генерировать новые примеры для миноритарных классов, а выходной параметр рассчитывать по существующим методикам. Существующие методики расчета могут уступать обученным нейронным сетям в точности, но все еще зачастую являются достаточно надежными и проверенными временем. Таким образом, конечная выборка будет состоять из экспериментальных и сгенерированных примеров. Выходные данные будут также состоять из данных экспериментов для той области значений, которая присутствует в выборке, и рассчитанных ответов для области значений, которая была сгенерирована. Результаты и их анализ Рассмотрим такой подход на примере решения задачи прогноза механических характеристик грунтов по данным о физических параметрах. Данная задача раннее рассматривалась автором без дополнительной балансировки [25]. Обучающая выборка, собранная для предыдущего исследования [25], была дополнена и составила почти 2000 одометрических и сдвиговых испытаний. Все данные были занесены в таблицу, небольшой фрагмент которой представлен в табл. 1. В качестве исходных характеристик грунта выступают: глубина отбора образцов, показатель текучести, граница раскатывания, плотность, плотность сухого грунта, плотность частиц. Соответственно, у нейронной сети шесть нейронов на входном слое. В данном исследовании балансировка выполнялась для ИНС оценки угла внутреннего трения. Далее проводится параметрический анализе каждого из шести входных параметров. Их распределение в идеальном случае должно быть равномерным. Однако на практике такое встречается редко. Таблица 1 Фрагмент базы данных лабораторных испытаний Table 1 Fragment of the database of laboratory tests Глубина отбора пробы, м Природная влажность, д. е. Пределы пластичности, д. е. - граница текучести Пределы пластичности, д. е. - граница раскатывания Число пластичности Плотность частиц грунта, г/см3 Плотность, г/см3 Плотность сухого грунта, г/см3 Коэффициент пористости Угол внутреннего трения при природной влажности, град 1,5 0,20 0,30 0,18 0,12 2,72 2,05 1,71 0,591 21 3,0 0,21 0,29 0,18 0,11 2,72 2,03 1,68 0,619 22 3,0 0,23 0,27 0,17 0,10 2,72 1,96 1,59 0,711 19 2,0 0,15 0,27 0,18 0,09 2,72 1,67 1,45 0,876 25 3,0 0,11 0,30 0,19 0,11 2,72 1,49 1,34 1,030 25 4,5 0,12 0,29 0,20 0,09 2,72 1,42 1,27 1,142 24 Во-первых, рассматривать целесообразно только те параметры, которые используются в расчетном методе, так как расчет выходного значения должен производиться на основе этого расчетного метода. Во-вторых, диапазон значений может играть существенную роль. В общем случае максимальные и минимальные значения выбираются из всех значений экспериментальных и генерируемых данных. Однако в случае, когда крайнее значение является экспериментальным, распределение между максимумом, доступным в существующей методике, и экспериментальным максимумом может оказаться далеким от равномерного. В конечном счете решение о назначении диапазона значений принимается для каждого сочетания выборки и методики индивидуально. В данном исследовании распределение считалось достаточно равномерным при обеспеченности 0,95 или более. Как было сказано ранее, ИНС обучается путем итерационного уменьшения ошибки, опираясь на имеющуюся базу данных. В общем случае, если представить, что ИНС является функцией, то обучение является многомерной аппроксимацией имеющихся данных. При этом у ИНС может быть намного больше входных параметров, чем в классических статистических методиках. А исходя из имеющихся знаний о прогнозируемом процессе можно реорганизовывать числовые значения входящих данных. Все представленные значения в табл. 1 являются непрерывными в определенном диапазоне значений. Но для удобства оценки равномерности их распределения их можно дискретизировать. Распределение показателя текучести по выборке представлено на рисунке. Так как для генерируемых примеров будет использоваться уже существующая методика расчета, первым этапом необходимо выбрать сам расчетный метод, если он существует. В случае с оценкой механических характеристик по физическим существуют справочные таблицы в СП 22.13330 приложения А. Так как в существующих справочных таблицах основными входными переменными являются коэффициент пористости и показатель текучести, оценим представленность каждого из данных параметров в имеющейся экспериментальной выборке. Рис. Соотношение количества классов по показателю текучести IL до генерации новых примеров Fig. Ratio of the number of classes according to the IL index before generating new examples Как видно из графика распределения показателя текучести, примеров грунтов с IL > 0,5 существенно меньше, чем IL < 0,5. Если обучить ИНС на таких данных, даже при условии примерно равного распределения в обучающую и проверочную выборки можно ожидать, что при показателях текучести IL > 0,5 ИНС будет хуже прогнозировать механические характеристики. Два класса грунтов с IL > 0,5 являются миноритарными, для них мы генерировали дополнительное количество примеров в количестве 249 и 278 штук соответственно. Аналогичную операцию можно провести и со вторым параметром - коэффициентом пористости. Остальные четыре параметра не генерируются, так как они не участвуют в определении механических характеристик по существующим методикам. Таким образом, выравнивается количественное представление классов в каждом случае. Причем выход для каждого из сгенерированных примеров рассчитывается по существующим аналитическим методикам. Полученные нейронные сети воспроизводят существующие методы при отсутствии экспериментальных данных и воспроизводят экспериментальные данные в том случае, если они были представлены в выборке. Оценим влияние балансировки на уже частично решенной задаче оценки угла внутреннего трения грунта. Каждая модель обучалась не менее 10 раз, среднее значение полученной средней процентной ошибки заносилось в таблицу. В сравнительной табл. 2 представлены ошибки ИНС до и после балансировки. Как видно из табл. 2, на суммарную погрешность балансировка повлияла незначительно. Но сравнение расхождения для всей выборки не совсем корректно, так как количество тестовых примеров для различных типов грунтов различно и интересующий нас миноритарный класс грунтов оказывает меньшее влияние. В данной выборке глинистые грунты от мягкопластичных до текучих являются миноритарным классом. Видно, что погрешность при оценке угла трения диапазона от твердых до тугоплатичных после балансировки практически не изменилась. В то же время ошибка при определении угла внутреннего трения для миноритарного класса составляла 26,1 %, после балансировки - 14,1 %, что является заметным улучшением результата. Таблица 2 Сравнительная таблица погрешностей до и после балансировки, % Table 2 Comparative table of errors before and after balancing, % Ошибка при оценки угла внутреннего трения Исходная ИНС без балансировки ИНС с балансировкой Средняя процентная ошибка во всех разновидностях глинистых грунтов по показателю текучести (MAPE) 13,5 12,0 Средняя процентная ошибка (MAPE) для глинистых грунтов от твердых до тугопластичных 12,3 11,5 Средняя процентная ошибка для глинистых грунтов от мягкопластичных до текучих 26,1 14,1 Из данного сравнения можно сделать два ключевых вывода. Во-первых, усредненная погрешность может не дать всей картины распределения ошибок в зависимости от оцениваемого класса. При хороших результатах оценки в мажоритарном и миноритарном классах ошибка может быть существенна и при этом незаметна при сравнении средних показателей. Балансировка выборки позволяет улучшить результаты оценок для миноритарного класса в пределах погрешности используемого метода расчета. Такой подход можно использовать как промежуточное решение до момента, когда собранные базы данных станут более представительными. Выводы В результате анализа предыдущих исследований был выявлен существенный недостаток некоторых обучаемых ИНС. Многие исследователи, в том числе и авторы данного исследования, в предыдущих работах не использовали для балансировки выборки метод генерации новых примеров. Так как качество собираемых в геотехнике данных оставляет желать лучшего, добиться сбалансированной выборки на основе только экспериментальных данных не представляется возможным. Предложенный метод для балансировки выборки позволил сократить погрешность работы с миноритарным классом с 26,1 до 14,1 %, что является хорошим результатом.

About the authors

I. V. Ofrikhter

Perm National Research Polytechnic University

A. B. Ponomaryov

Perm National Research Polytechnic University; St. Petersburg Mining University

References

  1. Глебова Ю.М., Невзоров А.Л. Регрессионный анализ индекса компрессии отложений ила на побережье белого моря // Construction and Geotechnics. - 2022. - Т. 13, № 2. - С. 18-33. doi: 10.15593/2224-9826/2022.2.02
  2. Захаров А.В., Маховер С.Э. Влияние гранулометрического состава на теплопроводность песчаного грунта // Construction and Geotechnics. - 2020. - Т. 11, № 2. - С. 19-27. doi: 10.15593/2224-9826/2020.2.02
  3. Ahmad M., Hesham El Naggar, Khan A.N. Artificial neural network application to estimate kinematic soil pile interaction response parameters // Soil Dynamics and Earthquake Engineering. - 2007. - № 9. - P. 892-905. doi: 10.1016/j.soildyn.2006.12.009
  4. Das S.K., Basudhar P.K. Undrained lateral load capacity of piles in clay using artificial neural network // Comput. Geotech. - 2006. - № 8. - P. 454-459. doi: 10.1016/j.compgeo.2006.08.006
  5. Hanna M., Morcous G., Helmy M. Efficiency of pile groups installed in cohesionless soil using artificial neural networks // Can. Geotech. J. - 2004. - № 6. - P. 1241-1249. doi: 10.1139/T04-050
  6. Prediction of pile capacity using neural networks / C.I. Teh, K.S. Wong, A.T.C. Goh, S. Jaritngam //j.Comput. Civ. Eng. - 1997. - № 2. - P. 129-138. doi: 10.1061/(ASCE)0887-3801(1997)11:2(129)
  7. A neural network model for the uplift capacity of suction caissons / M.S.Rahman, J.Wang, W.Deng, J.P. Carter // Comput. Geotech. - 2001. - № 4. - P. 269-287. DOI: 10.1016/ S0266-352X(00)00033-1
  8. Shahin M.A., Jaksa M.B.Intelligent computing for predicting axial capacity of drilled shafts // Geotechnical Special Publication. - 2009. - № 186. - P. 26-33. DOI: 10.1061/ 41022(336)4
  9. Goh A.T.C., Kulhawy F.H., Chua C.G. Bayesian neural network analysis of undrained side resistance of drilled shafts //j. Geotech. Geoenvironmental Eng. - 2005. - № 131. - P. 84-93. doi: 10.1061/(ASCE)1090-0241(2005)131:1(84)
  10. Shahin M.A., Jaksa M.B. Neural network prediction of pullout capacity of marquee ground anchors // Comput. Geotech. - 2005. - № 3. - P. 153-163. doi: 10.1016/j.compgeo. 2005.02.003
  11. Shahin M.A., Jaksa M.B. Pullout capacity of small ground anchors by direct cone penetration test methods and neural networks // Canadian Geotechnical Journal. - 2006. - № 43. - P. 626-637. doi: 10.1139/T06-029.
  12. Rate-dependent behavior of clays using neural networks / D. Penumadu, J.L. Chameau, S. Arumugam, L. Iinnan // Thirteenth International Conference on Soil Mechanics and Foundation Engineering, Proceedings. - 1994. - № 4. - P. 1445-1448.
  13. Gribb M.M., Gribb G.W. Use of neural networks for hydraulic conductivity determination in unsaturated soil // 2nd Int. Conf. Gr. Water Ecol. - 1994.
  14. Agrawal G., Weeraratne S., Khilnani K. Estimating clay liner and cover permeability using computational neural networks // Computing in Civil Engineering. - 1994. - No. 1. - P. 115-122.
  15. Najjar Y.M., Basheer I.A., Mcreynolds R. Neural modeling of Kansas soil swelling // Transp. Res. Rec. - 1996. - № 1526. - P. 14-19. doi: 10.3141/1526-03
  16. He S., Li J. Modeling nonlinear elastic behavior of reinforced soil using artificial neural networks // Appl. Soft Comput. J. - 2009. - № 3. - P. 954-961. doi: 10.1016/j.asoc.2008.11.013
  17. Rashidian V., Hassanlourad M. Application of an artificial neural network for modeling the mechanical behavior of carbonate soils // Int. J. Geomech. - 2014. - № 1. - P. 142-150. doi: 10.1061/(asce)gm.1943-5622.0000299
  18. Болдырев Г.Г., Кондратьев А.Ю. Информационные системы в строительстве // Жилищное строительство. - 2019. - № 9. - P. 17-23. doi: 10.31659/0044-4472-2019-9-17-23
  19. Болдырев Г.Г. К вопросу использования информационных систем при изысканиях и проектировании оснований фундаментов зданий и сооружений [Электронный ресурс] // Геотехника и геотехнический мониторинг. - 2020. - URL: https://www.geoinfo.ru/product/boldyrev-gennadij-grigorevich/k-voprosu-ispolzovaniya-informacionnyh-sistem-pri-izyskaniyah-i-proektirovanii-osnovanij-fundamentov-zdanij-i-sooruzhenij-42530.shtml (дата обращения: 10.01.2023).
  20. Shahin M.A., Maier H.R., Jaksa M.B. Predicting settlement of shallow foundations using neural networks //j. Geotech. Geoenvironmental Eng. - 2002. - № 9. - P. 785-793. doi: 10.1061/(asce)1090-0241(2002)128:9(785)
  21. Pundlik A.A., Patil B.J., Boraste P.P. Classification of imbalanced data using fitness functions // Australasian Joint Conference on Artificial Intelligence. - 2009. - P. 50-56. doi: 10.1007/978-3-540-76928-6_90
  22. Weiss G., McCarthy K., Zabar B. Cost-sensitive learning vs. sampling: Which is best for handling unbalanced classes with unequal error costs? // Dmin. - 2007. - P. 1-7.
  23. Паклин Н.Б. Построение классификаторов на несбалансированных выборках на примере кредитного скоринга // Искусственный интеллект. - 2010. - № 3. - P. 528-534.
  24. Building useful models from imbalanced data with sampling and boosting / C. Seiffert, T.M. Khoshgoftaar, J. Van Hulse, A. Napolitano // Proc. 21th Int. Florida Artif.Intell. Res. Soc. Conf. FLAIRS-21. - 2008. - P. 306-311.
  25. Estimation of soil properties by an artificial neural network / I. Ofrikhter, A. Ponomaryov, A. Zakharov, R. Shenkman // Mag. Civ. Eng. - 2022. - № 110. doi: 10.34910/MCE.110.11

Statistics

Views

Abstract - 86

PDF (Russian) - 46

Refbacks

  • There are currently no refbacks.

Copyright (c) 2023 Ofrikhter I.V., Ponomaryov A.B.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies