Full Text

Введение Задачи математического моделирования технических, социальных, экономических систем или технологических процессов требуют высокой степени уверенности в достоверности и качестве входной информации, используемой как для их структурной, так и для параметрической идентификации. В ходе синтеза модели, ее анализа или практического использования важным условием является выявление наблюдений, которые не могут быть классифицированы как нормальные, т.е. которые не подчиняются законам системы или процесса, требуют детального исследования, могут оказать пагубное влияние на результат, полученный с помощью модели. Одним из хорошо зарекомендовавших себя инструментов моделирования, а также численного анализа систем, являются искусственные нейронные сети. Однако для повышения точности моделирования и возможности частичной интерпретации результатов моделирования актуальной становится задача выбора наиболее влиятельных входов нейросетевой модели, используемая впоследствии и в алгоритме выявления аномальных наблюдений. Решение этой задачи лежит в области анализа чувствительности по факторам математической модели, одной из целей которого как раз и является редукция моделей. В случае исследования нейросетевых моделей применяют алгоритмы, предполагающие объяснение характеристик нейронной сети через анализ ее весовых коэффициентов. Однако в силу существования различных параметров нейронной сети, доставляющих схожие выходы, такие алгоритмы не являются устойчивыми. Для решения задачи анализа чувствительности предлагается использовать известный метод анализа конечных изменений, основанный на применении теоремы Лагранжа о промежуточной точке и рассматривающий некоторые конечные изменения факторов модели и их связь с изменением выхода модели. Особую значимость указанные подходы приобретают в решении задачи выявления аномальных наблюдений в зафиксированных данных об оказании медицинских услуг населению. Своевременное обнаружение таких записей позволяет вести оперативный контроль за качеством оказания медицинской помощи населению и способно минимизировать человеческие ошибки в данных, а также обнаруживать возможные фальсификации предоставленной информации. 1. Постановка задачи бинарной классификации Рассматривается задача нахождения аномальных наблюдений в массивах данных. Пусть проведено наблюдение над n объектами, каждый из которых характеризуется m-мерным вектором признаков Про каждый из объектов известно, что он принадлежит к одному из двух классов: K1 - нормальных наблюдений или K2 - аномальных наблюдений. Множество показателей X объектов классов K1 и K2 является обучающей выборкой. Задача состоит в том, чтобы для каждого нового наблюдения вектора признаков с учетом совершения некоторой ошибки второго рода (возможность того, что доля нормальных наблюдений будет отнесена к аномальным) определить класс объекта Ki, i = 1, 2, к которому его следует отнести. Необходимо синтезировать решающее правило (с учетом ошибки первого рода) , где Для того чтобы отнести новое наблюдение к одному из возможных классов, определим дискриминантную пороговую функцию . Тогда классификатор примет вид В заданном решающем правиле в качестве функции возможно использование различных подходов. Далее для решения поставленной задачи в качестве указанной функции используется выходное значение нейросетевой модели. 2. Определение порогового значения разделения наблюдений В исследовании качество классификации (качество модели) оценивалось на основе точности и полноты, а также комбинации указанных характеристик [1]. Точность классификации P(h) определяется как доля объектов, которые были распознаны как объекты класса аномальных наблюдений. Полнота классификации R(h) показывает, какая доля объектов, реально относящаяся к классу аномальных наблюдений, была предсказана. Часто используют среднее гармоническое точности и полноты (F-меру) [2], которая определяется как Одним из способов оценки порогового значения для бинарной классификации, построенного в соответствии с описанным выше алгоритмом, является использование кривых ошибок (или ROC-кривых) [3]. ROC-кривая представляет собой график зависимости полноты классификации R(h) от единицы минус величина специфичности (отношение количества истинно отрицательных решений к сумме истинно отрицательных и ложноположительных решений) по всем возможным пороговым значениям λ. 3. Модели обнаружения аномальных наблюдений Одной из групп подходов к обнаружению аномалий являются алгоритмы, основанные на применении методов классификации [4]. В качестве инструментов для классификации могут быть использованы различные структуры: деревья решения, модели нечеткой логики, наивные байесовские модели, генетические алгоритмы, нейронные сети, опорные векторы и т.п. Для улучшения результатов классификации при решении задачи обнаружения аномальных наблюдений были предложены и комбинированные методы, сочетающие использование нескольких алгоритмов. Среди таких комбинаций можно выделить каскадные техники классификации с учителем (сочетание наивных байесовских моделей и деревьев решений, деревьев решений и метода опорных векторов) и комбинации классификационных схем с учителем и без учителя (например, сочетание метода опорных векторов и классификации методом k-средних). Отмеченные выше способы нахождения аномальных наблюдений предполагают, что в результате анализа будет построена модель, описывающая профиль «нормального» наблюдения. Однако существует и принципиально отличный подход, основанный не на построении модели, определяющей «нормальное» значение и отвергающей все не попадающие под такое понимание, а на построении модели, выявляющей значения, отличные от всех типичных для показателей рассматриваемой системы или процесса. Структура, положенная в основу работы такого метода, - изолирующий лес. Изоляция означает отделение одной группы наблюдений от другой. Чтобы применить такую идею для каждого наблюдения, необходимо вычислить некоторую меру восприимчивости, определяющую порог разделения. Естественные структуры, разделяющие данные, - это случайно сгенерированные двоичные деревья, экземпляры которых рекурсивно разделены [5, 6]. Метод имеет много преимуществ и хорошо обнаруживает аномалии, в частности он чувствителен к возникновению контекстных аномалий, которые могут быть интерпретированы как технические ошибки фиксации данных или их намеренное искажение. Чтобы обеспечить такое обнаружение, необходимо построить массивы «нормальных» и аномальных реализаций, которые впоследствии будут проанализированы контролирующими специалистами. Для повышения качества обнаружения аномальных значений [7] предлагается использовать изолирующий лес в качестве первого шага для фильтрации данных (сформировать группы «нормальных» и аномальных наблюдений), затем проанализировать все аномалии и выделить среди них контекстуальные аномалии (принципиально возможные наблюдения, но нетипичные по сравнению с ближайшими данными), а затем, применяя нейросетевой классификатор [8, 9], построить модель, способную находить выбросы для новых исходных данных: где - выход n-слойной нейронной сети (значение, характеризующее принадлежность наблюдения к множеству выбросов); X - вектор входных факторов; - функции активации слоев нейронной сети. Однако использование такого подхода требует значительных вычислительных ресурсов, особенно с увеличением числа факторов модели (так как возрастает и число параметров - весов нейронов). Далее приводится подход к анализу чувствительности по факторам нейросетевой модели, основанный на применении анализа конечных изменений. 3.1. Анализ чувствительности Анализ конечных изменений (АКИ) может быть описан как подход к анализу сложных систем различной структуры с целью построения зависимости, связывающей конечные изменения показателя (функции) с конечными изменениями факторов (переменных). Впервые этот подход был представлен в работе [10] как логичное расширение экономического факторного анализа и затем нашел применение в различных прикладных исследованиях [11]. Обозначим изменение некоторой величины (фактора) x через Естественной формой такого показателя является абсолютное приращение при начальном значении фактора и его конечном значении Основная задача анализа конечных изменений формулируется следующим образом. Пусть задана зависимость (1) описывающая связь выхода системы y и ее входов xi, . Необходимо трансформировать модель (1), чтобы она приняла вид связывающий конечные изменения ее входов и выхода. Стоит отметить, что во многих практических приложениях конечные изменения, отмеченные выше, предполагаются малыми. Для случая малых конечных приращений из математического анализа известна теорема, позволяющая выполнить указанные преобразования. Это теорема Лагранжа о средней точке (промежуточной точке, формула конечных приращений). Для случая функции многих переменных, определенной и непрерывной на своей области определения и имеющей на ней частные производные, она формулируется следующим образом: Промежуточная точка определяется значением параметра Пусть задана нейронная сеть, содержащая n скрытых слоев, которая описывает поведение технической, социально-экономической системы или технологического процесса в виде где В текущий момент времени начальное состояние факторов системы имеет вид и выход системы . В следующий момент фиксации факторы системы претерпели изменения и описываются как , выход системы . Таким образом, приращение выхода системы может быть определено, с одной стороны, как разница нового и предыдущего значений выходов и, с другой стороны, по теореме Лагранжа, т.е. может быть составлено и решено относительно параметра следующее уравнение: что позволит оценить так называемые факторные нагрузки и получить модель вида Указанная процедура может быть повторена d - 1 раз, численные результаты анализа (факторные нагрузки) могут быть усреднены и получены оценки влиятельности факторов рассматриваемой системы, что позволит сократить числа факторов системы. Рис. 1. Структурная схема подхода к обнаружению аномальных наблюдений в массивах данных Структурная схема подхода к обнаружению аномальных наблюдений в массивах данных представлена на рис. 1. На начальном этапе полученные из информационной системы данные должны быть преобразованы в необходимый формат. Затем исходные данные подвергаются преобразованию алгоритмом изолирующего леса. Выбор именно этого алгоритма объясняется, во-первых, тем, что алгоритм распознает аномалии различных типов; во-вторых, сложность изолирующего дерева эффективнее большинства других алгоритмов; в-третьих, отсутствием параметров выполнения. Вычисленные оценки аномальности для каждого из наблюдений формируют еще один вход системы, который затем будет использован при построении нейросетевой модели классификатора. Построенная модель, в свою очередь, подвергается описанному далее анализу чувствительности по входам для сокращения числа своих аргументов. По выбранным наиболее значимым входам происходит структурная и параметрическая идентификация новой нейросетевой модели классификатора с сокращенным числом входных переменных. На последнем этапе производится оценка качества классификации. 3.2. Точечные и интервальные оценки показателей чувствительности В качестве устойчивой к выбросам в исходном наборе данных оценки среднего значения может быть использовано взвешенное среднее Тьюки. Алгоритм построения этой оценки носит итерационный характер и включает в себя следующие шаги [12]: 1. Вычисление среднего значения выборки (в начале работы алгоритма обычно используется медиана). 2. Определение расстояния от вычисленного среднего до каждого элемента выборки. В соответствии с этими расстояниями элементам выборки присваиваются различные веса, с учетом которых среднее значение пересчитывается. Характер весовой функции таков, что наблюдения, отстоящие от среднего достаточно далеко, не вносят большого вклада в значение взвешенного среднего. Пусть - выборка из рассчитанных факторных нагрузок для входа - медиана выборки S - медиана выборки; - абсолютное отклонение среднего. Для каждого элемента (k = 1,…,n) выборки вычисляют отклонение от среднего где c - параметр, определяющий, насколько оценка чувствительна к выбросам; - малая величина, основное назначение которой - исключить возможность деления на ноль. Для нахождения веса каждого наблюдения выборки используется биквадратная функция вида Оценка взвешенного Тьюки Помимо точечной оценки среднего находят интервал для построения величины при помощи приближения распределением Стьюдента. Симметричный доверительный интервал задается формулой где - -квантиль распределения Стьюдента с числом степеней свободы 3.3. Устойчивость метода анализа чувствительности Входы системы могут иметь неустранимые погрешности, которые тем не менее не должны вызывать неточностей при вычислениях оценок влияния факторов на выход системы. Устойчивость численного метода характеризуется небольшими отклонениями выходного значения при незначительных изменениях во входах. Пусть в результате решения задачи по входному значению фактора xi находится значение величины выхода. Входная величина xi имеет некоторую погрешность , выход

About the authors

R. V Sheglevatych

Lipetsk State Technical University

A. S Sysoev

Lipetsk State Technical University

References

Statistics

Views

Abstract - 79

PDF (Russian) - 32

Refbacks

• There are currently no refbacks.