Full Text

Введение Эпилепсия - одно из наиболее распространенных неврологических заболеваний во всем мире. Основным симптомом являются эпилептические приступы, представляющие серьезную опасность из-за их внезапности и возможности причинить травмы, которые могут быть фатальными [1-3]. Поэтому важной задачей современной медицины является предотвращение этих приступов. На основе анализа научных публикаций можно выделить следующие направления исследований в данной области: · применение методов машинного обучения, таких как метод опорных векторов и метод случайного леса [4-6]. В данных исследованиях удалось достичь среднего значения чувствительности (также значение AUС) 70 %; · применение сверточных нейронных сетей [7]. В данном исследовании среднее значение чувствительности составило 75 %; · комбинация байесовских моделей, в том числе байесовская сверточная нейронная сеть [8]. Среднее значение чувствительности в данном исследовании составило 71 %. Среднее значение чувствительности классификаторов (также значение AUC) в приведенных выше исследованиях не превышает 75 %. Наибольшей чувствительности удалось достигнуть в исследовании применения сверточных нейронных сетей для прогнозирования эпилептических припадков [7]. Не менее важным аспектом являются методы предварительной обработки данных, которые сходятся к следующему подходу: данные обрабатываются с помощью оконного преобразования Фурье, далее логарифмируются для повышения низкочастотной компо-ненты сигнала и нормализуются [9]. Целью данной работы является разработка архитектуры нейронной сети на основе ConvLSTM [10] для классификации входных сигналов на предприступные и межприступ-ные участки ЭЭГ, а также сравнение полученных результатов с результатами исследова-ний, основанных на иных подходах. 1. Сверточная Long Short-Term Memory-нейронная сеть ConvLSTM сочетает в себе преимущества LSTM [11; 12] и сверточных нейронных сетей. Главной особенностью является использование операции свертки как во входных, так и в рекуррентных преобразованиях. Математическая модель ConvLSTM: (1) (2) (3) (4) (5) (6) В данной модели в качестве функций активации используются: · гиперболический тангенс ( ) в формуле (1); · сигмоидальная функция (σ) в формулах (2)-(4). Коэффициенты b с различными индексами используются для обозначения свободных членов (смещений). Операция свертки обозначена символом*, а произведение Адамара, в формулах (5) и (6), обозначено символом ⊙. Рис. 1. Схема блока сверточной LSTM-нейронной сети Принцип работы ConvLSTM (рис. 1) заключается в подаче на вход двух векторов: нового вектора входных сигналов xt и вектора скрытого состояния предыдущей ячейки на предыдущем шаге ht-1. Оба вектора перед прохождением каждого из гейтов умножаются на соответствующие веса Wx и Wh. Кроме того, внутри каждого блока ConvLSTM есть ячейка состояния кандидатов значений (ячейка памяти), которая выполняет функции запоминания значений. Также на вход подается вектор значений кандидатов ct-1 на предыдущем шаге. В гейтах (рис. 2) по формулам (1)-(4) вычисляются значения соответствующих им скрытых состояний: · вектор состояния выходного гейта · вектор ячейки состояния кандидатов · вектор выходного гейта · вектор забывающего гейта С помощью полученных скрытых состояний забывающего гейта и входного по формуле (6) отсеиваются предыдущие значения кандидатов и вычисляются новые значения кандидатов . С помощью функции активации (гиперболического тангенса) и коэффициента o_t вычисляется скрытое состояние по формуле (6). Рис. 2. Структура гейта ConvLSTM Таким образом, данные, проходящие через ячейки ConvLSTM, являются не просто одномерным вектором признаков, а сохраняют размерность входа, что можно использовать для проектирования сложной архитектуры сети. 2. Анализ исходных данных Для реализации программы прогнозирования эпилептических припадков была использована выборка [13] которая содержит данные сигналов ЭЭГ для трех собак и двух людей. Данные разделены на предприступные, межприступные и тестовые. В табл. 1 представлены данные о количестве таких сегментов для каждого из пациентов. Таблица 1 Количественные характеристики выборки для каждого пациента Пациент Предприступные сегменты Межприступные сегменты Тестовые сегменты Dog_1 24 480 502 Dog_2 42 500 1000 Dog_3 30 450 191 Patient_1 50 18 195 Patient_2 42 18 150 При анализе исходных данных было установлено количество приступов для каждого пациента, а также общее количество приступных сегментов. Исходя из этого, была сформирована табл. 2, содержащая данные о количестве приступных и беcприступных сегментов, а также количество приступов для каждого пациента. Таблица 2 Анализ исходных данных Пациент Кол-во электродов Кол-во приступных эпизодов Кол-во беcприступных эпизодов Кол-во приступов Dog_1 16 178 418 4 Dog_2 16 172 1148 7 Dog_3 16 480 4760 12 Patient_1 68 70 104 3 Patient_2 16 151 2990 3 По данным, представленным в табл. 2, вычисляется значение отношения приступных к беcприступным по формуле где - отношение приступных к без приступным, - количество приступных сегментов, - количество бесприступных сегментов. Также вычисляется значение перекрытия: где - значения перекрытия событий приступов приступными сегментами, - количество приступов. Полученные значения занесены в табл. 3. Таблица 3 Значения ratio и overlap Пациент Ratio Overlap Dog_1 0,425837321 0,025 Dog_2 0,149825784 0,045 Dog_3 0,100840336 0,025 Patient_1 0,673076923 0,07 Patient_2 0,050501672 0,08 3. Обработка исходных данных Загружаются ЭЭГ-файлы, а каждый файл разбивается на сэмплы (отрезки сигнала). Для оптимизации был произведен ресэмплинг с понижением частоты дискретизации: 200 Гц для собак, 1000 Гц для людей. Так как в данном исследовании используется размер кадра 15 секунд, то необходимо найти длину такого кадра в семплах, так как для собак и людей используются различные значения окна дискретизации. ConvLSTM способно выделять признаки из пространственной информации, следовательно, данные необходимо преобразовать в вид, подходящий для сверточного слоя с двумя измерениями. Таким образом, данные следует представить в виде матриц, имеющих схожую структуру с обычным изображением. Для извлечения частотных признаков использовано оконное преобразование Фурье (также ОПФ) с размером кадра 15 секунд [14-16]. Полученная таким образом спектрограмма является двумерной матрицей, измерениями которой являются время и частота сигнала. Полученные данные обрабатываются функцией log_10 (x) для выделения амплитудных характеристик. Далее значения приводятся к виду, удобному для подачи на вход сверточного слоя с двумя измерениями. Затем данные будут представлены в виде особого математического объекта - тензора. Полученные данные можно представить в графическом виде - в виде спектрограмм (рис. 3). Для увеличения количества обучающих данных, относящихся к классу предприступ-ных сигналов, были получены дополнительные сегменты (рис. 4). Полученные дополнительные сегменты группируются с ранее полученными последовательно, согласно времени их записи. Рис. 3. Пример полученной спектрограммы Рис. 4. Отбор дополнительных сегментов Далее полученные данные нормализуются и делятся на обучающую, валидационную и тестовую выборки, согласно значению ratio, представленному в табл. 3. Каждая из выборок отличается по временному периоду, что исключает ошибку переобучения в процессах валидации и тестирования модели. 4. Архитектура нейронной сети Рассмотрим архитектуру нейронной сети (рис. 5). Входной слой модели принимает данные в виде пятимерных тензоров, полученных в ходе предварительной обработки. Для ускорения обучения и классификации, а также в качестве нормализации используется слой пакетной нормализации. Далее используется двумерный слой ConvLSTM с параметрами: 32 фильтра, размер ядра 4×4 и функцией активации ReLU. Для увеличения количества обучающих параметров далее параллельно вычисляются три слоя, состоящие из двумерного ConvLSTM и трехмерного MaxPooling-слоя. Параллельные слои конкатенируются, и к ним применяется dropout с шансом отбрасывания 35 %. Следующий слой - слой выравнивания (flatten). Далее следуют полносвязные слои для классификации данных, для предотвращения переобучения количество нейронов для каждого слоя было ограничено 32 и 16 нейронами соответственно, в качестве функции активации для каждого слоя была выбрана ReLU. Рис. 5. Архитектура нейронной сети Параллельные полносвязные слои конкатенируются, и к ним применяется dropout с шансом отбрасывания 35 %. Финальным слоем является полносвязный слой с двумя нейронами для классификации с функцией активации для этого слоя softmax. Таким образом, выходом модели будет вероятность принадлежности данных к каждому из двух классов - предприступному и межприступному. В качестве оптимизатора модели был выбран оптимизатор AMSgrad [17]. Он является логическим продолжением идей Adam по комбинации стохастического градиентного спуска и адаптивного градиента. Но, в отличие от него, не позволяет градиенту расти слишком быстро, использует более консервативную оценку второго момента градиента, что позволяет ему более стабильно работать в таких ситуациях. В качестве метрики для анализа точности прогнозов выбрана ROC AUC (Receiver Operating Characteristic Area Under the Curve), широко используемая в задачах бинарной и многоклассовой классификации. Метрика AUC представляет собой численное значение ROC-кривой, являясь площадью под этой кривой. 5. Обучение и валидация Обучение модели проходило в течение 10 эпох отдельно для каждого пациента. Лучшие результаты для каждого из пациентов представлены в табл. 4. Таблица 4 Данные обучения и валидации Метрика Пациент Dog_1 Dog_2 Dog_3 Patient_1 Patient_2 loss 0,06 0,05 0,01 0,15 0,01 accuracy 0,97 0,98 0,99 0,94 0,99 val_loss 2,83 0,34 0,17 0,18 1,6 val_accuracy 0,52 0,89 0,95 0,92 0,72 По данным валидации, а именно по валидационной точности, можно сделать вывод о том, что представленная выше модель работает в качестве случайного предиктора для Dog_1. Что свидетельствует о возможно недостаточном количестве данных обучения или об иных проблемах в данных данного пациента, которые оказывают воздействие на сигнал электроэнцефалограммы. 6. Тестирование модели Тестирование модели проводилось с помощью метрик ROC AUC, данные по каждому пациенту по метрике AUC представлены в табл. 5. Таблица 5 Значения AUC для каждого пациента Метрика Пациент Dog_1 Dog_2 Dog_3 Patient_1 Patient_2 AUC 0,5012 0,9844 0,4985 0,9606 0,8045 По метрикам AUC, представленным в табл. 5, можно сделать вывод, что для обоих пациентов и одной из трех собак классификатор намного лучше предсказывает эпилептические приступы, чем случайный предиктор. Однако в процессе валидации модель показала хорошие результаты для пациента Dog_3. Также форма ROC-кривой (рис. 6) показывает, что для пациента Dog_3 при достаточном количестве данных обучения классификатор мог бы показать лучшую точность. Заключение Так как среднее значение чувствительности для данной модели приблизительно равно 75 %, данная нейросетевая модель показала себе более эффективной, чем модели, представленные в исследованиях [4-6; 8]. Результаты, полученные в ходе исследования, коррелируют с результатами исследования [7]. Из этого можно сделать вывод об эффективности использования сверточных слоев при работе со схожими по структуре данными. Так как результаты вышеупомянутого [7] и проведенного в ходе данной работы исследований имеют схожие результаты, можно сделать вывод, что нейронная сеть, основанная на LSTM-блоках со сверткой, не дает весомого преимущества над классической сверточной архитектурой при прогнозировании эпилептических припадков. Однако это означает, что она также может использоваться в качестве классификатора мозговой активности на основе ЭЭГ. Таким образом, задачей дальнейших исследований может являться улучшение блоков ConvLSTM, например, интеграция механик обучения с вниманием [18]. Рис. 6. Кривые ROC Имеющаяся точность предсказания, хоть и не является высокой, может быть полезной для пациентов. Люди, больные эпилепсией, могли бы получать своевременные уведомления о возможном возникновении припадка, чтобы они могли принять соответствующие меры для обеспечения собственной безопасности.

About the authors

M. V. Volodin

Lipetsk State Technical University

I. A. Sedykh

Lipetsk State Technical University

References

Statistics

Views

Abstract - 114

PDF (Russian) - 74

Refbacks

• There are currently no refbacks.