DEVELOPMENT OF ADAPTIVE TRAINING COMPLEXES BASED ON NEURAL NETWORK ARCHITECTURE OF INFORMATION SYSTEMS

Abstract


Adaptive training complexes (ATC) are one of the effective tools for training personnel in normal and emergency situations and allow simulating situations, the implementation of which is impossible in real conditions due to the high cost or risk to human health and life. Purpose: automation of management processes, analysis and information processing, which will reduce the cost of their design and improve the quality characteristics of the ATC. Methods: methods operating on the basis of neural network technologies combined into a single concept of neural network architecture are considered as a tool for automating management processes, analysis and processing of information. Results: The paper presents the results of applying this architecture and neural network methods to solve the problem of structural-parametric synthesis and optimization of ATC. The classical and neural network architecture of the ATC is considered, the main components of the system and the connections between them, the criteria for evaluating the effectiveness are formalized. The problem of structural-parametric synthesis of ATC and an algorithm for its solution based on the modernization of the RAD methodology are formulated. The use of a neural network architecture made it possible to automate the processes of analysis and processing of information in the key ATC modules, to simplify the implementation of the procedure for managing the components of interaction with virtual reality. The positive effect of switching to a neural network architecture is to reduce economic costs (by 18,9 %), software implementation complexity (by 19,6 %), increase adaptability (by 20 %), system quality (by 12 %) and productivity (by 5,5 %). Practical relevance: the results obtained confirm the possibility of applying the outlined approaches to the implementation of ATC and automation of management processes, analysis and information processing in them.

Full Text

Введение При организации подготовки персонала, обслуживающего человеко-машинные системы, одним из перспективных инструментов являются тренажерные комплексы, функционирующие на основе технологий виртуальной или дополненной реальности. Отдельным направлением является разработка адаптивных тренажерных комплексов (АТК), отличающихся персонализацией образовательной траектории (например, при подборе индивидуального набора заданий и их сложности), а также адаптацией под психологические и физические особенности пользователя (с целью повышения комфорта взаимодействия с тренажером и, следовательно, степени погружения в виртуальную реальность) [1]. В процессе разработки АТК необходимо решить несколько нетривиальных задач: определиться со структурой системы и компонентами, позволяющими в полной мере сформировать у пользователей набор компетенций; организовать сбор, анализ и обработку данных о процессе обучения для формирования цифрового профиля пользователя и оценки уровня его подготовки; реализовать с достаточной точностью физические процессы и явления в виртуальной или дополненной реальности; адаптировать специфику функционирования отдельных подсистем АТК под индивидуальные особенности пользователей [2-5]. В настоящее время процедура разработки АТК формализована и основана на применении экспертного подхода, как к формированию общей структуры системы, так и к реализации отдельных ее функций и компонентов [6]. Однако данный подход затрудняет процесс автоматизации процессов работы с информацией и, следовательно, не позволяет сократить временные и материальные затраты на их реализацию. Таким образом, актуальной задачей являются разработка и применение новых методов, направленных на автоматизацию процессов управления, анализа, обработки и передачи информации в АТК. Применение технологий машинного обучения в качестве основного инструмента реализации таких методов позволило бы снизить степень влияния человеческого фактора на процесс разработки АТК, автоматизировать типовые операции анализа, обработки и передачи информации, а также снизить сложность реализации систем управления в АТК за счет применения нейронных сетей для поиска закономерностей в предметной области [1, 7, 8]. Поскольку существующие методологии проектирования АТК не позволяют комплексно интегрировать технологии машинного обучения без изменения всей структуры процедуры разработки, то предлагается использовать и адаптировать под особенности данной предметной области нейросетевую архитектуру информационных систем [9], а также реализовать алгоритм проектирования АТК, основанных на концепции RAD и применении нейросетевых технологий. Данные инструменты разработаны в соответствии со спецификой использования нейронных сетей для решения конкретных прикладных задач при проектировании адаптивных информационных систем в различных предметных областях. Возможность применения нейронных сетей в данной предметной области обусловлена успешным опытом использования методов машинного обучения для решения прикладных задач. Так, например, в работе [10] нейронные сети используются для моделирования упрощенных физических процессов в дизельной установке, что позволило достоверно изобразить их пользователю без необходимости проведения сложных аналитических расчетов. Машинное обучение показывает свою эффективность при реализации систем поддержки принятия решений, например, для прогнозирования оптимальных образовательных траекторий [11]. Подобные системы могу использоваться для оценки уровня сформированности навыков и определения необходимости переподготовки специалистов различных отраслей [12]. Перспективным направлением является также использование нейронных сетей для решения задач анализа и обработки данных, например, при передаче информации между модулями [13]. В данной работе рассматриваются разработка нейросетевой архитектуры АТК, а также возможность применения нейросетевых методов для автоматизация отдельных задач управления, анализа и обработки данных в компонентах АТК. При реализации данной архитектуры планируется замена классических программных компонентов, основанных на алгоритмических и аналитических подходах, на программную реализацию нейросетевых методов, что позволит высвободить дополнительные временные и материальные ресурсы за счет упрощения процесса разработки АТК. Целью данного исследования является апробация нейросетевой архитектуры в предметной области АТК, в ходе которой необходимо осуществить формализацию структуры системы, ее оптимизацию и синтез, оценить положительный эффект от использования нейросетевых методов и архитектуры по сравнению с классическими подходами к проектированию. 1. Классическая архитектура АТК На первом этапе рассмотрим структуру АТК, выполненную без применения нейросетевой архитектуры и методов. Данная модель будет использоваться в качестве эталона. Структурная схема классической архитектуры АТК, выполненная в соответствии с моделью MVC [14], представлена на рис. 1 и включает четыре основные системы: - систему визуализации, включающую отображение виртуальной реальности, собранных данных о процессе обучения и интерфейса. Визуальная часть данной системы полностью входит в состав Представления. В Модели хранятся необходимые файлы трехмерных моделей, необходимые для построения сцены; - систему имитации изолирующих дыхательных аппаратов (ИДА), отвечающую за моделирование процессов взаимодействия с различными средствами защиты дыхания и мониторинг дыхательных процессов обучаемого [15]. Компоненты управления для данной системы размещены в Контроллере, а собираемые и обрабатываемые данные - в Модели; - систему имитации физических нагрузок [16], реализующую процедуру перемещения в виртуальной реальности при помощи управляемой беговой дорожки. Контроллер включает модуль по отслеживанию движений пользователя, а в Модели реализуются соответствующие процедуры по обработке этих данных для последующей выработки управляющих воздействий; - систему обучения, включающую набор обучающих сценариев и модуль оценки качества обучения пользователей, хранимые в Модели. Также содержит ряд визуальных компонентов, отображаемых в Представлении. Рис. 1. Классическая архитектура АТК Таким образом, элементы основных систем распределены между сущностями модели MVC. Далее осуществим переход от классической архитектуры АТК к нейросетевой. 2. Нейросетевая архитектура АТК Формализуем структурную модель АТК, выполненную в соответствии с основными сущностями нейросетевой архитектуры (рис. 2) [9]. Рис. 2. Нейросетевая архитектура АТК В состав структурной модели входят основные модули АТК и связи между ними, реализуемые посредством программных интерфейсов для передачи и обработки информации. Обозначим их как нейросетевые каналы данных NNDC [9]. Далее разработаем математическую модель АТК, представленную в нотации теории множеств: где - нейросетевая архитектура модулей АТК, включающая множество компонентов и связей между ними; - параметры АТК, отвечающие за его функционирование; - множество оценок эффективности АТК. Структура АТК в соответствии с нейросетевой архитектурой формализуется соотношениями и взаимосвязями между элементами: Сущность Окружение объединяет компоненты по сбору и анализу данных о пользователях, их физических и психологических особенностях, а также функции авторизации в АТК для идентификации пользователя. Окружение связано с другими сущностями нейросетевыми каналами передачи данных . Управление сохраняет классические блоки по взаимодействию с АТК и обработке событий, однако реализует также модуль автоматического отслеживания движений пользователя, функционирующий на основе нейросетевых технологий. В основе модуля - применение нейросетевого метода управления, что позволяет перейти от алгоритмической реализации системы управления для беговой дорожки к концепции «черного ящика», когда нейронная сеть на основе анализа множества информации о действиях пользователя и необходимых реакций системы подбирает необходимые управляющие воздействия. Управление связано с другими сущностями множеством связей для реализации следующих операций: передачи , запроса и отображения данных. Модель включает классические блоки, хранящие модели для визуализации, базы данных, а также алгоритмы оценки эффективности обучения (реализуемые посредством экспертных систем). Однако в отличие от классической архитектуры АТК в модели присутствует модуль автоматизированной обработки данных с системы имитации ИДА. Он функционирует на базе нейросетевого метода обработки информации и реализует возможность автоматической обработки поступавших от компонентов АТК (например, датчиков данных) при их замене на аналоги (что влечет за собой возрастание погрешности в измерениях) при их передаче по нейросетевым каналам данных (для передачи и запроса информации). Представление содержит классические блоки по отображению виртуальной реальности и графической информации, а также интерфейса для пользователей. Однако в зависимости от оборудования и роли пользователя (обучающийся, проверяющий и т.д.) данные могут отображаться в различных представлениях в ходе преобразования в нейросетевых каналах передачи ( ) и отображения ( ). Параметры регулирования включают множество всех параметров модулей и компонентов АТК. Параметры обозначают атрибуты программных методов и функций, настройки компонентов, являются ограничениями и граничными условиями для процессов и операций. Например, параметрами являются: программный лимит скорости дорожки, текущий угол ее наклона, выбранный тип управления, качество визуализации, порядок выполнения упражнений в сценарии обучения и т.д. Комплексный критерий оптимальности включает несколько компонентов: - экономические затраты ; - сложность реализации ; - адаптивность ; - качество ; - производительность . Экономические затраты складываются из себестоимости аппаратного обеспечения АТК, а также затрат на разработку систем визуализации и обучения, оплату работы разработчиков, тестировщиков, экспертов и аналитиков [17]: где - себестоимость аппаратного обеспечения; - затраты на реализацию и лицензирование программного обеспечения, обработку и передачу информации [18]; - заработная плата персонала, разрабатывающего АТК; - затраты на НИР (анализ и обработка данных, проведение экспериментальных исследований). Сложность реализации определяется суммарной оценкой программного обеспечения по набору метрик сложности программного кода [19]: где - оценка по методике COCOMO; - оценка по методике Джилба; - оценка по методике Холстеда; - цикломатическая сложность программного кода; - весовые коэффициенты, приводящие значения оценки к диапазону . Адаптивность АТК характеризуется экспертной оценкой по набору критериев адаптивности [20] и эргономических критериев [21]: где - весовые коэффициенты i-го критерия адаптивности и j-го эргономического критерия соответственно; - экспертная оценка по i-му критерию адаптивности [12]; - экспертная оценка по j-му эргономическому критерию [13]. Сумма всех коэффициентов и равна 1. Значения критериев адаптивности и эргономических критериев нормированы. Качество АТК задается экспертной оценкой по количественным ( ) и качественным ( ) критериям: где , - весовые коэффициенты количественных и качественных метрик соответственно; - расчетное значение количественных метрик надежности, безотказности, долговечности, ремонтопригодности, достоверности, эффективности [22]; - экспертная оценка качественных метрик: целостность, сложность, структурированность, адаптивность, лабильность, интегрируемость, делимость, валидность [22]. Производительность зависит от оценок быстродействия программного и аппаратного обеспечения АТК: Для вычисления используется метрика Mpdex [23], для - линейная свертка метрик: времени обработки запроса для получения информации, объема оперативной памяти, пропускной способности сети, пропускной способности накопителя. 3. Постановка задачи структурно-параметрического синтеза АТК Сформулируем задачу проектирования АТК в формализованном виде. Необходимо определить такие структуру и параметры АТК, при которых целевая функция комплексного критерия оптимальности достигает экстремума: при выполнении следующих ограничений: где - положительный эффект от использования выбранного решения относительно альтернативного варианта или эталона (например, классической реализации АТК); - максимальные затраты на реализацию АТК; - оценка сложности программного обеспечения, реализованного на основе алгоритмического подхода; - минимальная оценка адаптивности либо оценка используемого ранее программного обеспечения; - минимально возможная производительность АТК; - минимально допустимая оценка качества программного обеспечения либо оценка используемой ранее системы. 4. Проектирование АТК на основе нейросетевой архитектуры Рассмотрим алгоритм реализации АТК с использованием нейросетевой архитектуры (рис. 3). Рис. 3. Алгоритм проектирования АТК на основе нейросетевой архитектуры Дадим краткое описание основных этапов проектирования: 1. Планирование: системный анализ предметной области, направленный на получение требований к АТК и его функциональности. 2. Формализация: описание архитектуры АТК с использованием математического аппарата теорий графов и множеств, графическое представление структуры системы в формате нейросетевой архитектуры. 3. Нейросетевое проектирование: анализ и обработка данных о предметной области, формирование структуры и обучение нейронных сетей, используемых в ходе реализации нейросетевых методов. Для реализации нейросетевого метода обработки информации использовались нейронные сети двух типов: многослойные плотные (для классификации структур данных) и регрессионные (для преобразования данных и восстановления пропущенных значений). Для обучения нейронных сетей осуществлялся сбор данных от различных датчиков (эталона и аналогов), после чего регрессионная нейронная сеть осуществляет соответствующее преобразование, позволяющее получать на датчиках-аналогах значения, идентичные эталону. В нейросетевом методе управления использовались плотные нейронные сети (для классификации действий пользователя и выбора выходной категории управляющего воздействия, что соответствует оптимальному действию системы управления). Для обучения сетей был осуществлен сбор координат ног и тела пользователя, перемещающегося по беговой дорожке, после чего проведена обработка этой информации для классификации действий пользователя, прогноза траектории его движения и определения оптимальной реакции системы управления. В качестве подхода к обучению используется классический алгоритм обратного распространения ошибки. Тренировочная и тестовая выборки формируются путем разбиения исходного набора данных в соотношении 80/20. 4. Конструирование и оптимизация: постановка и решение задачи оптимизации АТК, после чего осуществляются программирование основных компонентов АТК, интеграция разработанных нейросетевых методов, а также внесение необходимых исправлений в систему на основе замечаний, сформированных пользователями на следующем этапе. Этап повторяется многократно, на первой итерации формируется первичный прототип, на последующих - осуществляется его доработка до получения финальной версии. 5. Пользовательское проектирование: взаимодействие разработчиков и пользователей с целью получения оптимальной с точки зрения качества и удобства системы. Повторяется многократно. 6. Внедрение: финальное тестирование, внедрение информационной системы и обучение пользователей работе с ней. 7. Эксплуатация и модернизация: этап функционирования системы в штатном режиме. В соответствии с данным алгоритмом осуществлены анализ и формализация предметной области (этапы 1-2), разработанные нейросетевые методы используются для осуществления этапа 3, а представленная выше постановка задачи реализует этап 4. В ходе практической реализации АТК и получения обратной связи от пользователей осуществляется циклическое прохождение этапов 3, 4 и 5. После завершения разработки необходимо оценить полученное решение. Для этого осуществим расчёт основных метрик комплексного критерия оптимальности для классической и нейросетевой реализации АТК в соответствии с формулами (3)-(7). Для сбора экспертной оценки о качестве и адаптивности систем использовались web-опросники (на базе фреймворка Flask, язык программирования Python), для расчетов экономической эффективности, оценки производительности и обработки собранной экспертной оценки - расчетные модули, реализованные также на Python. Количественные характеристики получены путем реализации двух прототипов АТК в рамках каждой из рассмотренных архитектур (классической и нейросетевой) и вычислением для них соответствующих метрик (3), (4), (7). Полученные результаты представлены в табл. 1-4. Рассмотрим расчет экономических затрат на реализацию АТК (табл. 1). Таблица 1 Сравнение экономических затрат на реализацию АТК Компонент экономического критерия Классическая реализация Нейросетевая реализация Затраты на аппаратное обеспечение Vhw 325461 325461 Затраты на программное обеспечение Vsw 18745 15093 Затраты на зарплату персонала Vpers 1068636 885697 Затраты на проведение НИР Vrd 273000 140400 Общие затраты Rv 1685842 1366651 Затраты на аппаратное обеспечение примем равными. Из-за использования нейронных сетей для анализа и обработки данных сокращаются затраты на НИР, обработку и передачу информации, что влияет на снижение величины . Применение нейросетевой архитектуры также сократило сложность программного обеспечения. Расчет сложности реализации программного обеспечения классической и адаптивной АТК осуществлялся по метрикам, рассмотренным ранее в (4). Результаты измерений представлены в табл. 2. Замена алгоритмических блоков на нейронные сети в двух модулях, сокращение количества условных операторов и необходимости анализа больших объемов данных позволили снизить общую сложность системы. Таблица 2 Оценка сложности программной реализации АТК Метрика Классическая реализация Нейросетевая реализация COCOMO 0,412 0,251 Джилба 0,46 0,41 Холстеда 8,1 6,9 Цикломатическая сложность 7,7 6,2 Общая оценка сложности RD 0,61 0,49 Расчет адаптивности для АТК осуществлялся по набору критериев адаптивности и эргономических критериев [12-13] (табл. 3). Экспертная оценка показала значительный рост по некоторым метрикам за счет повышения адаптивности (при обработке данных с системы имитации и реализации системы управления дорожкой) в АТК, а также совместимости с новыми компонентами (за счет автоматизированной процедуры вычисления значений от компонентов-аналогов в АТК). Качество работы АТК рассчитано при помощи экспертной оценки (табл. 4). Наблюдается некоторое улучшение метрик при применении нейросетевой архитектуры. Таблица 3 Оценка адаптивности АТК Критерий адаптивности Классическая реализация Нейросетевая реализация Время доступа к системе 0,9 0,9 Функциональность 0,9 0,9 Гибкость 0,4 0,9 Стабильность 0,6 0,9 Доступность 0,9 0,9 Качество поддержки 0,8 0,8 Доступность руководства пользователя 0,9 0,9 Загруженность интерфейса 0,9 0,9 Контроль пользователя над операциями 0,9 0,9 Адаптивность 0,4 0,9 Управление ошибками 0,3 0,9 Согласованность 0,6 0,9 Значение идентификаторов (кодовых имен) 0,8 0,8 Совместимость 0,3 0,9 Общая оценка адаптивности 0,68 0,88 Таблица 4 Оценка качества АТК Критерий качества Классическая реализация Нейросетевая реализация Надежность 0,7 0,9 Безотказность 0,7 0,9 Долговечность 0,9 0,9 Ремонтопригодность 0,9 0,9 Достоверность 0,6 0,9 Эффективность 0,7 0,9 Целостность 1 1 Сложность 0,9 0,9 Структурированность 0,8 0,8 Адаптивность 0,4 0,9 Лабильность 0,6 0,8 Интегрируемость 0,8 0,8 Делимость 0,7 0,8 Валидность 0,9 0,9 Общая оценка качества 0,75 0,87 Оценка производительности АТК при классической реализации имеет следующие показатели: , . Итоговая производительность . Для нейросетевой реализации АТК имеем прирост производительности аппаратного обеспечения за счет сокращения времени доступа к информации при том уровне вычислительной мощности оборудования: Производительность программного обеспечения также повысилась за счет сокращения объема невыполненных в срок задач (нейронные сети используются для обработки информации от системы имитации ИДА и восстановления потерянных значений, прогнозирования действий пользователя на дорожке, что позволяет корректно обрабатывать операции и снизить запаздывание системы) и составила Прирост получен за счет более быстрого решения ряда задач анализа и обработки информации. В итоге для нейросетевой реализации После перехода на нейросетевую архитектуру получены следующие результаты: снижены общие экономические затраты, повышены качество и адаптивность АТК, повышена производительность работы системы. Условия, определённые в постановке задачи структурно-параметрического синтеза, выполнены, а целевая функция показывает положительные значения, отражая положительный эффект от перехода с классической реализации на нейросетевую (рис. 4). Рис. 4. Положительный эффект от перехода на нейросетевую архитектуру Переход на нейросетевую архитектуру привел к изменению структуры АТК. Замена алгоритмических компонентов на нейросетевые модули в системе имитации физических нагрузок позволила автоматизировать процесс анализа информации о действиях пользователей и выработку управляющих воздействий. В системе имитации ИДА нейросетевые технологии позволили автоматизировать процесс обработки данных при замене отдельных компонентов (датчиков) на аналогичные и повысить точность работы системы. В целом нейросетевая архитектура позволила стандартизировать и автоматизировать процессы передачи данных между основными подсистемами АТК. Выводы Для повышения эффективности структурно-параметрического синтеза АТК и автоматизации процессов управления, анализа и обработки информации предлагается переход от классической архитектуры системы к нейросетевой. В рамках этой архитектуры предлагается замена алгоритмических блоков, отвечающих за работу с данными и управление компонентами АТК, на программную реализацию нейросетевых методов. В работе представлено сравнение классической и нейросетевой архитектур АТК. Формализованы основные компоненты системы, связи между ними, а также определены критерии оптимизации, используемые при постановке и решении задачи структурно-параметрического синтеза АТК. Для решения задачи синтеза АТК предложен алгоритм проектирования, основанный на методологии RAD, но включающий применение нейросетевых методов анализа, обработки и передачи информации в рамках отдельного этапа. Положительный эффект от перехода на новую архитектуру заключается в снижении экономических затрат (на 18,9 %), в снижении сложности реализации программного обеспечения (на 19,6 %), в повышении адаптивности (на 20 %) и качества системы (на 12 %), а также в приросте производительности (на 5,5 %). Полученные результаты подтверждают эффективность предлагаемой нейросетевой архитектуры.

About the authors

A. D Obukhov

Tambov State Technical University

References

  1. From One-size-fits-all Teaching to Adaptive Learning: The Crisis and Solution of Education in the Era of AI / S. Yang [et al.] // Journal of Physics: Conference Series. - IOP Publishing, 2019. - Vol. 1237, № 4. - P. 042039. doi: 10.1088/1742-6596/1237/4/042039
  2. Chistyakova T.B., Novozhilova I.V. Intelligence computer simulators for elearning of specialists of innovative industrial enterprises // 2016 XIX IEEE International Conference on Soft Computing and Measurements (SCM). - IEEE, 2016. - P. 329-332. doi: 10.1109/SCM.2016.7519772
  3. Creation of a Virtual Model of Educational Programs Management in a University / E.K. Samerkhanova [et al.] // Institute of Scientific Communications Conference. - Springer, Cham, 2019. - P. 602-609. DOI: https://doi.org/10.1007/978-3-030-47945-9_65
  4. A Mathematical Model of Organizing the Developmental Instruction in the System of Professional Education / A. Obukhov [et al.] // Tehnički vjesnik. - 2020. - Vol. 27, № 2. - P. 480-488. DOI: https://doi.org/10.17559/TV-20180427193719
  5. Methodology of Forming the Readiness of Miners for Work in Extreme Situations Using a Training Complex / M. Krasnyansky [et al.] // International Journal of Emerging Technologies in Learning (iJET). - 2020. - Vol. 15, № 02. - P. 86-97.
  6. Ericsson K.A. Acquisition and maintenance of medical expertise: a perspective from the expert-performance approach with deliberate practice // Academic Medicine. - 2015. - Vol. 90, № 11. - P. 1471-1486. DOI: https://doi.org/10.1097/ACM.0000000000000939
  7. Approximating explicit model predictive control using constrained neural networks / S. Chen [et al.] // 2018 Annual American control conference (ACC). - IEEE, 2018. - P. 1520-1527. doi: 10.23919/ACC.2018.8431275
  8. Towards optimal power control via ensembling deep neural networks / F. Liang [et al.] // IEEE Transactions on Communications. - 2019. - Vol. 68, № 3. - P. 1760-1776. doi: 10.1109/TCOMM.2019.2957482
  9. Obukhov A.D., Krasnyansky M.N. Neural network architecture of information systems // Vestnik Udmurtskogo Universiteta. Matematika. Mekhanika. Komp'yuternye Nauki. - 2019. - Vol. 29, № 3. - P. 438-455. DOI: https://doi.org/10.20537/vm190312
  10. Diesel engine modeling based on recurrent neural networks for a hardware-in-the-loop simulation system of diesel generator sets / M. Yu [et al.] // Neurocomputing. - 2018. - Vol. 283. - P. 9-19. DOI: https://doi.org/10.1016/j.neucom.2017.12.054
  11. Personalized learning full-path recommendation model based on LSTM neural networks / Y. Zhou [et al.] // Information Sciences. - 2018. - Vol. 444. - P. 135-152. DOI: https://doi.org/10.1016/j.ins.2018.02.053
  12. Machine learning identification of surgical and operative factors associated with surgical expertise in virtual reality simulation / A. Winkler-Schwartz [et al.] // JAMA network open. - 2019. - Vol. 2, № 8. - P. e198363-e198363. doi: 10.1001/jamanetworkopen.2019.8363
  13. State-of-the-art in artificial neural network applications: A survey / O.I. Abiodun [et al.] // Heliyon. - 2018. - Vol. 4, № 11. - P. e00938. DOI: https://doi.org/10.1016/j.heliyon.2018.e00938
  14. Hao L., Zhang J., Ma X. Design and Implementation of Simulation Training System Based on MVC Architecture // IOP Conference Series: Materials Science and Engineering. - IOP Publishing, 2019. - Vol. 563, № 5. - P. 052043. doi: 10.1088/1757-899X/563/5/052043
  15. A new mobile wireless imitator of mine insulating self-rescuer / S. Karpov [et al.] // International Multidisciplinary Scientific GeoConference: SGEM. - 2018. - Vol. 18, № 1.3. - P. 33-39. doi: 10.5593/sgem2018/1.3/S03.005
  16. Structural model of software and hardware platform for the training complex based on a controlled treadmill / S. Karpushkin [et al.] // International Multidisciplinary Scientific GeoConference: SGEM. - 2019. - Vol. 19, № 1.3. - P. 613-619. doi: 10.5593/sgem2019/1.3/S03.078
  17. Системный анализ и формализация структуры адаптивных тренажерных комплексов эргатических систем / М.Н. Краснянский, Д.Л. Дедов, А.Д. Обухов, С.Ю. Алексеев // Вестник компьютерных и информационных технологий. - 2019. - № 4. - С. 45-52.
  18. A Systematic Review on Software Cost Estimation in Agile Software Development / S. Bilgaiyan [et al.] // Journal of Engineering Science & Technology Review. - 2017. - Vol. 10, № 4. - P. 51-64.
  19. Kalemba E., Ade-Ibijola A. A Metric for Estimating the Difficulty of Programming Problems by Ranking the Constructs in their Solutions // 2019 International Multidisciplinary Information Technology and Engineering Conference (IMITEC). - IEEE, 2019. - P. 1-9. doi: 10.1109/IMITEC45504.2019.9015843
  20. Яковлев Ю.С., Курзанцева Л.И. О развитии адаптивного человеко-машинного интерфейса и критериях его оценки в учебных системах // Образовательные технологии и общество. - 2013. - Т. 16, № 1. - C. 547-563.
  21. Bastien J.M.C., Scapin D.L. Evaluating a user interface with ergonomic criteria // International Journal of Human Computer Interaction. - 1995. - Vol. 7, № 2. - P. 105-121. DOI: https://doi.org/10.1080/10447319509526114
  22. Бурдыко Т.Г., Бушмелева К.И. Показатели качества программных средств // Вестник кибернетики. - 2020. - № 1. - С. 60-66.
  23. Буланов В.А., Фомичёва О.Е. Современные проблемы оценки производительности информационных систем // Промышленные АСУ и контроллеры. - 2020. - № 1. - С. 49-54.

Statistics

Views

Abstract - 52

PDF (Russian) - 35

Refbacks

  • There are currently no refbacks.

Copyright (c) 2022 PNRPU Bulletin. Electrotechnics, Informational Technologies, Control Systems

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies