ASSESSMENT SYSTEM FOR SPORTS EXERCISES BY NEURAL NETWORK VIDEO ANALYSIS
- Authors: Teryohin A.D1, Ilyalov O.R1, Stepanov A.V2,3
- Affiliations:
- Perm National Research Polytechnic University
- Perm State Humanitarian Pedagogical University
- Academy of Game Sports
- Issue: No 1 (2022)
- Pages: 75-86
- Section: ARTICLES
- URL: https://ered.pstu.ru/index.php/amcs/article/view/2041
- DOI: https://doi.org/10.15593/2499-9873/2022.1.04
- Cite item
Abstract
This article describes the initial stage of developing an information system for evaluating a sports exercise based on the use of neural networks. The current approach to the evaluation of sports exercises and its shortcomings, as well as the advantages of introducing computer technology, were considered. The analysis of initial data is carried out. Next, the approaches that are used to analyze the position of the athlete's body during the exercise are considered, and an approach is chosen to obtain the position of the athlete's body in space and time. The definition of the concept of key points is given and their location, number on the human body are described. A number of pre-trained neural networks are considered that determine the location of key points on the human body, and the best option for solving the problem posed in this article is selected. The data sets that are used in the training of neural networks, in tasks of determining the position of the human body, are studied. The problem of image analysis is posed and an algorithm for solving the problem is introduced. As a result of the work, a prototype of an information system was developed that is capable of receiving frames from the original video sequence, processing frames using a neural network, recording the position of key points in the image to a text file, and processing data from the file for analysis.
Full Text
Введение Для эффективной работы тренеров в воспитании будущих спортсменов в тренировочном процессе необходимо создание динамического цифрового портрета спортсмена, включающего в себя получение наборов показателей оптимального сочетания различных способностей и физических данных для определения оперативных и стратегических задач в процессе тренировок и планирования перспектив развития спортсмена [1]. Разработанная математическая модель позволит определить объективный уровень спортсмена на текущий момент, проанализировать все показатели и вычислить степень развития конкретного навыка или характеристики для возможности совершенствования необходимых навыков. Полученный итоговый рейтинг позволит оценивать результат развития спортсмена в динамике. В настоящее время контроль правильности выполнения тех или иных тестов и упражнений в процессе тренировки осуществляет тренер. Однако нельзя говорить о полной беспристрастности и абсолютной объективности при непосредственном участии человека в тестировании. Кроме того, один тренер физически не в состоянии для некоторых упражнений качественно проводить одновременное тестирование более чем одного спортсмена. Для автоматизации оценивания результатов тестирования предлагается разработать информационную систему, которая при помощи данных, получаемых с видеокамер, и их обработки на основе методов искусственного интеллекта позволит объективно анализировать выполняемые спортсменом упражнения и по результатам тестирования в автоматическом режиме составлять индивидуальный рейтинг. Целью исследования является повышение эффективности тренировок и автоматизация процесса обработки результатов тестирования спортсменов за счет внедрения компьютерного зрения и методов искусственного интеллекта [2]. Внедрение компьютерных технологий в процесс тренировок даст существенный прирост производительности труда в работе тренера. Будет проще оценивать результаты упражнений, отслеживать динамику в развитии силовых или технических качеств спортсменов, выявлять неверное выполнение упражнений на ранних этапах развития способностей спортсмена. В настоящее время известно несколько информационных систем [3; 4], которые анализируют поведение игроков в ходе футбольного матча. В аналитику попадают все передвижения игрока, его положение на поле и положение мяча. Также разработано несколько систем, которые анализируют силовые упражнения [4; 5], используя компьютерный поиск ключевых точек тела человека и сопоставление с шаблоном. Однако в открытом доступе нет информации об использующихся информационных системах, которые умели бы анализировать отдельные упражнения по футболу и оценивать качество их выполнения путем выставления баллов каждому игроку. Поэтому тема данной работы является важной и актуальной. Постановка задачи анализа изображений Был рассмотрен ряд упражнений физиологического и технического блоков для тренировки команды футболистов. К каждому упражнению предложены требования, которые должны соблюдать игроки, выполняющие упражнение, и которые необходимо учитывать при оценке качества тренировочного процесса. Для автоматического контроля выполнения требований необходимо анализировать положение тела человека в пространстве и во времени, что обусловливает необходимость постановки и решения задачи анализа изображений, получаемых с видеокамер в виде некоторого видеоряда. Отметим, что одной из базовых задач анализа изображений является поиск ключевых точек на теле человека. Для представления положения тела человека в памяти компьютера используются ключевые точки, которые показывают местоположение основных суставов человека на изображении. Если исследуется последовательный ряд изображений, то получают положения точек в пространстве и во времени, по которым можно оценивать действия человека. На рис.1 приведен пример расположения ключевых точек, которые показывают левое и правое плечо, левый и правый локоть, левое и правое колено и др. [6]. Также ключевые точки охватывают и голову человека, что может быть использовано для отработки правильной игры головой. Рис. 1. Ключевые точки на теле человека Отметим, что для контроля выполнения требований к основным упражнениям футболиста подойдут точки 23 - 31. Оставшиеся точки при работе футболиста со спортивным инвентарем будут излишними, так как большинство упражнений с мячом выполняются при помощи ног. Для обобщения методики к другим видам спорта, возможно, будет необходимо изменить набор ключевых точек, так как в разных видах спорта задействуются разные суставы и разные части тела. Особенность имеют и исходные данные рассматриваемой задачи, так как анализировать положение тела человека в пространстве необходимо не по одиночному изображению, а по видеоряду, поступающему с видеокамеры. Также особенностью задачи является динамика выполнения упражнений, которую необходимо учитывать и которая может существенно изменяться в ходе тренировки. С учетом всего вышесказанного задачу анализа изображений в данном случае можно сформулировать следующим образом: получая исходную информацию с видеокамер в виде набора изображений, требуется с заданной точностью определять положения в пространстве ключевых точек спортсмена и положение спортивного снаряда для дальнейшего использования получаемой информации при контроле выполнения требований к спортивным упражнениям. Для решения поставленной задачи предложено использовать нейросетевой подход [6]. Обоснование выбора нейросети На начальном этапе было проведено исследование возможностей нейронных сетей по предложенному видео, на котором требовалось найти ключевые точки на теле каждого спортсмена, и спортивный инвентарь, с которым они выполняют упражнение. Для решения задачи определения положения ключевых точек на теле были опробованы несколько предобученных нейронных сетей, такие как: - UDP-Pose-Psa [7]; - OmniPose [8]; - MIPNet [9]; - MediaPipe [6] и др. В итоге был выбран фрэймворк MediaPipe, который может работать с видеорядом, находить отдельно стоящих людей и определять положение ключевых точек на теле человека с высокой точностью. Мерой ошибки в данной задаче служит PCK (Percentage of Correct Key-points). Обнаруженная ключевая точка считается правильной, если расстояние между прогнозируемой и истинной точкой находится в пределах определенного порогового значения (threshold). Метрика PCKh@0.5 в качестве порогового значения использует 50 % размеров головы человека, для которого ищется ключевая точка, а при использовании метрики PCK@0.2 прогнозируемая точка считается правильной, если расстояние между предсказанной и истинной точками меньше 20 % от ширины, ограничивающей прямоугольник человека. У фрэймворка MediaPipe точность, вычисленная при помощи PCK@0.2 на датасете Coco topology[10], составляет 97,5 %, что является весьма впечатляющим значением. Известно, что для решения задачи поиска ключевых точек на теле человека обычно используются два различных подхода [11]: восходящий и нисходящий. При восходящем подходе модель нейросети находит все ключевые точки одного типа, например все колени, а затем пытается собрать группы ключевых точек в скелеты. При нисходящем подходе процесс устроен наоборот - сначала ищутся все люди на изображении, а затем ведется поиск ключевых точек для каждого человека. В данной работе предлагается использовать нисходящий подход для экономии времени на поиск отдельно стоящих людей. Для работы был представлен ряд упражнений, по которым должен составляться рейтинг игроков по качеству их выполнения. Из всего списка были выбраны несколько упражнений, которые будут использованы на начальных этапах разработки информационной системы. При обучении вышепредставленных моделей нейронных сетей использовались три наиболее популярных и открытых набора данных: 1. MPII Human Pose Dataset [12]; 2. COCO Dataset [11]; 3. CrowdPose Dataset [13]. Рис. 2. Блок-схема алгоритма решения Эти наборы данных покрывают большинство известных задач, связанных с определением позы человека, так как в них имеется более 100 тысяч размеченных людей, на которых отмечены все ключевые точки человека. Алгоритм решения При решении задачи анализа исходных изображений будем реализовывать следующий алгоритм: 1. Получить кадр входного видеоряда. 2. Найти ключевые точки спортсмена. 3. Выбрать необходимые ключевые точки. 4. Найти спортивные снаряды, с которыми работает спортсмен. 5. Записать положение спортивных снарядов и ключевых точек в текстовый файл для последующего анализа требований к упражнению. На рис. 2 вышеизложенный алгоритм представлен в виде блок-схемы. Результаты тестирования информационной системы Первым было выбрано упражнение для тестирования ловкости игрока. Упражнение выполняется следующим образом: игрок, стоя в квадрате 2×2 м, ограниченном фишками, выполняет жонглирование мячом. Требования, которые должен соблюдать игрок: - мяч после удара должен подниматься выше колена игрока; - во время жонглирования игрок не должен покидать ограниченную фишками зону; - после каждого удара по мячу следующий удар выполняется другой ногой. На первом этапе алгоритма (см. рис. 2) видеоряд разбивается на отдельные кадры, далее идет процесс поиска людей, их ключевых точек и спортивного инвентаря, с которым футболист выполняет упражнение. После того как вся необходимая информация с кадра собрана, происходит запись в файл для последующей обработки и анализа требований к упражнению. В ходе проверки работы информационной системы был построен график изменения координаты Y левой и правой ступней, а также координаты центра мяча по оси Y в зависимости от номера кадра в видео, который показан на рис. 3. Изменение координаты центра мяча показано на графике зеленым цветом, изменение координаты левой ступни показано оранжевым цветом, изменение координаты правой ступни - синим цветом. На рис. 4 представлено изображение из обработанного видео. На нем показаны ключевые точки на коленях, а также найдены стопы спортсмена. Кроме этого, были найдены положения мяча и фишек, которые ограничивают зону выполнения упражнения. Сверху слева на изображении выводится информация о том, сколько раз спортсмен нарушил требования T1 (мяч после удара должен подниматься выше колена игрока) и Т3 (после каждого удара по мячу следующий удар выполняется другой ногой). Пример, когда нарушается требование Т2 (во время жонглирования игрок не должен покидать ограниченную фишками зону), показан на рис. 5. При этом зона, в которой спортсмен должен выполнять упражнение, изменяет цвет с зеленого на красный. Также в ходе работы программы велся подсчет количества ударов по мячу, этот показатель на изображении (рис. 4, 5) показан под наименованием I1. Рис. 3. График изменения вертикальных координат мяча и двух ключевых точек футболиста при жонглировании Рис. 4. Пример работы информационной системы Рис. 5. Пример работы информационной системы Заключение В ходе работы был разработан алгоритм решения задачи анализа изображений с помощью нейросетевого подхода, реализованный в виде прототипа информационной системы, которая умеет отслеживать требования к выполнению заданных спортивных упражнений. Также был определен приемлемый ракурс для съемки видео при выполнении упражнения. Тестирование прототипа на одном упражнении показало, что предложенный алгоритм можно распространить и на другие упражнения, что позволит использовать информационную систему при оценке качества тренировочного процесса футболистов.About the authors
A. D Teryohin
Perm National Research Polytechnic University
O. R Ilyalov
Perm National Research Polytechnic University
A. V Stepanov
Perm State Humanitarian Pedagogical University; Academy of Game Sports
References
- Степанов А.В. Математическое моделирование при профессиональном ориентировании футболиста и прогрессе развития навыков в достижении топ-уровня // Ученые записки университета имени П.Ф. Лесгафта: научно-теоретический журнал. - 2019. - №8.
- Ясницкий Л.Н. Интеллектуальные системы. - М.: Лаборатория знаний, 2016. - 221 с.
- Azevedo D., Player Detection using Deep Learning [Электронный ресурс]. - URL: https://medium.com/analytics-vidhya/player-detection-using-deep-learning-492122c3bf9 (дата обращения: 10.01.2022).
- Neil J. Cronin, Using deep neural networks for kinematic analysis: Challenges and opportunities // Journal of Biomechanics. - 2021. - Vol. 123. - P. 110460. doi: 10.1016/j.jbiomech.2021.110460
- Kulakov A. How I created the Workout Movement Counting App using Deep Learning and Optical Flow Algorithm [Электронный ресурс]. - URL: https://towardsdatascience.com/how-i-created-the-workout-movement-counting-app-using-deep-learning-and-optical-flow-89f9d2e087ac (дата обращения: 10.01.2021).
- Bazarevsky V., Grishchenko I. On-device, Real-time Body Pose Tracking with MediaPipe BlazePose [Электронный ресурс]. - URL: https://ai.googleblog.com/2020/08/on-device-real-time-body-pose-tracking.html (дата обращения: 10.01.2022).
- Liu H., Liu F., Fan X., Huang D. Polarized Self-Attention: Towards High-quality Pixel-wise Regression [Электронный ресурс]. - URL: https://arxiv.org/pdf/2107.00782v2.pdf (дата обращения: 10.01.2022).
- Artacho B., Savakis A. OmniPose: A Multi-Scale Framework for Multi-Person Pose Estimation [Электронный ресурс]. - URL: https://arxiv.org/pdf/2103.10180v1.pdf (дата обращения: 10.01.2022).
- Khirodkar R., Chari V., Agrawa A., Tyagi A. Multi-Instance Pose Networks: Rethinking Top-Down Pose Estimation [Электронный ресурс]. - URL: https://arxiv.org/pdf/2101.11223v3.pdf (дата обращения: 10.01.2022).
- Microsoft COCO: Common Objects in Context [Электронный ресурс] / Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C. Lawrence Zitnick, Piotr Dollár. - URL: https://arxiv.org/abs/1405.0312 (дата обращения: 10.01.2022).
- Researh Team. An overview of human pose estimation with deep learning [Электронный ресурс]. - URL: https://beyondminds.ai/blog/an-overview-of-human-pose-estimation-with-deep-learning/(дата обращения: 10.01.2022).
- D Human Pose Estimation: New Benchmark and State of the Art Analysis / M. Andriluka, L. Pishchulin, P. Gehler, Bernt Schiele // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2014, doi: 10.1109/CVPR.2014.471
- CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark [Электронный ресурс] / Li Jiefeng, Wang Can, Zhu Hao, Mao Yihuan, Fang Hao-Shu, and Lu Cewu. - URL: https://arxiv.org/pdf/1812.00324.pdf (дата обращения: 10.01.2022).
Statistics
Views
Abstract - 181
PDF (Russian) - 98
Refbacks
- There are currently no refbacks.