В ПГУ разрабатывается технология обнаружения и классификации психоэмоциональных состояний человека

Учеными Пензенского государственного университета ведется разработка технологии обнаружения и классификации психоэмоциональных состояний человека по речевым сигналам. Применение данной технологии позволит заранее предупреждать психоэмоциональные расстройства людей, трудовая деятельность которых сопряжена с повышенной степенью ответственности. Оригинальные технические решения разрабатываемой технологии могут быть применимы в образовательной, медицинской, правоохранительной и предпринимательской деятельностях человека. В отличие от существующих аналогов предлагаемая технология обладает рядом преимуществ, обеспечивающих повышение точности и скорости обнаружения и классификации естественно выраженных психоэмоциональных состояний человека.

По словам разработчиков, предлагаемая технология будет представлять собой специализированное программное обеспечение, состоящее из модуля обработки и анализа информативных паттернов речевых сигналов, релевантных естественно выраженным эмоциям и нейросетевого модуля, обученного на информативных паттернах, соответствующих отрицательным, положительным и нейтральных психоэмоциональным состояниям.

Создатели технологии отмечают инновационность разработки, которая заключается в использование адаптивных методов обработки речевых сигналов, позволяющих определять релевантные информативные паттерны естественно выраженных психоэмоциональных состояний, учитывая уникальные особенности речи (скрытые модуляции, области концентрации энергии и т.п.).

На сегодняшний день разработкой уже заинтересовались сотрудники инновационного центра «Сколково» (компании-резиденты WAY2WEI — платформа по оценке и развитию эмоционального интеллекта для HR, T&D руководителей и сотрудников на научной основе и ООО «Вербекс» (речевые технологии и девайсы)). Новшество вызвало интерес также и у иностранных компаний, таких как Huawei Technologies Co (ООО «Техкомпания Хуавэй», г. Москва), у представителей медицинских сервисов Вебиомед (искусственный интеллект в здравоохранении) и многих других.

Разработка осуществляется в рамках национального проекта «Наука», частичная реализация проекта выполняется на грантовые средства программы «Участник молодёжного научно-инновационного конкурса» («УМНИК») Фонда содействия развития малых форм предприятий в научно-технической сфере (500 000 рублей). К тому же, разработчики выиграли в конкурсе научно-исследовательских проектов «Ректорские гранты» Пензенского государственного университета (грант 60 000 рублей).

«В основе реализации проекта запланировано выполнения многих междисциплинарных и комплексных задач, находящихся на стыке медицинских и инженерных наук, которые требуют привлечения консультантов разных специальностей — психологов, физиологов, лингвистов, математиков и программистов. Понимая, что проект достаточно объемный, в рамках программы «УМНИК» запланировано выполнение некоторых задач, а именно создание речевой базы данных, включающей звуковые записи (слова, фразы и предложения), релевантные нарушениям работы органов речевого аппарата, а также формирование оптимального набора параметров, соответствующих естественно выраженным эмоциям», — поясняет научный руководитель проекта, директор студенческого научно-производственного бизнес-инкубатора ПГУ Алан Алимурадов.

Точность обнаружения и классификации психоэмоциональных состояний человека зависит от базы эмоциональной речи, применяемой при создании алгоритмов обработки речи и обучении алгоритмов классификации. Поэтому особенное внимание исследователи ПГУ (Богдан Порезанов, Илья Стешкин, Кирилл Платонов, Дмитрий Дудников) уделяют поиску, анализу и систематизации аудио и видео материала, содержащего речь на русском языке, зарегистрированную в условиях естественного переживания эмоций человеком в реальных жизненных ситуациях (отрицательных, нейтральных и положительных психоэмоциональных состояниях, различных по выраженности, длительности, осознанности, рациональности, уровню проявления и др.).

«Особенность формирования базы в том, что мы используем открытые источники на информационных ресурсах (аудиохостингах и видеохостингах). Например, видеосюжеты, в которых показана стрессовая ситуация (репортажи с мест чрезвычайных происшествий), где респонденты, пострадавшие от наводнений, аварий, авиакатастроф, пожаров и так далее, дают интервью). Это отрицательные психоэмоциональные состояния. Положительные — это радостные события, такие как рождение ребенка, семейные праздники и дни рождения, социальные и спортивные мероприятия. Нейтральные — все то, что находится между отрицательными и положительными ситуациями», — поясняет Богдан Порезанов.

Как нам рассказал главный исполнитель проекта студент третьего курса специальности «Управление технических систем» Пензенского госуниверситета Дмитрий Дудников, в основе формирования оптимального набора параметров, релевантных естественно выраженным эмоциям заложены поисковые исследования скрытых особенностей речи посредством применения новых адаптивных методов частотно-временного анализа информативно-значимых амплитудных, временных, частотных и энергетических характеристик речи. Дмитрий проводит исследования и разрабатывает программное обеспечение для анализа информативных параметров.

«В первую очередь разрабатываемая технология будет интересна государственным учреждениям, связанным с повышенным риском возникновения техногенных и биогенных аварий и террористических угроз, чтобы контролировать психоэмоциональное состояние своих сотрудников и предотвращать возможные негативные последствия. Данная проблема наиболее характерна для операторов систем управления с повышенной степенью ответственности: пилоты, космонавты, военнослужащие, диспетчеры аэропортов, диспетчеры опасных производственных объектов (АЭС, ТЭС, объектов химической промышленности и т. п.)», — поделился Дмитрий Дудников.

Проект — участник многих конференций и конкурсов российского масштаба (VI Международная научно-практическая конференция студентов и молодых ученых «Модели, системы, сети в технике» (Пензенский государственный университет, 2022 г., г. Пенза); Международная научно-техническая конференция «Перспективные информационные технологии (ПИТ 2022)» (Самарский национальный исследовательский университет имени академика С.П. Королева, 2022, г. Самара); 5th Scientific School Dynamics of Complex Networks and their Applications (DCNA) (2021, Kaliningrad, Russia); (24rd International Conference on Digital Signal Processing and its Applications (DSPA), 2022, Moscow, Russia).