Ученые НИЯУ МИФИ разрабатывают виртуального помощника композитора

Специалисты Института интеллектуальных кибернетических систем Национального исследовательского ядерного университета «МИФИ» (НИЯУ МИФИ) разрабатывают программную систему — виртуального ассистента композитора, способного определять эмоциональный настрой человека и следовать его логике, сообщили

в пресс-службе вуза.

Несмотря на существование развитой музыкальной теории, создание музыки до сих пор с трудом поддается формальной алгоритмизации из-за неразрывной связи с эмоциональной жизнью человека-творца. Изучение этого аспекта творческого процесса представляет большой интерес для специалистов по машинному интеллекту.

Сегодня исследователи уже могут наладить взаимодействие между человеком и программным агентом таким образом, чтобы программа, получая информацию об эмоциональном состоянии и намерениях человека, позволяет компьютеру стать продолжением человеческого разума и тела.

Ассистент композитора — это программное обеспечение, которое способно самостоятельно создавать музыкальные композиции на «человеческом» уровне, высокого эстетического качества.

Ассистент — «умный» творческий помощник, который способен дополнять ноты, написанные композитором, «собственными» нотами, аккордами и их комбинациями, рассказали РИА Новости сотрудники Института интеллектуальных кибернетических систем НИЯУ МИФИ.

По словам ученых, чтобы достигнуть этой цели, необходимо было проанализировать теорию музыки (выделить музыкальные звуки, аккорды, их комбинации), создать семантические карты на базе этого анализа и связать их с моделями эмоционального восприятия музыки человеком.

Новая программная система принципиально отличается от похожих разработок тем, что виртуальный агент способен поддерживать эмоциональный контакт с человеком, отметил профессор Института интеллектуальных кибернетических систем НИЯУ МИФИ Алексей Самсонович.

По его словам, метод основан не на нейросети, а на семантической карте, где состояние человека представлено точкой в аффективном пространстве. Каждое возможное действие также имеет координаты в этом пространстве, и существует некоторый закон, связывающий одни координаты с другими, следуя логике эмоционального восприятия.

Есть также ограничения, определяемые законами музыкальной гармонии и ритма.

«Взаимопонимание» между композитором и виртуальным агентом оказывается возможным благодаря систематизации и хранению в программной среде различных типов эмоциональной реакции человека на музыкальные элементы — аккорды, их последовательности и интервалы.

Для накопления и использования программой информации об удачных и уместных сочетаниях звуков, используется методика семантической карты, которая позволяет «виртуальному композитору» не только продолжать по своему вкусу заданную пользователем мелодию, но и отслеживать его настроение, предлагая разные вариации развития и подбирая аккомпанемент.

При разработке методики было использовано специальное приложение, предлагавшее участникам тестирования оценить различные комбинации аккордов по десятибалльной шкале для трех критериев: «приятно-неприятно», «весело-грустно», «возбуждающе-скучно». Такая система оценки позволяет создавать трехмерные семантические карты.

Он отметил, что наиболее перспективный подход в этой области исследований обеспечивают когнитивные архитектуры, созданные на основе данных психологии и нейронауки, — так называемые «биологически инспирированные когнитивные архитектуры» (БИКА).

По словам ученых, разработанная технология обладает масштабируемостью и сможет применяться не только в музыке, но и во многих других видах цифрового творчества, а также более широко в человеко-машинных системах.

Создание и внедрение подобных разработок — важнейший шаг на пути изучения социоэмоционального аспекта интеллекта, ответственного за распознавание и выражение эмоций, намерений, мотиваций и желаний.

Ключевые итоги исследований опубликованы в журнале «Procedia Computer Science»..