环球简讯:“魔镜魔镜告诉我，我的心情怎么样”

2023-01-05 07:33:31 来源：东方资讯

(相关资料图)

本文转自：金陵晚报

本报讯（通讯员杨筱奕张馨文记者李花） “魔镜魔镜告诉我，我的心情怎么样？”坐在电脑前说话，电脑中的数字人就能识别你的所有情绪。日前，南京工业大学学子孙文浩、彭华东、沙书杰、邢卓雅、李彦达在武晓光、郭天文老师的指导下，凭借作品《基于多模态的元宇宙数字助手——魔镜》在2022RoboCom机器人开发者大赛信息技术与工程创客赛道全国总决赛中获得一等奖。

人类的情绪极为复杂，共有27种不同的情绪，包括愤怒、厌恶、恐惧、快乐、悲伤、惊奇和中性七种基础情绪。面对当今快节奏的生活，人们或多或少都会有愤怒、焦虑等不良情绪，当这些不良情绪无法及时消解时，便容易滋生各种生理和心理疾病。基于此，孙文浩等5位同学设计制作了一款能够感知人类情绪的数字人形象助手——“魔镜”，用户只需要坐在电脑面前，打开摄像头与麦克风，对着“魔镜”程序说话，“魔镜”就能够通过其声音与视频数据进行情感识别，电脑中的数字人随即会做出相对应的表情，帮助用户感知自己的情绪。

团队将项目分为4个执行步骤施行，即制作“魔镜”的表情驱动、基于视觉的元宇宙情绪感知、基于听觉的情绪感知以及最终产生的多模态情绪判断。团队选择了比动漫人物、动物在表情复现上更为精细的数字人写实形象作为建模方案，而实现表情驱动则需要对真人的眉毛、眼睛、鼻子、嘴巴等70个特征点进行标定。

“想要辨别一个真实的人的情绪，光靠视觉辨别是远远不够的，我们可以增加声音这一模态来判断人的情绪。”武晓光老师和郭天文老师在此基础上又向团队提出了新的优化方案。团队通过处理时域信号得出语音频谱图，从而实现基于听觉的情绪识别。

如此，“魔镜”便可以基于视觉和听觉这两个模态对人的情绪进行更深层次的感知。在两位老师的指导下，该团队还完善了数字人细腻化表情呈现、精细化报告设计等问题。

标签：我的心情