新闻

亚博技术专业购彩平台

菜单

机器学习增强在线课堂中的非语言交流

Zoom上不同位置的平铺电脑屏幕显示音乐课,展示机器学习系统如何提高合奏人员的非语言交流能力。

如果首席小提琴手(左上)看着摄像机,演奏者们就会觉得她在看着所有人。但凝视跟踪系统显示她正在看沃尔特(第二排中间),并在首席小提琴手的视频输入上标上“沃尔特”的提示,这样全班同学就都知道她的凝视对象是谁了。当她看向另一位音乐家时,提示会不断更新——与整个乐团建立非语言交流。

加州大学圣地亚哥分校娱乐与学习研究中心(CREL)的研究人员开发了一种分析和跟踪眼球运动的系统,以提高未来虚拟教室——甚至未来虚拟音乐厅的教学效果。

加州大学圣地亚哥分校音乐和计算机科学教授什洛莫·杜布诺夫是计算机音乐专家,领导高通学院的CREL,他开始开发新的工具,以应对COVID-19大流行期间使用Zoom教授音乐的缺点。

杜布诺夫说:“在音乐教室里,非语言交流,如面部表情和肢体动作,对于保持学生专注于任务、协调音乐流动和交流即兴想法至关重要。”“不幸的是,这种非语言教学在虚拟教室中受到了极大的阻碍,因为你不在同一个物理空间里。”

为了克服这个问题,杜诺夫和博士生罗斯格里尔最近出版的会议论文系统上使用眼球追踪和机器学习,允许一个教育家“目光接触”与个别学生或演员在不同的位置,让每个学生知道当他或她是老师的关注的焦点。

研究人员建立了一个原型系统,并通过Zoom在加州大学圣地亚哥分校的虚拟音乐课上进行了初步研究。

加州大学圣地亚哥分校雅各布斯工程学院的电子和计算机工程博士生格里尔解释说:“我们的系统使用一个摄像头来捕捉演讲者的眼球运动,以跟踪他们在屏幕上看的位置。”“我们把屏幕分成91个方块,在确定了老师的脸和眼睛的位置后,我们想出了一个‘注视估计’算法,该算法提供了老师正在看哪个盒子——进而是哪个学生的最佳估计。”

当系统识别出教师注视的位置发生变化时,算法会确定学生的身份,并在屏幕上标记其姓名,以便每个人都知道演示者关注的是谁。

在初步研究中,Dubnov和Greer发现该系统在估计演讲者的目光时非常准确——能够在27.5 x 13英寸(70x39厘米)的屏幕上精确到3 / 4英寸(2厘米)。“原则上,”格里尔说《新科学家》杂志上说:“只要有足够高质量的数据,这个系统在小屏幕上应该能很好地工作。”

Dubnov认为,有一个缺点:演讲者离摄像机越远,眼睛越小,越难跟踪,从而导致对凝视的估计越不准确。然而,有了更好的训练数据、更高质量的摄像机分辨率,以及在跟踪面部和身体姿势方面的进一步进步,他认为该系统甚至可以让指挥家远程挥舞指挥棒,并指挥分布式交响乐团,即使每个音乐家都在其他地方。

*罗斯·格里尔和什洛莫·杜布诺夫,眼球追踪软件可以让视频通话费用更逼真CSME学报》(2021), isbn: 978-989-758-502-9 doi: 10.5220/0010539806980708


媒体接触

道格拉姆塞.(必须启用JavaScript才能查看此电子邮件地址)

加州大学圣地亚哥分校的工作室十300提供广播和电视连线,以便媒体采访我们的教师,这可以通过.(必须启用JavaScript才能查看此电子邮件地址).访问加州大学圣地亚哥分校,与加州大学圣地亚哥分校的教师专家就相关问题和热点新闻故事取得联系//www.introversial.com/media-resources/faculty-experts