如今,AI语音配音的视频产品越来越多。无论是短视频,还是有声书,甚至一些新闻解说,都开始采用AI配音。只要上传原声,AI还能复刻一个人的音色、语调、语速,甚至“讲方言”。

AI“说话”吐字清晰,节奏平稳,但听起来总让人有一种挥之不去的违和感。AI配音,能做到感情充沛吗?

每个人自带情感雷达


(相关资料图)

打开短视频,听见声音解说,你会知道“这不是人声,是AI配音”。其实这是大脑的一种奇特能力。

我们每个人与生俱来,都自带一套分辨率极高的情感雷达。它不仅能识别开心、难过、悲伤等简单情绪,还会同步捕捉海量细微信号,比如起伏不定的气息、声带不经意的微颤,甚至是语言里藏着的矛盾与克制。这不是简单地听字面意思,还能更好地感知语气、情绪等。

AI配音发音标准,音色清晰,但听上去没有感情。因为AI只会“读文字”,不会读“这句话的情境”。而人类复杂的情感决定了我们天生是潜台词高手,会笑着说反话,平静语气里藏着失望,嘴上说没事、声音却微微发紧。

我们说话的含义高度依赖于当时的语境、事件等因素,AI却无法识别。比如,“你开心就好”有时恰恰为了表示当下不太好,AI以为是欣慰;“你行你上”其实是破防了,AI以为是鼓励;“你可真棒”也可在嘲讽的语境下表达,AI只会使用赞叹语气。

人类的情感雷达擅长识别这种“表里不一”,但AI通常只能执行单一的情绪标签,开心就是开心,悲伤就是悲伤,很难自然呈现矛盾、克制、隐忍等复合情绪。

心理学家、瑞士日内瓦大学教授克劳斯·莱纳·谢勒早在1994年就提出,人类对语音中的情绪真实性具有高度的敏感性,能从中分辨真假情绪和心理状态。

演化心理学上有一个关于诚实信号的理论,意思是人类对语音中的细微情绪差异有敏锐的分辨力,这是一套源于“前语言时代”的演化适应。早在远古社会,语言还未诞生之前,人类便能依靠声音信号判断同类的敌意、愉悦或求助意图。声音是可靠的即时线索,构成演化意义上的“诚实信号”,让我们可以透过语调、气息、声质,快速捕捉言语之下真实的情绪流动,支撑复杂的社会判断与合作。

AI配音的底层逻辑

AI配音为什么没有感情?这要从它的底层逻辑讲起。

AI配音即AI语音合成技术,其专业名词叫TTS(Text-to-Speech),也就是文本转语音。它的任务是把一行行文字变成音频信号。而真人说话,是先有想法、感受、场景,再自然地发出声音。一个是“将文字翻译成声音”,另一个是“内心感受之后向外表达”。

可见,AI配音的生成逻辑本质上是一套“拼装合成”流程,而不是一种带有动机的表达行为。AI的模型结构决定了它只能模仿,而不能生发。AI配音的生成更像在完成一次高质量的朗读,缺少人类语言中最本质的东西,即临场的情绪驱动和表达动因。一些语言模型可以让AI声音在快乐、悲伤、愤怒等情绪间切换,但这种控制都是外部标签驱动,不基于当时的情境。

麻省理工学院媒体实验室研究人员珍妮特·卡恩从事语音韵律、合成语音情感表达方面的研究,她指出,合成语音与人类语音的差距集中体现在三个层面,即听懂度不足、韵律不当、表达力匮乏。听懂度解决的是“听清字”,韵律解决的是“听懂结构”,而表达力解决的是“听懂人”。

剑桥大学的一项研究在讨论情感语音合成时指出,即便是“愤怒”这种被广泛研究的基本情绪,听者的反应也呈现出相当大的个体差异。什么样的声音算“愤怒”,本身就受到韵律轮廓、语境和个人期待的调制。

这也给AI的训练带来深层次的困难,它没有一套足够精细的“情感—声学参数字典”,现有模型难以量化愤怒、焦虑等复杂情绪所对应的声学特征组合,在实际部署中往往只能以中性语调应对所有场景。

所以,当前主流的AI语音合成模型大多是通过学习海量语音样本的平均说法来合成声音,最终生成一个看上去最合理的声音版本。这种方式虽然听起来自然通顺,但导致每句话的情绪都被磨平了,失去了人类语言中的个性、突发性和情绪张力,就像套了个情绪模版,缺少一些“活人感”。

不妨留一些边界

有人会问,现在不少AI配音听起来很有情绪了,技术在进步,语音大模型也会进步。

在业内人士看来, AI配音今后会变得更自然。现在很多研究正在努力让AI的声音更像人,尝试加入更多的变异性与即兴性。

现在主流的AI配音大多是独白的有声书、旁白、短视频解说。而人类说话大量发生在对话里,语音韵律带有应答属性,如被打断时的停顿、迟疑、接话等,顺着对方情绪微调语气,这属于互动语用学的范畴。

下一代交互式TTS,会将对话历史、对话中上一句的情绪、人物关系等纳入韵律规划。它不是单独生成每一句台词,而是建模对话回合、话轮交替、听者反馈。如对方焦虑,回应会放缓;对方反驳,语气带上一点辩解的张力,不要求每一句都工整、完整且匀速。不再只盯着单句文本,也在尝试分解音色、风格、情绪,让模型跳出“情绪—语调”的刻板绑定。

模型的确可以无限逼近情绪的声学外壳,但技术无论如何突破,都无法让AI拥有主观感受、生命体验与真实的生理唤醒。

AI配音无法做到感情充沛,根源并不是音色不够逼真,而是三层的鸿沟叠加。第一层是语言学鸿沟,人类的情感韵律是超音段、副语言、语用信息,藏在字面之外。第二层是心理学鸿沟,人类情绪来自认知评估与主观体验,而AI只有统计映射,没有感受。第三层是生理鸿沟,真人发声是神经、呼吸、声道联动的身体行为,AI没有肉身带来的自然扰动与耦合变化。

声音里的温度,往往不在标准的模板里,而在那些犹豫、克制、随心境起伏、不可完全复刻的细微瞬间。这些都是当下AI最难学会的东西。若算法足以复刻充沛的情感表达,让AI的语气、共情、起伏,逼真到骗过人类的耳朵,当这份“动情”的能力彻底被外包给模型,我们和AI之间还剩下什么不可逾越的边界?

(题图来源:视觉中国)

原标题:《听AI配音时脑袋嗡嗡嗡的,它就不能有感情地说吗?》

推荐内容