【网易智能讯9月16日音讯】大卫·贝克汉姆(David Beckham)不会说阿拉伯语、印地语和普通话。可是,在本年春天主演一个关于疟疾认识的公益广告时,这位足球传奇人物却能毫不吃力地在这几种言语和其他六种言语之间转化。这要归功于人工智能技能,该项前沿技能或许很快就会改动好莱坞电影和电视节目的本地化办法。
该广告是用Synthesia公司的技能制造的。Synthesia是一家总部坐落伦敦的草创公司,致力于运用人工智能进行配音。在做该广告时,该公司分别给这位足球明星以及它想要运用的各种言语的母语人士录制了视频。
然后,它将一切原始视频输入一个算法,该算法“学习”说出西班牙语和约鲁巴语等言语中的各个单词时的面部表情,并相应地调整贝克汉姆的面部视频。Synthesia的联合创始人兼首席运营官史蒂芬·杰里尔德(Steffen Tjerrild)解说说,“你能够一手操作视频,咱们等于有了真实的对嘴配音。”
根据人工智能的视频修改因其黑前史而备受重视,其间最著名的当属“深度假造”现象——色情视频被所谓的根据深度学习的算法改造,将视频中的原有面孔换成名人的面孔,以假乱真。但是,Synthesia的研讨标明,这种技能在好莱坞也有很大的潜力,尤其是在配音方面。
传统上,配音是在不改动源视频的情况下完结的。本地化编剧仅仅想要将翻译后的对话与屏幕上的动作匹配起来。“预备那些剧本需求花费许多的时刻。”杰里尔德说道。更重要的是,配音艺人必需求精确掌握好发声时刻,以保证防止配音让人觉得突兀,这一进程或许需求几周的时刻才干完结。
迪士尼研讨院(Disney Research)担任研讨的副总裁马库斯?格罗斯(Markus Gross)也以为,因为能够调整艺人的口型来匹配本地言语,人工智能有望大大缩短这项作业的用时,而且使得配音愈加精确。“假如咱们能够在后期制造中改动口型,那会有极大的含义。”他说道,“这能够让对嘴配音无缝匹配艺人说那种言语时的各种动作。”
迪士尼研讨公司已经在语音动画(即运用动画作用来规划和体现说话人的面部表情、口型改变等)的深度学习方面做了一些研讨,一同也在设法将这项技能应用于特效。尽管配音并不是迪士尼研讨部分的要点研讨范畴,但格罗斯表明,他对未来配音的种种或许性很感兴趣。他表明,“对咱们来说,这种技能必定很快就能够投入运用了。”
配音对好莱坞来说越来越重要,各大媒体公司都在推广自有的流媒体服务来为全球顾客供给服务。以Netflix为例,该公司正在给31种言语做配音,并从上一年开端给说英语的观众供给外国原创电影的配音版别。在谈到Netflix给英语为母语的人叙述全球故事的尽力时,该公司的世界配音担任人黛布拉·钦恩(Debra Chinn)表明,“咱们十分认真地对待这项新举措。”。
这家流媒体巨子一直在探究将配音的某些流程自动化的办法,但钦恩正告说,技能的才能或许有限。“配音是一门艺术,”她说,“这是一个创造性的进程。”
技能问题的确存在。Synthesia的技能在艺人直视镜头时作用最好,但在旁边面拍照或动作场景拍照时作用较差。
教授算法关于每个艺人的面部特征的常识,也很有挑战性。“没有艺人会说20种言语。”格罗斯说道。尽管算法能够很好地让或人的口型看起来是在说外语单词,但它并不知道像莱昂纳多·迪卡普里奥(Leonardo DiCaprio)这样的艺人是如何用普通话表达台词的。
格罗斯指出,终究,电影公司或许有必要得与实践的用户一同测验它们的配音。“咱们有必要把咱们的效果展现给许多人,然后问他们那些配音是传神仍是乖僻。”
在动画中,运用人工智能配音将会没那么吃力。原因是,在动画中,这项技能还能够被用来更好地匹配人物的口型改变和原始言语。“就以较低的本钱制造高质量的动画而言,这是一个重要的过程。”格罗斯说。
那些本钱节约或许有助于压服好莱坞在不久的将来承受这种技能。“在接下来的两三年内,”格罗斯说道,“咱们或许会看到第一批公司选用。”(乐邦)
本文来历:网易智能 责任修改:顾雨芯_NBJS8596