Follow us 登录 注册
0 (855) 233-5385 周一~周五, 8:00 - 20:00
cn@yunshipei.com 随时欢迎您的来信!
天使大厦, 海淀区海淀大街27

“克隆”新华社女记者,全球首个3D AI合成主播是如何炼成的?-世界上最动听的歌

“克隆”新华社女记者,全球首个3D AI合成主播是如何炼成的?

从效果上来说,3D AI合成主播给人的最大印象便是高逼真,它较好的还原了真人的发肤、表情;在特写镜头下,连头发丝和皮肤毛孔都清晰可见。

二、完全AI驱动的3D数字人随着游戏、影视的发展,逼真的3D数字人似乎早已存在,搜狗为何敢号称是全球首个3D AI合成主播?

两会开幕前夕,这位“新小微”已正式“上岗”,为你带来两会新闻资讯报道。

“克隆”新华社女记者,全球首个3D AI合成主播是如何炼成的?

一个有形象、多模态的虚拟个人助理正在逐渐形成。

搜狗AI交互技术部总经理陈伟谈道,3D 合成主播的难点在于如何做到高逼真度。为了让模型效果更逼真,搜狗采集了更为精细的数据,并进行精准标注。

你只需要输入一段文本,它就能生成语音数据、3D肌肉运动参数,最后通过渲染,生成一段3D合成主播视频,可以360度多机位多景深呈现。

另一方面,搜狗采用更符合人体生理结构的肌肉模型,让机器去学习肌肉的运动规律,从而让表情、动作之间的过度更加自然。

它以新华社记者赵琬微为原型,通过超写实3D数字人建模、多模态识别及生成、实时面部动作生成及驱动、迁移学习等技术“熔炉”,炼就而成。

导语:或许在不久的未来,你再也分不清视频中的主持人,究竟是真人还是虚拟人,而这一天正在到来。

“逼真”大概是我们对于表现力极高的一种赞扬,比如在《霸王别姬》中,“袁四爷”看到程蝶衣出神入化的演技后,发出“虞姬再生”的感叹。搜狗3D AI主播又何以做到逼真?

具体来说,3D AI合成主播靠AI算法实时驱动,输入一个文本就能输出一个视频,往往生成一个1分钟的视频,仅只需要1分钟,相比人工驱动,几乎可以看作实时生成。

而在3D设计中,制作一个小时完整的3D写实度视频,除了耗费大量时间外,往往要花费成百上千万人民币。

此外,搜狗还将迁移学习运用到3D AI合成主播中,通过对一般人动作的预训练,仅需真人原型近1小时的数据,就合成了如今的“新小微”。

在游戏场景中,一个1分钟的转场动画,往往要一个动画师工作一天半。可以说,3D数字人的制作是一个劳动力密集型工作。

前者的优势在于真实性、逼真度更高,但灵活性略显不足;而后者的灵活性、可塑性更强,应用领域更广。二者在应用场景上具有一定互补性。

它由搜狗公司联合新华社推出,是全球首位3D AI合成主播,编号“新小微”。

一、“高逼真”的背后“新小微”,是一个3D AI合成主播。

为此,从去年10月到今年5月,搜狗技术团队投入近半年时间,完成这一挑战。

然后,通过搜狗的AI算法对3D数字人模型进行实时驱动、渲染,使其面部表情唇动、肢体动作和语言表达能力达到一个较高的度契合。

经过1年半的迭代,目前搜狗分身具备了对话交互、多语种播报等能力,在媒体、客服、司法等领域都得到了应用。

三、“进化中”的搜狗分身还记得搜狗在2018年推出的首个AI合成主播吗?它是一个2D AI合成主播,以新华社主持人邱浩为原型。

从2D AI合成主播到3D AI合成主播,从表达式到对话交互,搜狗分身正在不断进化。搜狗分身也在不断进入垂直领域,围绕特定领域进行知识计算,积累“智慧”高度。

AI技术的加持,使3D AI合成主播在产出视频上成本更低、效率更高。

其次,二者3D模型的制作技术不同。

其次是灵活性、可塑性更强,3D AI合成主播可以走动、转身、可以摆出各种复杂的动作和姿态,具备在更广阔空间使用的潜力。

栩栩如生的形象之下,它还是一个完全由AI算法实时驱动的3D数字人。这和那些游戏影视中依靠美术师逐帧勾画的3D动画人有本质不同。

仔细观察你会发现,3D AI合成主播和3D数字人有着本质不同,前者是完全基于AI算法实现驱动,而非人工驱动。

透过3D AI合成主播技术实现过程,我们可以得知它为何拥有如此逼真的效果。

需要指出的是,2D AI合成主播和3D AI合成主播是搜狗分身下的两条并行发展路线。

搜狗一位产品经理也谈道,为了让“新小微”更加逼真,他们花了很多精力去了解超写实的制作行业,如何把一个真人的动作映射在模型上,并反过来改善3D制作行业的模型,让模型驱动起来更加逼真。

而搜狗采用肌肉模型、肌肉绑定来做3D模型,一方面它使3D人物的动作更加逼真;另一方面肌肉模型中每一个肌肉点的运动,都会连带很多面部脸谱协同运动,整体看起来自然度会更高。

如今推出的“新小微”是3D AI合成主播。你可以把它们看做一对“兄妹”,它们共同的父母是“搜狗分身”。

陈伟称,搜狗会在2D、3D技术上一起往前推进。

在3D设计中,很多做写实类的3D模型多是采用Blendshape来做的,其逻辑在于通过一个极限表情乘以不同系数,得到生成的表情,但往往效果较为粗糙,表情之间的过度也不够流畅自然。

其次,搜狗采用了行业领先的扫描还原算法,以及面部肌肉驱动、表情肢体捕捉等技术,生成高逼真度的3D 数字人模型。

可以预见,3D制作行业,AI驱动大有可为。

首先基于真人原型采集海量数据(603138,股吧):原型戴着数据采集头盔,几百个摄像头会对其身体各个部位进行全方位“打点”扫描,采集每一处细节,并对其多种形态的表情和动作进行细致入微地捕捉记录。

搜狗分身与其说是一项技术,不如说是一个框架、一款产品。它所要做的就是“克隆”(合成)人类的声音、面部表情、动作等,最终变成一个虚拟助理,更好的帮助人类表达。

这也契合了搜狗一直以来的使命——让表达和获取信息更简单。

而游戏、电影行业多是靠人工驱动来完成一个超写实的3D模型。比如在一个10人构成的动画中,往往要对这10个演员进行扫描、动作捕捉、面部捕捉,进行真人与卡通人物绑定,还需要对他们的声音进行采集等等,需要美术师一帧一帧勾画出来,耗费巨大的时间成本。

从面部表情到肢体动作的细节程度,搜狗3D AI合成主播达到了不亚于一些影视作品及游戏NPC的写实度。

Comments (2)

  • Brad Bukovsky
    • Brad Bukovsky

      新浪财经讯 5月26日消息,早盘指数高开,随后三大股指单边上行,深成指、创指表现强势。盘面上,家电、旅游、电子等消费板块表现强势,汽车板块大幅走强,昨日强势的白酒股出现回调。总体上,早盘市场情绪较为积极,赚钱效应较好。临近午盘,三大指数延续高位盘整态势。科技股一改颓势持续拉涨,网红、消费电子板块持续走高,另外,次新股、科创板个股表现亦有所走强。总体上,市场短线资金高涨,赚钱效应也持续回暖,板块个股普涨,资金做多情绪显现。午后,指数高位盘整,创指表现依旧强势。盘面上,知识产权、新冠病毒检测板块表现强势,市场人气依旧积极,赚钱效应尚可。尾盘,沪指一度涨1%,深成指涨2%,创指涨近3%,两市超百股涨停。盘面上,科创板全线走强,上午表现强势的消费电子等题材概念继续领涨。多头占据市场主导地位,两市板块个股普涨,题材概念持续活跃,总体赚钱效应较好。

      回复
  • Brad Bukovsky

    中新经纬客户端5月26日电 据多家媒体报道,当地时间5月26日,港澳知名爱国企业家、第9届至第11届全国政协常委何鸿燊在香港养和医院逝世,享年98岁。公开资料显示,“赌王”何鸿燊于1921年11月25日在香港出生,祖籍广东,是香港商人何东爵士的侄孙。他旗下的主要企业包括:澳门博彩控股有限公司、香港新濠国际集团、香港信德集团有限公司、澳门国际机场专营公司、澳门诚兴银行等。业务版图涉及地产、运输、酒店、投资、博彩、旅游等,其控制资产最高达5000亿港元,个人财富达700亿港元。公开报道显示,何鸿燊育有十七位子女,在其逝世后,何家财产分配备受关注。娶4妻诞17子女何鸿燊家族庞大,据香港《信报》报道,四房太太共为他生育了十七位子女。据报道,何鸿燊与元配黎婉华在1942年共谐连理,婚后共有4名子女,分别为何超英、何猷光、何超贤及何超雄。何鸿燊在1957年迎娶二太太蓝琼缨,两人共诞下5名儿女,分别是何超琼、何超凤、何超蕸、何超仪及何猷龙。1983年,陈婉珍的三太太地位被确立。陈婉珍与何鸿燊育有3名子女,分别是何超云,以及龙凤胎何超莲和何猷启。四太太梁安琪与何鸿燊共诞下5名子女,分别是何超盈、何猷亨、何猷君、何猷佳及何超欣。晚年遭遇家产争夺风波随着“赌王”年事增高,健康状况变差,家族财产如何分配继承成为近年来市场最关注的问题,何鸿燊家人争产的消息也一度满城风雨。据《信报》报道,2009年7月29日,何鸿燊跌倒撞伤头部,送往港安医院接受脑部手术,同年9月转送养和医院治疗,2010年3月才正式出院,其身体状况及家族资产分配愈发惹人关注。2010年12月,何鸿燊突然把2.5亿股信德集团股份转让予二房,惹来各房争议,并终于引发争产风波。2011年1月,原本由何鸿燊个人持有、拥有澳娱逾30%权益的Lanceford大量增发新股予二房及三房,间接使何鸿燊持股被大幅摊薄,二房发声明“多谢父亲馈赠”。岂料何鸿燊其后直言资产“被骑劫”,由律师高国骏代表何鸿燊入禀法院追讨该批股份,期间各房轮流接何鸿燊返家,四房争产的各项传闻此起彼落。正当何家分配财产风波似乎难免闹上法庭之际,事件却峰回路转,何鸿燊突然终止入禀,2011年3月10日,何鸿燊及全体家族成员发出联合声明宣告“大和解”。何鸿燊没有详细解释其财产分配的状况,但据澳博的通告披露,梁安琪于3月中获得3000万股澳博股份,于澳博持股量增至8.17%,至于Lanceford则主要由二房及三房持有,间接拥有逾55%的澳博权益。争产风波似告一段落。报道称,各房相安无事多年后,2019年1月23日的一项安排令市场揣测各房再次过招。根据信德集团的公告,信德集团行政主席何超琼及澳门霍英东基金会等合共拥有超过五成澳娱股权的股东签订协议,日后将共同提名推举澳娱董事会成员及批准澳娱主席及董事总经理的任命等,意味此股东联盟将会掌握何鸿燊家族博彩王国的旗舰;陈婉珍、梁安琪、澳娱另一主要股东新世界郑氏家族,均不在此股东联盟内。澳娱为澳博母公司。据报道,信德集团及何超琼一方原本合计拥有澳娱约26.4%股权,再加上霍英东基金会持有近26.6%澳娱股权,双方将共同拥有约53%的澳娱股权,取得澳娱的绝对话语权。WIND截图截至发稿,信德集团涨逾20%,报3.15港元/股。另据央视新闻客户端报道,何鸿燊生前积极参与对祖国内地的经济建设,文化慈善等事业,为澳门的发展做出了突出贡献。何鸿燊曾表示,自己大半生在澳门度过,从事博彩业近50年,见证博彩业由专营走到开放,最值得欣慰的是他一直坚持自己的信念,通过发展博彩业,积极参与建设澳门,相信施比受更为有福。(中新经纬APP)

    回复

Leave Comment

Contact Us

Feel free to call us on
0 (855) 233-5385
Monday - Friday, 8am - 7pm

Our Email

Drop us a line anytime at
info@financed.com,
and we’ll get back soon.

Our Address

Come visit us at
Stock Building, New York,
NY 93459

渡劫失败|最漂亮的av女星|越南乳瓜|西晋第一个皇帝|面积最大的湖泊|安禄山与杨贵妃|世界第一高楼|棺材|越战女兵|我国最早的字典|北京pk10-永久网址0748.cc|广东快三-复制打开0748.cc|极速快三-永久网址0748.cc|一分彩-永久网址0748.cc|彩神8-永久网址0748.cc|快三助手-永久网址0748.cc|一分快三-永久网址0748.cc|大发pk10-永久网址0748.cc|澳门百家乐-永久网址0748.cc