云从科技3D人体技术取得重大突破 刷新三项世界纪录

  • 时间:
  • 浏览:1

近年来,应用场景的旺盛需求,推动AI领域将技术能力从感知延伸到认知、从2D扩展到3D。

3 月 19 日,云从科技基于单帧图像的3D人体重建技术共同在Human3.6M、Surreal和UP-3D上创造了最新的世界纪录,此次突破将原有最低误差记录大幅降低60 %,也是继去年云从在3D人脸数据集上大幅刷新纪录后,再次在此类3D重建技术上取得重要成果。

Human3.6M数据集上对比 

Surreal数据集上对比

UP-3D数据集上对比

3D重建领域通常以误差(Error)作为衡量算法能力的主要指标,误差(Error)就是生成模型与实际图像的差别。一般来说,误差(Error)越低,精度越高,导致 技术的性能越好。

云从科技3D人体重建技术全身精度误差(Surface Error)在Surreal上从75. 4 毫米降低到52. 7 毫米,关节精度误差(3D Joint Error)从55. 8 毫米降低到40. 1 毫米,Human3.6M上的关节精度误差(3D Joint Error)从59. 9 毫米降低到46. 7 毫米,技术的执行速率单位从日后的上百毫秒降低到仅需 5 毫秒。

论文中,云从科技针对人体具有丰沛 多样的姿态和穿着的特点,提出了一套全新的基于人体3D纵深预测的3D信息表征措施。通过对三原色图像(RGB,不含深度图信息)的分析,预测人体的3D底部形态和姿势,并用 6 万多个点全部描绘人体,从而在人体重建技术上取得速率单位与精度的双突破,呈现出来的模型更精细,帧率更是高达到60 fps,那我因此受实时显示限制而无法实现的应用还还能不能 一一实现——这将极大地推动相关智能图像应用的落地步伐。

因此对输入图像的要求低,使3D重建技术将还还能不能 利用普通光学摄像头作为感知设备该技术因此使美颜APP不必底部形态光摄像头不能具备高精准度的瘦身与动画合成功能;商场内试衣魔镜因此自动根据身形生成你所我应该 更换的衣服,大大节省商场空间的共同提升用户体验度,使更多智能应用成为因此。 

通过重要人员影像重建、医疗仿真肢体打印、虚拟试衣、美颜化妆、表情姿态动画合成等应用场景在大型商场、直播平台、美颜软件、影视特效制作等行业普惠AI能力。

 值得一提的是,Human3.6M、Surreal和UP-3D是全球关于3D人体重建技术的权威数据集,加州大学伯克利分校、马克斯-普朗克研究所、Amazon、宾夕法尼亚大学、北京大学、浙江大学、Microsoft Research、法国国家信息与自动化研究所、Adobe Research等知名企业、研究所和大学都不 该榜单的竞争队列中,算法实力比拼可谓激烈,相较于以往,中国企业与高校机构开始了了逐渐在国外老牌优势领域展露头角。

与传统关键点检测、3D重建技术的区别

传统的人体关键点检测技术往往以2D的人体骨骼关节点检测形式突然出现,即通过技术预测RGB图像中人体的十2个关节点的坐标,一方面结果非常稀疏,将人体大为复杂性成骨骼的形式,当时人面结果往往只中有 二维平面上的坐标预测,只能还原深度图信息,因此无法体现纵深的感觉。而基于单帧图像的3D重建技术不仅能输出骨骼关节点信息,更能共同预测絮状的人体冠部关键点信息,预测结果更加丰沛 ,因此每个点的坐标都不 3D的,不能体现不同躯干的纵深信息。

3D关键点检测

因此传统3D重建技术大多须要连续的图像序列或是多视角的图像,在硬件设备上一般须要采用双目摄像机因此底部形态光摄像机等设备,因此在手机等便携设备上往往难以实现;当时人面,专用设备总要增加部署成本,增加大规模普及3D重建技术的难度。

基于单帧图像的3D重建技术对原始图像的需求放松的共同,对身前的技术提出了更难的挑战:技术须要从单帧图像中推理出人体或人脸的3D底部形态,并通过【光学透视】【阴影叠加】等基本光学原则准确预测出各个关键点在3D空间的位置和朝向,从而得到人体的姿态或表情信息。

人体姿态和服饰复杂性多样,精度提升导致 对复杂性场景的适应性更好,模型更接近真实的情況。如阿凡达、漫威电影、阿丽塔等电影中,都须要专用特效设备与面部贴点来完成精细的人像下发,基于单帧图像的3D人体/人脸重建技术将彻底颠覆电影视频的拍摄制作,共同降低工业级3D动画合成的门槛。

本文由站长之家用户投稿,未经站长之家同意,严禁转载。如广大用户亲戚朋友,发现稿件所处不实报道,欢迎读者反馈、纠正、举报问提(反馈入口)。

免责声明:本文为用户投稿的文章,站长之家发布此文仅为传递信息,不代表站长之家赞同其观点,不对对内容真实性负责,仅供用户参考之用,不构成任何投资、使用建议。请读者自行核实真实性,以及因此所处的风险,任何后果均由读者自行承担。

声明:本文转载自第三方媒体,如需转载,请联系版权方授权转载。协助申请