CVPR 2019 oral:亮风台发布端到端的投影仪光学补偿算法

发布时间:

近日,亮风台公布了投影AR算法研究最新成果,主要用于解决投影仪光学补偿问题,即当投影屏幕不是理想的白色漫反射时,尽可能消除投影面上的图案。相关论文《End-to-end Projector Photometric Compensation》已经入选CVPR 2019的oral presentation环节。数据显示,今年有超过 5165 篇的大会论文投稿,最终录取1299 篇,而oral presentation的入选率只有提交论文的5%左右。可以预见,该成果将成为投影AR技术应用落地提供重要的技术基础。

  

  

新成果的贡献主要有以下几点:

  

1.  亮风台首次将投影仪光学补偿问题阐述为一个端到端的深度学习问题,然后构造一个新颖的CNN网络,即CompenNet来隐式地学习这个复杂的补偿函数。

  

2.    首次提出一个独立于设备和实际投影的数据库和评价基准,今后类似的工作可以在这个评价基准上统一比较,而不需要复现该研究中使用的设备和实际投影,以前的工作是没有这样的评价基准的。

  

3.    提供了一个预训练的方法,将预训练好的CompenNet迁移到新的投影屏幕和硬件设置上,只需要拍摄少量的采样图片就可以媲美甚至超过从零开始训练CompenNet和传统方法,这样可以大量的节省采样图拍摄时间和训练时间。

  

新方法在基准测试中得到了仔细的评估,结果表明,我们提出的解决方案在定性和定量指标上都优于现有技术水平。

  

图1. (a) 正常光照下的具有纹理和颜色的投影屏幕。(b) 投影仪投射的图片(也是我们想要看到的效果)。(c) 相机拍摄到的,没有补偿的投影结果,即将(b)直接投影到(a)上。(d) 我们模型计算出的补偿图。(e) 相机拍到的补偿后的效果,即将(d)投影到(a)上。比较(c)和(e),我们看到明显提升的效果和细节

  

事实上,这不是亮风台第一次在投影AR算法研发上取得重要突破,去年,亮风台和美国两所科研单位联合研发出一套新的投影仪-相机联合标定方法,对于一个相机姿态仅仅需要一次投影采样,使标定效率和实用性大大优于之前的大部分标定系统,其成果发布于国际顶级增强现实会议ISMAR。ISMAR的参与对象主要为学术界,来自于工业界的工作凤毛麟角。

  

投影AR的技术优化使AR终端从智能手机、智能眼镜等硬件不断延伸,覆盖更多样化的终端形态,扩展“AR终端”组成序列。

  

目前,AR的基础技术研发和储备仍然是行业发展的重要影响因素之一,需要学术界和工业界不断打破技术边界。2012年成立以来,亮风台一直在致力于计算机视觉和人机交互等底层技术的研发,发表核心期刊与会议论文 200余篇,图匹配、物体识别、目标跟踪、物体监测、3D场景理解、手势精准估计等不断取得突破性成果,取得十余项全球权威评测世界第一的成绩,成果收录于各大国际顶级会议与期刊,如计算机视觉三大顶会ICCV、ECCV、CVPR,人工智能顶级期刊《PAMI》,多媒体领域顶级会议ACM-MM和期刊TMM等等。

  

另一方面,亮风台也在不断加强与学术界、产业界的技术合作,成立美图&亮风台实验室 、华中科技大学&亮风台增强现实联合实验室、华南理工大学&亮风台联合实验室等系列实验室,战略合作上海陈天桥脑疾病研究所,同时和清华大学、北京大学、中科院、北京交通大学等十余所高校合作“产学研”,共同扩宽AR及相关技术的边界。

  

5月8日,亮风台宣布完成1.2亿元B+轮融资,新一轮的融资将为亮风台引入更多产业链上下游的全球化资源,加速公司AR平台商业化进程,同时,也将继续投入AR基础技术研发,助推AR产品和服务的突破创新。目前,亮风台商业化提速明显,飞轮效应已然显现,涵括AR云服务、AR通讯的AR平台,同时支持多样AR终端形态,也有利于各行业各场景的数据、知识的共融共享,提速飞轮进化。

  

进一步了解请查看:

  

论文下载:

https://arxiv.org/pdf/1904.04335.pdf

  

补充材料:

http://www.dabi.temple.edu/~hbling/publication/CompenNet_sup.pdf

  

源代码:

https://github.com/BingyaoHuang/CompenNet

  • 合作咨询

    4000211680-1

  • 售后咨询

    4000211680-2

微信公众号

扫码关注
获取更多信息