位置映射图网络(PRN)是一种端到端的使用联合回归解决稠密排列和 3D 人脸重建的方法。本文将对 PRN 方法进行简要的解释,并介绍其在计算机视觉中的应用,最后附上开源代码和操作方法。
想象一下在未来,我们在远程通话的时候,通过全息投影可以让你感觉到说话的人就在你面前。而现在,一种基于计算机视觉的类似应用已经产生了。
在过去的十年里,许多计算机视觉研究方向的重要团部队在 3D 人脸重建以及人脸对齐方面取得了很多令人兴奋的进展。其中最主要的是将卷积神经网络作为一种人工神经网络应用于这方面。然而,由于用于映射的人脸 3D 模型的不完善,重建后的空间具有局限性,这就导致大部分人脸 3D 重建放方法的效果并不理想。
位置映射地图网络 (PRN)
上图是 PRN 的结构,绿色的矩形表示残差块,蓝色的矩形表示转置卷积层
在最近的一篇论文中,Yao Feng 团队提出一种端到端的方法——位置映射地图网络 (PRN),该方法将稠密对齐和重建 3D 形状联合起来解决。在人脸 3D 对齐和重建方面,该方法在多个数据库上都远超之前的方法。
更详细地说,他们设计了一种 UV 位置映射(https://en.wikipedia.org/wiki/UV_mapping ),它是一种记录了所有面部点云三维坐标的二维图像,在每个 UV 多边形中都保留了语义信息。然后使用一种加权损失训练一个简单的编码 - 解码网络,这个网络从单张 2D 面部图像得到 UV 位置映射。
上图是该方法的部分结果,奇数行是人脸对齐结果 (仅显示 68 点),偶数行是 3d 重建结果
这篇论文的贡献主要在这些方面:
实现方法
该方法的代码使用 Tensorflow 的 python 接口完成。该项目的官方网址为:https://github.com/YadiraF/PRNet 。如果你想测试一下人脸重建的效果,你需要安装以下环境:
训练好的模型可以在这里下载:百度网盘(https://pan.baidu.com/s/10vuV7m00OHLcsihaC-Adsw ),谷歌网盘(https://drive.google.com/file/d/1UoE-XuW1SDLUjZmJPkIZ1MLxvQFgmTFH/view?usp=sharing ),目前这个代码仍在开发过程中,该团队将会不断完善并在未来提供更多灵活的功能。
应用
基础应用
扩展应用
使用方法
运行 python demo.py --help 可以获得更多帮助信息。
论文原文:
https://arxiv.org/pdf/1803.07835.pdf
英文原文:
3D Face Reconstruction with Position Map Regression Networks
https://heartbeat.fritz.ai/3d-face-reconstruction-with-position-map-regression-networks-
还没有人评论...