OPPO 在国际人工智能会议 CVPR 2021 获多项佳绩，自研算法首次赋能智慧工厂

2021 年 6 月 24 日，中国，深圳——一年一度的全球计算机视觉顶级会议 CVPR（Conference on Computer Vision and Pattern Recognition 国际计算机视觉与模式识别会议）落下帷幕，OPPO 在六大赛道共十二项赛项中取得一项第一，七项第二，四项第三的优异成绩，仅次于百度等国内第一梯队的参赛选手，再次展示了强劲的 AI 创新实力。

本次参加 CVPR 2021 竞赛的团队来自 OPPO 研究院智能感知与交互研究部和 OPPO 美国研究所，先后在多目标行为分析、足球行为分析、长视频理解、时空行为检测、跨模态分析及人机交互识别六大赛道上取得优异的成绩。他们通过对算法的优化、训练，不断强化 OPPO 的 AI 能力，让 AI 更好地为人类服务。

由 OPPO 智能感知首席科学家郭彦东与清华学者等共同发表的《View-Guided Point Cloud Completion》论文，被本次 CVPR 所收录。该论文通过执行有效的跨模态和跨级别融合框架，为点云补全任务提出了一套视图引导的全新解决方案。

郭彦东表示：“非常高兴 OPPO 研究院智能感知与交互研究部继 CVPR 2020 的首次亮相后，再度取得佳绩。去年我们夺得第一名的‘极端超级分辨率感知’技术，将模糊的照片‘算’得更清晰，‘手持设备视觉定位’技术让融合定位更精准。而此次获奖的多目标行为分析、时空行为检测、基于多张 2D 图片的 3D 人脸重建等技术，涉及行为识别、时空动作定位、人脸识别等更复杂、前沿的领域，能够在智能制造、智能美颜、智能家居、智慧办公、智慧健康、智慧出行等应用场景发挥重要作用。我们希望通过不断的努力，让 AI 能够真正地为人所用，为我们带来更智能更便捷的生活。”

值得一提的是，OPPO 在多目标行为分析（Multi-Agent Behavior）赛道中收获颇丰，其所应用的 AI 算法能基于特征点信息准确判别、预测动物及人在复杂交互内容下的行为。OPPO 凭借着领先的 AI 算法能力，从全球 240 多个顶尖参赛团队中脱颖而出，获得子赛项少样本行为分类任务（Learning New Behavior）第一，及传统分类（Classical Classification）与标注风格迁移任务（Annotation Style Transfer）赛项的第二与第三名。目前，这项技术正在 OPPO 智慧工厂发挥着保护作用，工人们在这套算法的辅助下，可以避免关键生产环节的错漏错放，令自身和产线更安全。

多目标行为分析赛道

从计算智能到人本智能，OPPO 让 AI 更 “懂”人

秉持着 “科技为人 以善天下”的企业使命，OPPO 正在围绕 “以人为本”不断构建自身 AI 能力。在基于多张 2D 图片的 3D 人脸重建（3D Face Reconstruction From Multiple 2D Images）挑战赛中，OPPO 自研的 AI 算法所还原的三维人脸模型与真实人脸误差仅为 1mm 左右，在主要指标成绩排名中取得第二名。该算法克服了在实际生活中，特别是动态视频拍摄时，因为动作导致的人脸五官点不明晰、表情夸张、甚至图片数据失真等问题，

事实上，OPPO 自研的人脸检测算法已能够识别 635 个人脸特征关键点，并实现 30 次 / 秒的高速运行。在不久前发布的 OPPO Reno6 上，依托于该算法架构的 AI 焕采美妆视频技术为用户轻松打造了动态的自然美妆效果。这项技术将推动人像视频技术 “升维”进化，以 3D 级的特征点识别、令 “上妆”效果更服帖；也将在社交平台上制作出更丰富更贴合的 AR 特效，让用户在日常生活中享受到技术带来的美好瞬间。

基于多张 2D 图片的 3D 人脸重建赛项

让 AI 理解我们所处的时间和空间

目前，OPPO 的 AI 能力已发展到可以识别人在时空环境中的行为状态。在足球行为分析（SoccerNet）赛道中，OPPO 取得动作定位（Action Spotting）和回放定位（Replay Grounding）两个赛项第二名，仅次于百度。这项挑战需要在一段足球比赛视频中辨别出十几种关键动作，包括越位、红牌这类基础规则复杂，动作幅度小，人类都很难识别的行为。同时 AI 算法还需要排除摄影机位不同等干扰因素，准确定位回放片段在原始比赛视频中发生的时间点。不久的将来，这项技术将为体育爱好者们带来福利，在比赛后 AI 可以实时整理精彩集锦。在该技术的帮助下，手机相册也可以自动制作类似 “精彩一周”的视频集锦，让用户可以随时回顾自己生活中的美好瞬间。

足球行为分析赛道

在跨模态行为分析（MMact）赛道上，OPPO 分别在行为识别（Cross-Modal Action Recognition）与行为定位（Cross-Model Action Temporal Localization）两个子赛项中取得第二名。OPPO 强大的 AI 算法仅通过视觉信息便可准确识别一段视频中人物在特定空间内发生的交谈、屈膝、走动等十余种动作。该技术未来有望广泛应用在家居场景，为家中老人、小孩、宠物带来更贴心的照料。即使父母不在身边，AI 也可以在宝宝下意识做出危险性动作的时候，及时提醒父母，避免宝宝受到伤害。

此外，OPPO 还在时空行为定位（AVA-Kinetics）赛道获得第三名。AVA 数据集作为行业内第一个开辟时空行为检测的数据集，使用该数据集的定位赛项历来是人工智能的热门赛道之一，每年不乏国际顶尖科技公司与院校的知名团队参与其中。时空行为定位算法不仅可以准确识别视频中人们的行为，还可以同步定位其所处的时间段和空间范围。这也意味着，OPPO 的 AI 技术不仅能理解你在做什么，还可以在时空中 “找到”你。

OPPO 正在向更高维度的 AI 技术探索

本次 CVPR 上，OPPO 在学术界前沿领域长视频理解（LOVEU, Long-form Video Understanding）挑战中，获得两大赛项第三名。该赛道需要 AI 在预先没有特定分类标准的情况下，自行理解视频的意义并分割出其边界的时间段落。因此，对算法的泛化性提出了极大挑战，AI 需要像人一样思考，理解视频中人类动作、颜色、物品、乃至光源的变化，并对变化点进行判断。未来，这项技术可以广泛应用在视频领域，作为 AI 处理视频的基础工序，为后续包括人脸识别、行为识别等 AI 任务的选择和执行奠定基础。

OPPO 研究院美国研究所参与了稠密深度估计挑战赛道，展示了能够基于 2D 图像输出稠密 3D 深度信息的技术，获得自监督学习赛项第二名的成绩，并获得 “最佳创意奖”。该技术通过利用深度学习模型直接从普通图像输出深度信息，未来有可能替代 ToF 这样的深度传感器，带来体验更好的室内外导航。