分类

Posted in

定格精彩瞬间！详解六自由度技术原理及应用_AI阅读总结 — 包阅AI

by baoyueai

包阅导读总结

1. 六自由度、子弹时间、视频技术、体育赛事、应用场景

2. 本文主要介绍了六自由度-子弹时间视频技术，包括其原理、优势及应用。该技术能让观众多角度观看精彩瞬间，在体育赛事和电商等领域广泛应用，且发展前景广阔，快手相关技术团队诚邀人才加入。

3.

– 六自由度技术原理

– 是全景 360 视频的升级，通过多摄像头采集等实现三维空间的自由选择角度和位置

– 具体包括平移和旋转的 6 个自由度

– 常用于模拟现实世界运动，通过高速摄像机阵列等实现子弹时间效果

– 6DoF 视频技术标准

– IEEE 标准组发布相关标准，定义了视频的表达、压缩传输和渲染

– 快手六自由度技术优势

– 鲁棒性强，在不同环境稳定运行

– 渲染速度快，生成时间压缩至 10 秒

– 视觉效果好，画面高清

– 应用场景

– 体育赛事，如亚运会击剑项目、“村 BA”篮球比赛

– 快手电商，商品展示和试穿试戴场景

– 未来有望提供创作者更自由创作空间

– 快手音视频技术团队

– 由行业专家组成，建立领先技术体系，诚邀人才加入

思维导图：

文章地址：https://mp.weixin.qq.com/s/sbaf9d9QkFNVNREK-0IxhQ

文章来源：mp.weixin.qq.com

作者：快手音视频技术部

发布时间：2024/8/13 12:27

语言：中文

总字数：2355字

预计阅读时间：10分钟

评分：90分

标签：六自由度技术,子弹时间,视频技术,快手,体育赛事

以下为原文内容

本内容来源于用户推荐转载，旨在分享知识与观点，如有侵权请联系删除 联系邮箱 media@ilingban.com

在体育赛事中，观赏各项目的精彩瞬间，欣赏运动员的卓越表现是观众们最为关注的焦点。以体操跳马为例，运动员们全力助跑，然后奋力起跳、腾空，接着精准的推手和转体动作，最后稳稳落地，整个动作行云流水，一气呵成。但传统的转播技术一般只能慢动作回放运动员的比赛过程，无法多角度全方位领略运动健儿的矫健身姿，然而，如同科幻大片般的”子弹时间“却能定格运动员的精彩一瞬，在3D环绕的场景下，每一个动作多角度清晰呈现，为观众带来一场视觉盛宴。支撑这一切精彩的背后，便是先进的六自由度-子弹时间视频技术。


“六自由度”（6 Degrees of Freedom，简称6DoF）技术是一种提供用户在三维空间可自由选择剪辑/观看角度及位置的沉浸式视频体验，是全景360视频（3DoF视频）的进一步升级。通过多个4K摄像头对真实场景进行视频同步采集、高精度3D重建以及高画质渲染技术，将视频的创作和交互空间从二维提升至三维。并且通过在时间域+空间域的自由运镜，提供了视频创作者更灵活的创作空间，显著提升短视频的表现力。6DoF视频技术具有子弹时间特效、3D虚拟运镜剪辑、自由视角交互等不同产品形态。


子弹时间（Bullet Time）是一种使用在电影、电视广告或电脑游戏中的摄影技术，用于模拟变速特效，如强化的慢镜头、时间静止等效果。这项技术被广为认知是在科幻电影《黑客帝国》里，其中最为经典的场景莫过于男主角Neo仰身躲避子弹的慢动作镜头，观众不仅能从多角度看到子弹飞行的轨迹，还能看到Neo在慢动作中的闪避的每一个细节。


6DoF技术原理通常用于模拟现实世界的运动，使物体能够在一个三维空间内自由移动。在虚拟现实（VR）、计算机图形学和机器人学等领域中，6DoF提供了物体的平移和旋转控制，使对象能完全模拟真实世界中物体的移动。

具体来说，六自由度指的是物体能在三个垂直方向上（通常是X轴、Y轴和Z轴）平移，以及围绕这三个轴的旋转。平移自由度通常被称为“推”（translation），而旋转自由度通常被称为“拉”（rotation）。

1.平移自由度（3个）：

2.旋转自由度（3个）：

  • 滚转（Roll）：物体围绕X轴旋转。

  • 俯仰（Pitch）：物体围绕Y轴旋转。

  • 偏航（Yaw）：物体围绕Z轴旋转。

在视频技术中，6DoF技术可以捕捉某个瞬间，然后通过后期制作技术，允许观众从不同角度查看这个瞬间，从而创建出所谓的“子弹时间”效果。这种效果通常通过高速摄像机阵列来捕捉动作，然后以慢动作播放，并通过计算机算法调整每个摄像机的视角，允许观众在观看时动态改变视角，从而获得一种超越现实时间限制的视觉效果。
6DoF视频技术目前是一个快速发展的技术方向，在2018年，IEEE标准组就启动了6DoF视频的标准编撰工作，最终在2022年发布了6DoF视频的第一版标准“IEEE 1857.9”。在这一版的标准中，为了兼顾技术领先性和可落地的实现性，主要采纳了基于多视角深度和纹理的6DoF视频表达和渲染方案。标准中重点对于6DoF视频的表达，压缩传输，以及渲染进行了详细的定义。如下述图表所示：

6DoF视频表达

6DoF视频压缩传输

6DoF视频渲染

基于快手多年的音视频技术积累和迭代，六自由度-子弹时间视频技术实现了几大优势：
  • 鲁棒性强：无论是户外还是室内，在不同的气候、光线条件下，快手六自由度系统都能稳定运行，完成高精度的建模和渲染，不”娇气”。
  • 渲染速度快：由于计算量庞大，以往“子弹时间”的生成速度都在分钟级，得益于快手自研的3D重建、虚拟运镜和渲染技术，生成时间可压缩至10秒，时效性倍增。
  • 视觉效果好：快手自研的三维渲染引擎能够将子弹时间的画面还原至4K及以上的高清渲染画质，为用户带来更加震撼的视觉体验。
正是这些技术优势，使得快手六自由度-子弹时间技术能够跨越地域与领域的界限，实现广泛的应用场景。在去年第19届杭州亚运会，“子弹时间”首次应用于击剑项目国际顶级赛事。快手六自由度技术团队，在克服了“地狱级”难度的剑身建模渲染后，通过赛场内部署的4K专业摄像机阵列实时采集的高清竞赛视频，在云端实现“子弹时间”的超高清渲染，在3秒内输出比赛的精彩瞬间，超预期地完成了击剑项目的3D虚拟运镜效果。

此外，这项技术也在贵州安顺的“村BA”篮球比赛中大放异彩，清晰捕捉了赛场上任意位置的精彩瞬间，并将这些瞬间向亿万观众进行了分发转播，使得山村篮球文化得以在更大范围内绽放其光彩。‍‍

体育赛场之外，六自由度视频技术也存在巨大的应用空间。比如，在快手电商生态中，特别是在商品展示和试穿试戴场景，基于六自由度技术的前期拍摄和后期渲染，模特的试穿效果可以不局限于平面，更能支持全视角运镜。用户可以全方位地查看服装细节，直观感受上身效果，让消费决策更理性。

快手六自由度技术在电商场景应用

随着6DoF视频技术的快速发展与不断进步，在未来，能够不断逼近真实的去记录各类赛事/演艺等宝贵内容的3D视频数字资产，并且基于这些3D视频资产，提供创作者在3D场景更自由的创作空间，使得视频创作者能够最大化的发挥自身创意，从自己的独特视角和对内容的理解，创作出源源不断的精彩个性化短视频，最终实现技术创新工具为创作者最佳创意服务的初衷。

快手音视频技术团队由业界资深的行业专家组成，涵盖了算法、工程、产品等多个领域。自2016年成立以来，团队建立了业界领先的短视频和直播技术体系，保障快手海内外数亿用户体验，驱动平台多元业务的开展。音视频团队诚邀您加入！


在这里您可以：

我们期待您的加入！请发简历到：

xiebin03@kuaishou.com