抖音视频中被惊呼的“美”、“酷”、“真想焊在脸上”的特效如何？为什么抖音特效能在多个平台上竞争？站出来？
7月28日，抖音与火山引擎在北京举办智能特效技术开放日。火山引擎特效技术专家分享了抖音特效的制作流程和技术原理。
据介绍，抖音特效主要采用计算机视觉（CV）和计算机图形（CG）技术。CV代表对现实世界的理解。CG的作用是将渲染出来的虚拟元素叠加在屏幕上。特效是利用CV和CG技术的交互，连接现实与虚拟。生动有趣的视觉效果。
CV技术：数据驱动、场景丰富、算法全面
据火山引擎特效技术专家介绍，抖音特效的CV技术具有三大特点。
首先，通过用户反馈来推动CV算法的优化是一个核心优势。
抖音拥有庞大的用户规模。任何算法升级或迭代都会影响大量用户，最终会反馈给产品使用数据。其中一些指标的上升或下降通常与算法的变化密切相关。
其次，更丰富的使用场景让CV算法更适用。
除了抖音之外，字节跳动的视频拍摄、视频剪辑、视频会议等众多应用和业务线，以及游戏、广告、房地产、汽车等其他垂直行业，都会产生非常丰富的使用量情景。不同的使用场景会产生不同的差异化需求。在满足这些需求的同时，也在推动CV算法具有更好的适应性。
以智能电视为例地图场景，客户需要在电视摄像头上应用一些特殊效果。但是这个场景和抖音的区别非常明显：电视和手机，屏幕的比例差别很大。所以CV算法一开始效果很差。但是，正是针对智能电视场景的算法优化过程推动了CV算法的进步，最终很好地适应了这个场景。后来火山引擎发现抖音中有很多场景也有类似智能电视场景的需求，所以可以直接使用相关结果。
此外，Volcano Engine CV算法涵盖的技术能力也非常全面。
抖音特效使用了 100 多种不同的 CV 算法。如果每个算法都算作对真实场景的理解，那么可以理解为特效中的100多个不同的真实场景，基本上包括了各种不同的技术方向。另一方面也证明了火山引擎技术团队的人才储备也是非常全面的。
CG技术：专为特效量身打造的轻量级渲染引擎
Volcano Engine的CG技术团队经过近两年的打磨3D素材，完成了一个从零到一的自研渲染引擎。该引擎还具有三个特点。
首先是体积小。
说到渲染引擎，大家最熟悉的莫过于Unity等非常成熟的商业渲染引擎了。与他们不同的是，抖音特效的渲染引擎是短视频AI特效的渲染场景，不需要游戏行业的很多功能，所以是轻量级的渲染引擎，比Unity小很多。
二是要有很好的跨平台能力。
Volcano Engine的CG技术不仅可以在移动端的Android和iOS平台上使用unity 烟花粒子特效，还可以在PC端使用，包括Windows、MacOS、Linux等不同的操作系统。同时，同一个平台也会有不同的图形API版本，这些主流的图形API版本，火山引擎的CG技术都可以支持。
还有一点就是可以实现出色的渲染效果。
以以下五种具体效果为例：
第一个特效是材质场的展示。PBR可以简单理解为偏向真实场景的材质，可以清晰感受到金属的质感。
第二个特效是半透明的，有一定反射和折射效果的材质。
第三个特殊效果是自发光效果。
第四个效果，应用GPU粒子系统。
在之前大家比较熟悉的“控雨特效”中，抖音第一次使用了“粒子”的概念，但“控雨”的雨滴并不多。但在GPU粒子系统中，灯光烟花使用的粒子数量达到了数万，远远大于之前的雨控效果。这是因为之前的“雨控”的“粒子”使用CPU进行计算，而“GPU粒子系统”使用GPU完成数万个粒子的计算。
最后一个demo综合了很多技术，可以理解为近乎真实的渲染效果。
除了分享抖音特效背后的技术，火山引擎负责人还表示，作为字节跳动的技术服务平台，火山引擎不仅支持抖音、今日头条等公司内部产品，还对外开放。 . 为客户提供特效制作工具包、定制算法、工程部署和联调等产品和服务。此外unity 烟花粒子特效，火山引擎资源商城提供数万种抖音同款特效，企业可根据人气和类型选择使用。
