抖音视频中被人惊叹“好看”、“酷”、“好想被焊在脸上”的特效是怎么炼成的？ 抖音特效为何能在多平台竞争中脱颖而出？
7月28日火山游戏引擎，抖音联合火山引擎在京举办智能特效技术开放日。 火山引擎特效技术专家分享了抖音特效的制作流程和技术原理。
据介绍，抖音特效主要采用计算机视觉（CV）和计算机图形（CG）技术。 CV代表了对现实世界的理解。 CG的作用是在屏幕上叠加渲染的虚拟元素。 特效是利用CV和CG技术的交互，连接现实和虚拟。 经过大量的工程化和产品化迭代，最终呈现给用户生动有趣的视觉效果。
CV技术：数据驱动、场景丰富、算法全面
据火山引擎特效技术专家介绍，抖音特效CV技术主要有3个特点。
首先，通过用户反馈来推动CV算法的优化是一个核心优势。
抖音拥有庞大的用户基础，任何算法的升级迭代都会影响到大量用户，最终都会反馈到产品使用数据上。 其中一些指标的涨跌，往往与某种算法的某种变化有很大关系。
其次，更丰富的使用场景让CV算法的适用性更强。
除了抖音，字节跳动还有很多其他APP和业务线火山游戏引擎，比如视频拍摄、视频剪辑、视频会议等，其他垂直行业如游戏、广告、房地产、汽车等，将产生非常丰富的收入使用场景。 不同的使用场景会产生各种差异化的需求。 在满足这些要求的同时，也在帮助CV算法有更好的适应性。
以智能电视为例，客户需要对电视摄像头应用一些特效。 但是这个场景和抖音的区别非常明显：电视和手机的屏占比差别很大。 所以CV算法一开始做的很差。 但是，正是针对智能电视场景优化算法的过程，推动了CV算法的进步，最终很好地适应了这个场景。 后来火山引擎发现抖音里面有很多场景也有类似智能电视场景的需求，所以就直接拿相关的结果来用。
此外，Volcano Engine CV算法涵盖的技术能力也非常全面。
抖音特效使用了 100 多种不同的 CV 算法。 如果把每一种算法都看作是对真实场景的理解，那么可以理解为特效中100多个不同的真实场景，基本上包括各种技术方向。 另一方面也证明了火山引擎技术团队的人才储备也是非常全面的。
CG技术：为特效量身打造的轻量级渲染引擎
经过近两年的打磨，火山引擎CG技术团队完成了从零到一的自研渲染引擎。 该引擎还具有三个特点。
首先是体积小。
说到渲染引擎游戏动态，我们比较熟悉的是Unity等非常成熟的商业渲染引擎。 与它们不同的是，抖音特效的渲染引擎是针对短视频AI特效的渲染场景，不需要游戏行业的很多功能，所以是一个轻量级的渲染引擎，比Unity小很多。
二是要有非常好的跨平台能力。
火山引擎的CG技术不仅可以在移动Android和iOS平台上使用，还可以在PC上使用，包括Windows、MacOS、Linux等不同的操作系统。 同时，同一个平台也会有不同的图形API版本。 这些主流的图形API版本都可以得到火山引擎的CG技术的支持。
还有一点就是可以达到很好的渲染效果。
以下面五种具体特效为例：
第一个特效是物质领域的展示。 PBR可以简单理解为一种偏向于真实场景的材质，可以明显感受到金属的质感。
第二个特效是半透明和具有一定反射和折射效果的材质。
第三个特效是自发光效果。
第四种特效应用了GPU粒子系统。
在之前大家比较熟悉的“雨控特效”中，抖音特效中首次使用了“粒子”的概念，但是《雨控》中的雨滴并不多。 但在GPU粒子系统中，光是烟花就使用了数万个粒子，远远大于之前的雨控特效。 这是因为《控雨》的“粒子”过去是由CPU计算的，而“GPU粒子系统”是通过GPU来完成数万个粒子的计算。
最后一个demo综合了很多技术，可以理解为近乎真实的渲染效果。
除了分享抖音特效背后的技术，火山引擎相关负责人还表示游戏运营，作为字节跳动的技术服务平台，火山引擎不仅支持抖音、今日头条等内部产品，还对外开放外部公司。 为客户提供特效创作工具包、自定义算法、工程部署、对接联调等产品和服务。 此外，火山机资源商城在抖音上提供上万种同款特效，企业可根据知名度和类型选择使用。
