开源生态的建设植根于社区。 开发者在社区中共享、共创、共赢，将激发无限创造力。 这就是开源最大的魅力！
选择开源，源于我们“独行快，合力远”的坚定信念！
幻觉引擎
时隔六年，Chrome 团队终于在 2023 年 4 月 6 日发布了 WebGPU。5 月 2 日，在 Chrome 113 版本中，默认启用了 WebGPU。 从现在开始，具有 AAA 级渲染的 3D 应用程序有望出现在 Web 上！
Orillusion团队从三年前就开始关注WebGPU的发展。 经过两年多的研发、多次框架重构、性能调优，Orillusion引擎今天以开源的形式正式向大家开放！
我们致力于在浏览器中实现桌面级的渲染效果，支持超大型、复杂场景的3D渲染，为3D场景爆发的时代提供底层引擎基础工具。
GitHub地址：
发动机优势
WebGPU是一种基于网页浏览器的新型现代图形API，它使得网页能够直接调用GPU来执行计算任务并绘制复杂的图像。
Orillusion是一套基于WebGPU图形API的Web3D渲染引擎，其渲染能力可与PC图形API相媲美。 Orillusion引擎使用了大量的GPU开放能力，如灵活的GPU缓存（GPU Buffer）、强大的着色器（Webgpu Shader/WGSL）以及备受期待的Compute Shader计算核心，充分发挥非光栅化的能力GPU 的性能。 优化阶段的并行处理能力。
ECS组件系统
Orillusion采用ECS（Entity-Components-System/Entity-Component-System）组件架构作为引擎的整体设计思想。 它消除了继承模型中复杂的继承链和函数相互交织的问题。 通过解耦、封装和模块化设计，开发者可以更加灵活地组合和扩展功能。 一旦实体附加到组件上，它就拥有该组件的所有功能，而不需要复杂的继承关系。 结合系统中设定的生命周期，开发者可以实现更灵活的调用。
组件系统
内置组件
基本性能
连续内存GPU数据提交机制
在传统3D引擎的渲染环节中游戏图片，CPU和GPU的相互等待是性能消耗的主要原因之一。 部分等待时间是由于CPU自身的数据准备以及渲染每一帧之前CPU向GPU传输数据的等待过程造成的。 另一部分等待时间是由于GPU状态切换频率过高导致CPU产生更多的Empty wait。 Orillusion引擎最终通过降低CPU向GPU写入数据的频率以及降低GPU渲染状态的切换频率来提升性能。
性能的提升离不开GPU缓存（GPUBuffer）的利用。 在数据量较大的场景下，可以使用StorageGPUBuffer将数据写入ByteStream，然后统一写入GPUBuffer一次性提交； 在少量数据频繁交互的场景下，较小的内存中会写入更多的数据。 块（UniformGPUBuffer），然后写入GPUBuffer一次性提交。 需要指出的是，StorageGPUBuffer中的数据是可读、可写、可复制的，但UniformGPUBuffer中的内容仅支持写入。
GPU缓冲区
全局连续记忆矩阵机制
Orillusion引擎还提供了全局连续内存矩阵（StorageGPUBuffer + BindGroup）来提高性能。 它将整合渲染中使用的所有矩阵并在渲染前统一提交。 最终可以在不影响渲染结果的情况下，减少数据提交频率、CPU和GPU数据写入时间以及GPU状态切换频率，从而大幅提升渲染性能。
全局连续矩阵性能优化
渲染
集群照明剔除
场景渲染离不开丰富的光照，因此引擎采用Cluster Lighting来解决光照数量有限的问题，避免延迟渲染带来的诸多弊端。
灯光数量上最常见的缺点之一是传统前向渲染（Forward Rendering）中寄存器和性能的限制造成的，这导致每个像素可计算的光源数量很少，而数量很大GPU 性能的浪费。 该引擎利用Cluster Lighting预先计算当前图片块内像素的光源使用情况，精确计算光源对每个块像素的影响，合理削减块像素的计算资源以提高性能。 而且，结合HDR Lighting和Lighting IES能力，可以渲染出更加丰富、饱满的画面效果。
同屏128+动态光源
PBR渲染
Orillusion引擎提供基于物理的材质渲染（PBR-Physical Based Rendering），可以支持金属、皮革、橡胶等不同物理属性材质的渲染，让物体拥有丰富的细节和更强的纹理表现。
左：金属渲染右：皮革渲染
后期处理
后处理效果的类型有很多种，常见的发光、模糊、景深等都属于这一类。 为了方便使用，Orillusion 目前提供了 Bloom、GTAO、SSR 等后处理效果。
盛开
光晕是高光泽物体的泛光效果。 运用得当可以让平淡的画面具有影视作品的视觉效果。 在引擎的物理光照中，当反射、折射、自发光等物体表面的亮度超过自定义阈值时，就会出现光溢出效果。
左：HDR 下的光溢出 右：窗户上的光溢出
GTAO
环境光遮挡（AO/Ambient Occlusion）是让整个画面显示接近真实阴影效果的重要手段。 Orillusion提供的GTAO（Ground-Truth Ambient Occlusion）可以检测一定半径内的遮挡关系，使得遮罩阴影的显示更加真实。 适合实际场景。
SSAO/GTAO 比较
固态继电器
反射在日常生活中随处可见，反射的模拟程度也是影响渲染结果质量的重要因素之一。 对此，Orillusion提供了屏幕空间反射（SSR）能力，以实现真实合理的反射效果。
左：水面上的 SSR 反射 右：场景内的反射
粒子系统
现实生活中的很多现象或内容很难使用Mesh模型来呈现，比如常见的火焰、烟、雾、雨雪等，此类场景一般都是使用粒子系统来实现。 借助Compute Shader强大的计算能力，Orillusion引擎不仅能追求精致的粒子效果，还能保证高性能。 甚至可以将场景探索与GPU粒子结合进行实时交互，提高视觉特效的上限和质量。
粒子发射器
基于动画模型的粒子效果
计算着色器
计算能力是WebGPU最引人注目的能力之一，也是新一代图形API标准的质的飞跃。 Orillusion引擎封装了原生Compute Shader，并将其作为计算核心，连接引擎特有的多类型GPUBuffer，充分利用GPU的计算能力。 引擎通过Compute Shader调用GPU计算核心，将计算任务或图像处理任务分配给各个核心进行并行计算，并能在极短的时间内返回结果。
GPU计算核心
通过Compute Shader，我们可以实时改变渲染模型网格、顶点等属性缓冲区，达到物理模拟的能力。
流体模拟
软体模拟
发动机性能
除了上面提到的利用GPU缓存（GPUBuffer）来提升基本性能外，引擎还针对不同的用户使用场景对比了三种性能优化方案。 下面以绘制55000个盒子的场景来对比不同渲染方案的性能消耗：
性能对比
Orillusion引擎基于ECS组件系统，结构清晰，效率高。 它利用了WebGPU的开放能力，特别是强大的GPU缓存和计算核心。 与传统的Web端引擎相比，在性能、效果和易用性上都取得了飞跃。 改进：
构建开源生态系统
开源并不意味着免费，开源也不意味着简单地公开代码。 我们理解开源是一种开放、共享的创新协作模式，突破物理边界，通过高效敏捷的沟通协作实现技术创新。 技术人员可以将更多的精力花在创造性的工作上，避免重新发明轮子。 而且，从整个软件产业供应链来看，开源已经成为未来信息技术的主战场。
最近，大家都被ChatGPT相关的内容淹没了。 由于OpenAI目前并没有开源最新的训练模型，如果中国企业做出类似的产品，从技术算法角度来看可能至少需要一到两年的时间。 然而，“大模型”的训练不仅仅是简单的算法问题，还需要计算能力和数据的支持，因此这可能会导致中国的大模型需要更长的研发迭代时间。
因此，我们相信开放Web生态系统的未来是非常光明的。
Orillusion 自成立以来就坚定地拥抱开源。 开放、包容、共创、共赢是其基本理念。 开源可以帮助社区更好地理解技术，也可以通过社区影响力来推广技术，邀请更多的开发者参与。 技术社区积极、快速的反馈也可以帮助我们吸收更多需求场景的输入，帮助技术的迭代和更新。 我们始终相信，再好的软件，如果没有构建良好的生态系统，没有开发者和合作伙伴的配合，就很难走得更远。 作为开源产品，社区的文化氛围和协作创造力是它与其他产品的不同之处。 社区中的分享、共创、共赢，会激发出无限的创造力，这也是开源的最大魅力！
对于中国来说，开源发展起步较晚，国产开源基础软件需要更多时间。 所有想要参与的人，无论是技术人员、开源公司，还是投资者，都需要更多的耐心！
图片来源：O3DF
目前，Orillusion引擎已获得Linux基金会O3DF的认可，将正式加入Linux开源基金会家族。 未来，我们希望借助国际开源基金会的力量，将我们自己的开源项目做大做强，为中国的开源生态做出贡献。
AI时代的机遇与挑战
ChatGPT发展历史
自2022年11月ChatGPT发布以来，我们几乎每天都在感叹变化如此之快，甚至引发了巨大的AI焦虑。 我们生怕一天不跟上前沿，就会错过最新的AI技术或者AI应用新闻。 目前可以确定的是，新的人工智能时代已经进入展开期。 后续的AI应用必然层出不穷。
我们先简单回顾一下ChatGPT的历史。
总体来说游戏素材下载 免费，由于OpenAI在成立之初就选择了Transformer作为解码器，并坚持使用标准语言模型作为预训练目标函数，因此开启了ChatGPT的诞生。
从2018年开始，GPT1率先在NLP任务上采用预训练+微调的工作范式。 不到一年后，GPT2在GPT1的基础上用更大的数据集训练了更大的模型，证明了模型的泛化能力，并探索了模型的零样本潜力。 2020年，GPT3不再追求零样本的极致性能，而是考虑人类的学习方法。 通过极少样本（上下文学习）和稀疏注意力的模型结构，将训练数据（45TB）和模型（1750亿参数）增加到GPT2规模的100倍，暴力创造奇迹，实现了完成人类难以辨别的新闻写作的惊人效果。 当然，也存在不符合人类偏好的模型“偏差”。
2021年至2022年，InstructGPT基于GPT3，通过有监督微调（SFT）和基于人类反馈的强化学习（RLHF）解决模型的“偏差”问题，实现模型答案与人类意图的对齐（Alignment） 。 与此同时，OpenAI以代码作为训练数据，对GPT3中间版本进行了另一条路线的训练，推出了第一代Codex模型。
2022年4月至2022年7月，基于后续迭代版本的InstructGPT和Codex初始模型，通过进一步的代码训练和微调，创建了第一个GPT3.5家族模型代码-davinci-002，也称为Codex。
2022年5月至2022年6月，基于code-davinci-002，通过监督指令调优得到text-davinci-002。
2022年11月，基于text-davinci-002，通过RLHF获得了两个不同的模型变体，即text-davinci-003和ChatGPT。 前者恢复了text-davinci-002牺牲的一些上下文学习能力，同时提高了零样本能力。 ChatGPT 牺牲了上下文学习能力来换取对对话历史进行建模的能力。
2023年3月，我们将进入GPT4时代。 能够理解图像内容，体现强大的“多模态”特征； 内存更强，代币数量从GPT3.5中的4K增加到32K； 具有较强的语言理解和推理能力； 在各种考试中的表现也显着提高。
GPT发展历史
我们Orillusion团队在2021年就关注了GPT3的技术和能力，当时大模型已经展现出了良好的协作和概念理解能力开源3d游戏引擎设计，但还无法实现多轮对话。 ChatGPT的出现弥补了这一缺陷，并且在其他方面都得到了很大的改进。 这个革命性的产品让我们看到了巨大的机会。 对于引擎产品类别来说，结合大语言模型的能力，让引擎能够理解人的意图，变得更加“聪明”，是充满挑战的唯一出路。 随着ChatGPT的出现，我们仔细进行了半年多的思考、试错和工程优化，力求找到大型模型和3D引擎之间的桥梁。
AIGC在3D应用场景的机会
随着现象级应用ChatGPT的出现，LLM的多模态能力在文本和图片的生成方面表现出了非常好的效果，极大地提高了生产效率，甚至改变了人们的生活习惯。 LLM涵盖的下一个场景一定是3D内容的生成。 而这也是降低3D内容创作门槛的终极解决方案。 AIGC在3D行业的突破可以理解为两种表现形式：生成和调用。
代际主义
比如ChatGPT、Jasper、Imagen、Dell·E-2、Stable Diffusion、Midjourney等，都是直接在文字或图片场景中创作从0到1的内容。 对于3D资产来说，从0到1的直接创造最终将通过AI实现。 从当前3D内容制作工作流程兼容性来看，考虑到3D资产需要应用到渲染管线中，3D资产最流行的表示形式是Mesh，此外还有NeRF、体素、点云、SDF等。目前，可以基于3D数据集直接训练AI模型创建3D Mesh资产（GET3D），也可以基于2D图像信息生成各种表示形式（Point·E、Magic3D、Dreamfusion、Phorhum）的3D资产。 虽然目前3D资产的生成还处于比较早期的阶段，距离成熟商用可能至少还需要半年到一年，甚至更长时间。 这些不同的表示最终将通过AI实现从0到1的直接过渡。 产生创作。
主叫方
在3D应用场景中，LLM能否学习各种DCC软件（通过教程、案例、代码等），直接控制这些基础软件，通过“调用”完成3D内容的创作。 比如，以后我们能不能教LLM使用Unity引擎或者3DMax工具，通过输入提示命令，就可以直接生成我们需要的3D场景或者3D模型？ LLM本身更擅长理解文本内容，并且有很多成熟的工具可以完成复杂繁琐的专业工作。 未来，我们是否只需要将操作这些工具的过程交给AI，而不需要人工操作？ 这就像我们的大脑只需要完成思考，然后控制我们的手脚就可以完成工作一样。 这个调用系统的逻辑更像是ChatGPT目前的插件机制。 如果你想买票，只需要告诉ChatGPT你的意图，然后通过插件调用成熟的购票服务即可。
AIGC发动机产品现状
在这两个派系中，我们认为第一代派系必然会发生，就像文本和图像的AIGC一样，目前大量的研究都集中在这方面。 这样我们就可以快速获得独立的3D资产，从而提高3D建模的效率，甚至跳过这个专业而繁琐的3D建模阶段。 3D场景应用是一个比文本、图片和视频创建复杂得多的工作流程。 生成 3D 资源只是这一复杂工作流程中的一个环节。 例如，对于3D应用程序，需要规划一个计划。 首先完成原画的设计，然后建模师完成建模，然后进入3D/游戏引擎构建更复杂的场景，编写交互逻辑，最后发布应用程序。 假设生成生成可以实现从0到1的3D资产创建，那么AI如何在3D应用场景中加速传统工作流程？ 如果我们真的要实现3D应用场景的全链路AI，我们相信呼派覆盖的这些DCC工具，尤其是能够完成复杂场景搭建和逻辑编写的3D引擎工具，有着巨大的革命性机遇。
而且，当这个革命性的机会到来时，3D引擎公司接入AI能力来实现它将会更加顺畅。 因为这件事的本质是AI能力在垂直行业的应用，这需要团队对3D引擎框架、能力和特性有深入的了解，以及强大的know-how经验。 如何让AI理解3D场景，快速学习3D引擎工具的功能开源3d游戏引擎设计，完成3D场景的搭建和3D应用的开发变得至关重要。
罗布乐思
样条线
ChatGPT出现之后，很多3D引擎公司都表示了对AIGC的认可，也出现了很多官方和第三方的demo展示，比如Roblox、Unity、Unreal、Spline等。虽然这个过程可能比较长，而且有巨大的问题。面对挑战，AIGC加快打造3D应用场景已成为全行业的共识。
AIGC在Orillusion引擎中的应用
AIGC 一直是我们 Orillusion 团队关注的焦点。 在发动机设计之初，我们就开始考虑AI对发动机的适配。 ChatGPT出现后，LLM的多模态表现、对语言内容的理解、上下文逻辑推理能力都取得了巨大的突破，这让我们特别兴奋！ 接下来唯一的问题就是如何教LLM理解3D场景，学习Orillusion引擎的功能，最终完成3D应用的创建。 这正是我们所擅长的，也是我们必须做的。
这件事的硬核有三个方面：
1. 基于WebGPU标准的Orillusion引擎，这是我们重要的核心技术之一。 三年前，团队开始关注WebGPU的开发。 WebGPU引擎经历了两年多的研发工作，今天正式以开源的形式提供给大家。 未来，我们期待与众多开发者共同打造属于我们自己的Web3D引擎底层生态系统。
2. 如何教授大型语言模型，理解3D场景，并学习使用Orillusion引擎构建3D场景应用。 通过标准化、结构化的引擎函数封装，加速大型语言模型的学习速度和准确性。 基于数据反馈机制，对大模型进行再次微调，使其对3D场景和引擎功能的理解越来越准确。
3、如何实现3D场景下AI能力的扩展。 我们都知道ChatGPT本身就是一个语言模型，需要插件来扩展其功能。 借鉴这种插件化的思路，我们还基于Orillusion引擎实现了一种在垂直3D场景中构建3D空间能力的插件扩展方式。 开发者可以通过插件扩展更复杂的3D应用开发能力。
基于插件的扩展能力，如果有更多的开发者参与，就会实现更多的垂直插件功能，就能满足更多的用户需求。 而更多的用户可以产生更多的数据反馈，从而给AI模型带来更大的优化空间。 当然，这个正向飞轮最终还是依赖于开发者和我们的共同努力。 因此，我们坚持开源，选择拥抱生态！
基于WebGPU标准的WebLLM项目深入挖掘了WebGPU的潜力，近期受到广泛关注。 那么未来，“云端训练、端推理”的AI框架是否更值得想象呢？
欢迎大家加入开发者社区交流群（温馨提示：如果您已经在123群中，请勿再次加入，所有信息将在各群中同步！）
如果出现扫码入群上限，请增加数量并添加小欧微信（图中右侧），我们将邀请您入群~
开发者社区
小鸥微信
