2023年上半年，我们经历了国内外的“百款大战”。 从科技巨头、科研机构、初创公司到各个传统行业，都掀起了制作大型模型的热潮。
当大模型成为新趋势时，我们发现与之前一波AI爆发相比，AI创业的门槛实际上已经大幅提高。
对于任何想要涉足的创业者来说，大模型首先是“体量大”，需要顶尖的研发技术和极高的初期培训成本。 以拥有1750亿个参数的GPT-3为例，海外媒体估计GPT-3的存储需求高达350GB，训练成本超过1200万美元。 至于今年的GPT-4，参数数量仍然是一个秘密，训练成本只会增加。
其次，自研大模型的成本不仅仅停留在训练上。 从算力消耗来看，第一条增长曲线是模型训练，第二条增长曲线是模型应用和调优。 而在不久的将来，第二条增长曲线将不可避免地超过第一条。
最终，大模型技术想要广泛落地，最终还是要跨越成本关卡：对于大模型提供商来说，大模型如何才能真正经济高效地融入到数千个行业？ 对于每个行业来说，如何“最快、最具成本效益”地用好大模型这一强大工具？
在此背景下，AI领域出现了一种新的商业模式：模型即服务（MaaS）。 “模型即服务”可以统一大模型、工具平台和应用场景。 对于业界来说，这是一种无需巨额前期投入即可完成大型模型训练和推理的方式； 对于大型模型提供商来说，这是探索商业化并获得财务回报的可靠途径。
最近，这条赛道又迎来了一位大咖。 6月28日，在北京举办的火山引擎体验创新技术峰会上，“火山方舟”MaaS平台正式上线。
谭岱，火山引擎总裁。
“火山方舟”为企业提供模型调优、评估、推理等全方位的MaaS平台服务。 基于其独特的多模型架构，企业可以通过“火山方舟”同时尝试多个大型模型，并选择更适合其业务需求的模型组合。 此外，“火山方舟”实现大模型安全互信计算，更加注重保障企业客户数据资产的安全。
如何使用“火山方舟”？ 这个容易用吗？ 仅通过发布会的PPT内容不足以了解产品的全貌。 为了全面深入地了解“火山方舟”，机器之心对其进行了“探底”。
体验“火山方舟”
首先登录火山引擎机器学习平台账号，在产品界面顶部会看到“大模型平台”入口：
目前，火山方舟设有“模型广场”、“体验中心”、“模型微调”、“模型评测”等版块。
样板广场：从选择、体验到落地
发布会上，火山方舟宣布首批入驻模型广场的大型模型包括百川智能、出门问问、复旦大学MOSS、IDEA研究院、兰州科技、MiniMax、智普AI（按拼音字母排序）多家AI科技公司和科研院所开发出大规模模型并开始邀请beta测试。
我们可以将“样板广场”理解为“商店”。 模型供应商可以在模型广场创建、上传、部署模型，模型使用者可以在模型广场查看模型并快速体验。
比如我们选择“ChatGLM-130B”，任务就是帮我们写这篇文章的大纲：
除了AI对话应用之外，火山方舟现在还提供了AI绘画应用体验。 这里我们以《文圣图》为例，让它帮助我们生成一篇“符合前沿科技调性的文章插画”：
通过火山方舟大模型服务平台，企业可以一站式获取各类大模型产品和服务。 同时，他们还可以在火山方舟平台上训练自己的大型模型，经过比较后做出决策，找到适合自己业务场景的最佳解决方案。 合适的解决方案。
在未来的规划中，火山方舟平台将为用户提供跨多种模态的大模型选择，包括最流行的大语言模型、图像生成模型、语音识别模型等。
模型微调：更进一步
当然，选择大模型后，企业客户还是可以根据自己的业务需求进行微调。
鉴于某些垂直场景对大型模型的要求较高，客户需要使用自有数据或现场非公开数据进行持续训练，以及构建和积累自己的微调数据集。 善用微调方法可以帮助企业客户在特定任务上使用更小的模型尺寸达到与通用大型模型相当的水平，从而进一步降低推理成本。
对于这些需求复杂的场景，企业客户只需手动设置高级参数、验证集、测试集等，更自由地使用模型微调功能。 平台还会给出培训总成本的预估作为参考：
在平台中，企业客户可以记录每个微调版本：
模型评估环节也是火山方舟的重点关注点，包括数据准备、指标定义、人工评估、自动化评估等诸多综合工具。
在火山方舟平台上，启动微调任务时会自动对模型进行评估，微调效果和运行指标也会在平台上实时跟踪。
从下图可以看出微调前后各项评价指标的变化：
同时，火山引擎提供安全可信的推理解决方案，保证模型提供者和模型使用者的模型和数据的安全。 客户可以直接使用模型提供商部署的在线服务，也可以方便地将微调后的模型部署为在线服务。
做好大模型服务需要解决三个问题
大型模型的遍地开花，不仅带来了对算力需求的大幅增长，也让人们认识到模型也可以成为一种资产。
现场，谭代分享了他眼中的“制作大型模型面临的三个问题”。 这也是火山方舟大模型服务平台希望解决的三个问题。
第一个问题是“安全与信任”。
与过去“自产自销”的AI模型相比，如今的大型语言模型凸显了“模型即资产”的重要性。 模型提供者提供模型参数和模型结构，自然希望保护知识产权，避免苦心研发的核心技术泄露； 而模型使用者则希望调用模型的输入和输出不被获取和记录，以保护其核心业务数据和微调数据不被泄露。 “资产”能否获得合格的保护，将深刻影响大模型应用的市场格局。
针对这一问题，火山方舟面向不同的业务场景和需求。 它将安全沙箱、三方审计、硬件支持、联邦学习等集成到多种解决方案中，为大型模型服务商和应用公司提供双向信任。 机制。
目前，平台已推出基于安全沙箱的大模型安全互信计算解决方案。 它采用计算隔离、存储隔离、网络隔离、流量审计等方法，保证模型的机密性、完整性和可用性，适合训练。 以及推理延迟要求较低的客户。 同时，我们也在探索基于NVIDIA新一代硬件支持的可信计算环境和基于联邦学习的数据资产分离的各种安全可信计算解决方案，以更全面地满足不同业务场景下大模型的数据安全需求。
第二个问题是“成本效益”。
未来的大模型市场必然是一个百花齐放的生态系统。 在这样的生态系统中游戏图片，可能有几个超大型模型，多个中型大型模型，以及无数针对特定行业的垂直模型。 非常大的基础模型可能无法处理所有事情。 有时，经过良好微调的小模型在垂直领域的特定任务上可能表现得与一般的大基础模型一样，但推理成本可以降低到原来的十分之一。
对于企业客户来说，这意味着解决实际业务场景问题可能需要“组合拳”，大模型的应用将呈现“1+N”的应用模式。
但挑战也很明显：一是选择和决策过程会非常复杂，一一试行会导致成本较高； 其次，如何做出提示，如何组织指标和数据集，如何科学微调，也需要一定的经验和技能积累才能完成。
在实际应用场景中，成本与收益的比值是一个无法回避的问题，因此在选择大模型时，应优先考虑性价比。 只有让模型的推理成本足够低3D角色，大模型才能真正得到广泛应用。
火山方舟丰富的模型微调和评估支持可以简化这个复杂的事情。 企业使用统一的工作流程连接多个大型模型，并可以设置高级参数、验证集、测试集等功能，然后使用自动化和手动评估直观地比较模型微调的效果，并在不同模型之间灵活切换不同业务场景实现最具性价比的模式组合。 这些自定义指标和评估数据的积累也将成为大模型时代企业宝贵的数据资产。
第三个问题是“生态系统”。 如果把大语言模型比作CPU，那么火山方舟要做的就是制造整块主板，丰富下游服务，进一步提升大模型的执行性能。
后续计划包括两点：一是工具链和下游应用插件需要不断完善。 火山方舟团队将基于对大模型库的理解和规划能力构建工具链，提供大量插件以及每个插件的支持数据集； 其次，打造垂直领域模型的微服务网络，内置图像分割和语音识别等众多专业模型，方便企业客户随时调用、自由组合。
方舟及其背后的“引擎”
从整个大模型应用市场来看，大模型服务平台获得企业客户的前提之一就是持续获得众多大型模型提供商的支持。
能够迎来国内几家顶级大型模型商的积极参与，火山方舟当然有其自身的优势。
对于模型提供商来说，一方面，火山方舟是“大模型技术”和“火山引擎机器学习平台”的有机整体，可以提供可靠的算力供应、持续的性能优化以及具有竞争力的性价比。
作为首批入驻的大型模型提供商之一，智普AI首席执行官张鹏表示，智普AI已经解决了火山引擎平台上千亿级模型训练的稳定性和性能优化的挑战； MiniMax联合创始人杨斌表示，MiniMax在Volcano引擎上实现了从数月到数周的大幅模型迭代速度，以及指数级的用户交互增长。
另一方面，借助火山方舟平台，模型提供商可以为客户提供稳定的服务，而无需管理非常底层和复杂的事务，以较低的成本接触到广泛的客户，并快速获得回报技术。 除了技术之外，火山引擎的算法团队、解决方案团队和交付团队也将共同努力，协助企业客户和大模型提供商对接需求，加速大模型的落地。
此前，国内很多训练大型模型的厂商都使用了火山引擎的云服务。 从现在开始，他们不仅可以在火山引擎平台上花钱，还可以在火山引擎平台上赚钱。
每一次重大技术变革都会带来体验创新的新机会。 在大机型热潮的推动下，包括Volcano Engine在内的云厂商也面临着快速变化的行业格局。 能否抓住变革中的机遇，与之前的技术布局密不可分。
如下图所示，位于基础设施层的Volcano引擎为大模型推理提供了高可靠性保障以及企业级的负载均衡和容错能力。 随着平台的不断迭代，其对大模型的资源供给将变得更加灵活、动态、更加便宜。 利用流量错峰、训练推送一体化等手段，大模型推理的单位成本将进一步降低，这也是“大模型上云”带来的重要优势。
此外，火山引擎还将与大型模型提供商合作ai游戏引擎程序设计，进行深度的性能优化。 以Lego算子库为例，在训练场景中，使用这个高性能算子库可以将Stable Diffusion模型在128张A100图像上的训练时间从25天减少到15天，训练性能提升40 %。
在Volcano Engine的开发过程中，与NVIDIA的密切合作也是一大亮点。 此前，双方共同完成的GPU推理库ByteTransformer荣获IEEE国际并行与分布式处理会议（IPDPS 2023）最佳论文奖。 Volcano Engine与NVIDIA还联合开源了高性能图像处理加速库CV-CUDA，并在大规模稳定训练、多模型混合部署等方面的技术合作取得成果。
NVIDIA开发与技术部亚太区总经理李西鹏表示ai游戏引擎程序设计，未来双方将继续深化合作，包括NVIDIA Hopper架构的适配与优化、保密计算、重点模型、重点客户联合支持、NeMo框架适配等，共同助力大模型产业繁荣。
据了解，火山方舟在推向市场之前，团队曾利用大量内部场景对平台进行打磨和完善。 截至目前，字节跳动已有10多个业务线探索接入并试用火山方舟平台，涵盖文本图像生成、对话码辅助、信息检索、营销创意、电商办公效率等应用。
在大模型推出的探索关键时期，火山方舟的诞生恰逢其时，也受到了足够的关注。 但作为一个新生事物，它必须有广阔的成长空间，接下来的道路需要大模型领域的每一个参与者共同努力。
