Sota.AI开发者园是一个专注于生成式AI领域的公益开发者社区。 它得到了生成式人工智能行业加速器 Sota.AI 的支持。 计划举办一系列Meetup和闭门会议，聚焦生成式AI前沿同频交流。 趋势和前沿技术实践。 社区共创合作伙伴包括：HackingClub、CSDN CMeet、How+、5S SENSES、Newin等。
截至2022年4月，ChatGPT的访问量已超过10亿，独立访问者数量已超过1亿。 正确的非共识促成了ChatGPT的成功，而这一切只是AGI变革的开始。 用OpenAI的话说，AGI的最终目标是创造一个通用的AI。
“我们的使命是确保通用人工智能——通常比人类更聪明的人工智能系统——造福全人类。” -“AGI 及未来规划”，2023 年 2 月 14 日
AGI的全称是“Artificial General Intelligence”，指的是通用人工智能。 1956年，美国新罕布什尔州达特茅斯学院的会议室里摆满了当时最先进的计算机和设备，墙上贴满了复杂的电路图和公式。 参与者包括图灵奖获得者约翰·麦卡锡、马文·明斯基、克劳德·香农等计算机领域的顶尖科学家。
当时，计算机已经可以完成一些基本的数学运算和逻辑推理，但要让计算机具备类似于人类智能的复杂能力，是一个巨大的挑战。 为此，约翰·麦卡锡等科学家提出了一个雄心勃勃的目标：建造一台能够像人类一样思考和行动的机器。 这就是AGI的原型概念。
此后的几十年里，人工智能系统发展迅速。 击败人类的国际象棋冠军，赢得“危险边缘！” 比赛，图像分类比赛（ImageNet），并击败了围棋冠军。 并于2022年底，将以ChatGPT为代表进入公众生活。
然而游戏开发中的人工智能pdf，截至今天，AGI仍然没有一个类似于“图灵测试”的标准来定义其成功。 仅仅一些模糊的概念就指引着无数天才前进。 也许正如史蒂夫·乔布斯所说，“愿景是一切的起点，拥有目标和梦想才能引导你不断前进。”
对于整个人类文明来说，人工智能的意义远远大于火和电，或者我们过去人类历史上的任何科技成就。
2015年AlphaGo击败李世石震惊世界，成为那十年最引人注目的AGI发展里程碑。 一时间，无数人相信人工智能的智能很快就会超越人类，“技术奇点论”甚嚣尘上。 普通老百姓也开始担心：自己的饭碗会不会随时面临危险？
然而，在接下来的五年里，击败李世石的AlphaGo就像是架子上的一件艺术品。 普通人几乎没有机会接近它，也没有出现大量取代普通人工作岗位的现象。 直到 ChatGPT 出现。
2022年底，ChatGPT3.5诞生。 它在短短几周内就积累了数百万用户。 发布100天内用户数突破1亿，影响力甚至超过了当时的Twitter、Facebook和Instagram。
兴奋的背后，是睿智的企业家和科学家不断的提醒。 先是马斯克与多位大佬联名呼吁暂停ChatGPT大模型训练，后来Hinton从谷歌辞职，“只是为了自由地讨论人工智能带来的危险”。
那么ChatGPT背后到底是什么样的技术呢？ 它的出现意味着什么？
GPT的全称是“Generative Pre-trained Transformer”，是一种基于Transformer Decoder的大语言模型（LLM）技术。
简单来说，GPT序列模型的训练目标是在给定单词序列的情况下预测下一个单词。 基于这种能力，它可以在任何先前的上下文之后输出完整的上下文。
在ChatGPT之前，“多轮对话”一直是许多科技公司重点关注或宣传的产品功能。 尽管从事“智能客服”、“语音助手”的公司有很多，但整个行业还没有一家公司的产品很好地解决了这一需求并得到了大众的广泛认可。
除了解决“多轮对话”的难题外，ChatGPT还在语言生成流畅性、模型通用性、知识表示和推理三个方面达到了新的高度。
谷歌首席执行官皮查伊在接受哥伦比亚广播公司采访时表示，“人工智能是人类正在研究的最深刻的技术，甚至比火和电的发明还要深刻。” 百度CEO李彦宏也表达了类似的观点。 ChatGPT是AI技术发展到一定阶段后的新机遇，技术已经到了临界点。
那么，ChatGPT 是一个什么样的临界点呢？
这个问题没有标准答案。 在阅读了大量书籍和资料后，我们尝试用信息动力学的框架来讨论这个问题。
我们先看一个场景。 韩信，中国历史上最著名的“盖世国武士”，具有高超的带兵能力。 当上将军后，韩信每次打仗，总是稳坐中央军帐，通过沙盘和前线传来的情报运筹帷幄，下达命令指挥战斗。 当韩信向部下发出“进攻”命令时，他就会率领士兵奔赴战场，誓死战斗。
在这个场景中，韩信的信息输入非常复杂，需要沙盘推演结合一线情报。 信息处理需要根据以往的经验进行大量的分析，其复杂程度并不亚于输入部分。 但输出的信息很简单，只是一条指令。
作为韩信的部下，情况就不同了。 在处理信息的过程中，接到“进攻”命令后，他带着三军的士兵赶赴战场作战。 信息的输入和处理很简单，而信息的输出则需要命令士兵甚至亲自执行。
在信息动力学中，任何事件的处理都由“输入”、“处理”和“输出”三个环节组成。 人类在信息输入、处理和输出三个部分都具备足够的“复杂信息处理”能力。
计算机作为人类的辅助工具，本质上只做三件事：复制、粘贴和排序。 互联网和社交媒体让人们之间通过互联网传递信息变得更加容易UI界面，其背后就是复制和粘贴。 谷歌搜索和各种推荐算法正在排序。
其中，复制粘贴不需要太多计算，只有排序可能需要巨大的计算。 不过，“排序”工作的输入必须语义清晰，而且“排序”工作可以输出一串数字——复杂度很低。 计算机无法使用序列号自行迭代地完成更复杂的任务。
一名中学生入住一家新餐厅，拍下照片发到朋友圈，表达自己的幸福。 处理信息的复杂性已经比任何计算机都要复杂。
在GPT出现之前，人工智能其实有很多令人惊叹的表现，比如围棋、世界象棋、绘画等。 但从信息处理的角度来看，这些人工智能模型都存在与排序算法相同的问题：输出形式简单且固定，无法通过多次迭代来利用这种信息处理能力来实现更高的复杂度（这是排序算法的关键） GPT 原则）。 换句话说，信息动态的复杂性取决于输入、处理和输出的瓶颈。
但GPT出现后就完全不同了。 GPT可以接受模糊输入、各种语言、各种代码，还可以生成复杂的输出，比如文章延续、网站建设、文章摘要等，这是“弱人工智能”无法完成的任务。 即使在用户提示下，GPT也能不断提高答案的质量，具有初步的自我完善能力。
也就是说，GPT的出现打破了信息处理复杂性的临界点，让计算机在输入、处理、输出三大方面具备了与人类相媲美的复杂信息处理能力。
(a)大型语言模型出现之前的信息动态。 计算机工作仅限于简单的复制和粘贴（浅蓝色）或提供排序（深蓝色）。 (b)大型语言模型出现后的信息动态。 人工智能可以像人类一样处理复杂的信息。 （图片来源：公众号赛先生）
诚然，即使是最新版本的GPT4仍然存在很多问题，经常会犯错误甚至在不熟悉的事物或专业领域胡言乱语。 但就复杂性而言，我们认为它已经达到了人类的水平。 关键是复杂性而不是单个问题的性能。
OpenAI首席科学家最新采访中提到，GPT现阶段最重要的任务是解决模型的Alignment问题——包括答案准确性。
事实上，一旦处理信息的复杂度达到人类水平，人工智能的准确性等方面就不存在本质障碍。
找到正确的非共识是企业家取得巨大成功的前提。
2015年底，马斯克、萨姆等人正式成立OpenAI，并在实验室的目标中表示“不以财务回报为目的”。 由此开始了一个理想主义者的探索之旅。
与此同时，OpenAI创始人Sam找到了Y Combinator的创始人Paul Graham，并向Paul Graham展示了OpenAI的计划，以及超豪华的创始团队背景和能力。 这为OpenAI获得第一笔投资铺平了道路。
OpenAI 早期的技术路径各异。 最开始，团队只有10人，资金主要来自几位创始人。 这个10人的小团队对OpenAI Gym（RL）、OpenAI Five（Dota2）以及一系列Generative Models（生成模型）进行了项目探索，试图找到一条可行的路径。
2016年6月，OpenAI发表《生成模型》一文，指出：“OpenAI的核心目标之一是理解世界（物理和虚拟），而生成模型是实现这一目标的最高可能路径。” 这种说法当时并没有引起太多关注，因为业界主流技术路径偏向于监督学习，而且大多数主流科技公司也为此聘请了许多“数据标注员”。
此时距 OpenAI 成立还不到一年。 Core创始人Sam再次联系Paul，获得了300万美元的种子资金，以及孵化器的资源和帮助。 同时获得硅谷投资教父Peter Thiel等知名投资人的投资。
此后，OpenAI迅速发展，沿着GPT技术路线探索工程极限。 或许是因为没有商业化的压力游戏开发素材，OpenAI的技术路径探索一直沿着“最接近人工智能本质”的Unsupervised Learning（无监督学习）或者RL（Reinforcement Learning，强化学习）方向。
优点是不需要对数据进行标签，具有良好的可扩展性。 缺点也很明显，那就是行业还不成熟，Scale（规模）实践难度大、成本高。
但天才的见解并不是废话。 2017 年 4 月的一篇题为“学习生成评论和发现情感”的文章指出，“真正好的预测在于理解”，并且“在接受简单的预测下一个角色的训练后，神经网络会自动学习分析情感”。
（论文链接：）
同年，变形金刚诞生。 Transformer对于语言模型的并行训练更加友好，填补了OpenAI所需要的最后一个环节。 此后，OpenAI确立了GPT架构的LLM为主攻方向，逐步将资源转移到LLM，开启了探索GPT算法路径工程极限的道路。 这一举动在当时看来几乎是不合理的。
2018年6月，OpenAI发布了GPT-1，率先使用Transformer模型进行自然语言处理。 与此同时，谷歌发布了大型模型BERT。 两者相比，BERT 表现出了更好的理解能力。
专家们对 GPT-1 的评价不一。 杜克大学机器学习专家 Cynthia Rudin 在接受 Wired 采访时表示，GPT-1 模型的性能并不令人印象深刻，应用范围也有限。 限制。 存在过拟合、数据偏差、语义不一致等问题，未来前景不明朗。
还有技术博主支持GPT-1。 独立研究员 Gwern Branwen 在博客中表示，GPT-1 模型的优势在于可以进行无监督预训练，可以从大量文本中学习语言模式和规则，从而提高模型的语言生成能力。 具有非常广阔的应用前景。
业界的表现非常现实，很多学者几乎一致转向谷歌的BERT大模型研究。
“正确的非共识就像真理一样，只掌握在少数人手中。”
BERT大模型表现出色的核心原理是利用监督学习来预训练特定领域的模型。 与使用无监督学习训练的GPT模型相比，显得“短视和肤浅”。
在外界普遍不乐观的情况下，OpenAI选择继续加大对GPT路线的押注。 这期间孤独且惊人的巨额投入甚至在外界看来已经是一种信仰层面的事情了。
OpenAI于2019年2月推出了GPT-2（1.5B）。虽然GPT-2在生成任务上表现惊人，但在理解任务方面仍然落后于BERT。 在此背景下，OpenAI仍然坚持GPT路线，大幅提升Scale速度，于2020年5月推出GPT-3（175B）。GPT-3模型参数为175B（GPT-2的100倍），训练数据交易量为 500B 代币（GPT-2 的 50 倍）。 每一次发布，模型效果都有很大的提升，这让业内人士对GPT这个“新物种”充满期待。
接下来发生的事情大家都很熟悉了。 2022年11月30日，正当业界期待GPT-4发布时，OpenAI突然发布了一款开发时间不到一个月的对话式产品ChatGPT，引爆了这一轮AI热潮，OpenAI一战成名。
回顾OpenAI的发展历程，其技术路径从发散走向融合，选择了一条行业主流之外的道路。 坚持长期主义、寻找正确的非共识是OpenAI独特的理念和认知。 如今，理想主义在经历孤独之后成功蜕变，让人们看到了人类未来的更多可能性，让理想主义企业家的灯塔在人类历史上再次闪耀。
马斯克的商业版图极其广阔，最终指向一个愿景：加速人类向可持续能源的转型。 为此，马斯克打造了特斯拉、spaceX、Nuralink（做脑机接口）、Boring.co等世界知名公司，其中包括对OpenAI的早期投资。
如今，OpenAI为了打造普惠AGI，以ChatGPT为起点，正在走上一条可以无限拓展的商业之路。
#2.1
过去的公司 VS 现在的公司
GPT-3发布后，吸引了大量创业公司的关注。 随后两年，基于GPT-3 API构建的应用生态不断发展并逐渐繁荣，诞生了一系列明星公司：Jasper（2022年ARR达到9000万美元）、Repl.it、Copy.ai在GPT-3发布和生态系统形成期间（2020-2022），OpenAI并没有推出下一代模型，而是开始关注Alignment问题。
如今，GPT-4已经成为业界的“热炒鸡”，“新”的创业公司如雨后春笋般涌现。 基于GPT技术的初创公司正在成为一个新的群体。 他们普遍具有“员工少”、“ARR高”、“现金流充裕”的特点。
典型例子包括成立于2015年的Discord和成立于2021年的Midjouney。发展至今，两家公司的年营收均为1亿美元，但员工数量却相差数十倍。 前者到2021年总共筹集了5亿美元，而后者迄今为止总共筹集了0美元。
这样的“新”公司还有很多，比如GPTbot、ImgTec、NeuralMind、MindAI、WriteMind等。相比于互联网时代“软件吃掉世界”的说法，我们现在看到的“AI吃掉世界”是成为现实。
#2.2
过去的工作与现在的工作
ChatGPT席卷全球的背后，无数行业的工作方式和节奏开始发生质的变化。
过去，智能客服领域往往需要人工干预。 现在使用ChatGPT或者基于GPT开发的聊天软件，几乎可以实现零干预。 客服人员的工作方式再次升级，从智能客服协助客服回复，到客服人员监督智能客服回复。
在媒体和法律行业，很多工作人员的工作效率也得到了成倍的提升。 媒体行业的典型内容生产者使用ChatGPT收集素材，创建类似的文案，甚至继续撰写文章。 媒体行业工作人员的工作效率提高了一倍。 据统计，使用ChatGPT的媒体行业从业人员平均工作效率提高了3至5倍。
然而，ChatGPT 对工作的影响并不完全有益。 据悉，由于ChatGPT等人工智能应用的快速发展，好莱坞编剧协会（WGA）数千名成员于5月2日（美国当地时间）走上街头举行罢工示威。 抗议的原因是低收入和人工智能的兴起。 它越来越多地取代人类参与剧本编写。 罢工者在采访中提到，他们“担心人工智能会抢走编剧的工作，同时也会贬低“人类劳动的尊严和价值”。
可见，人工智能发展对人们工作的影响就像一波浪潮涌入街道，延伸到各个写字楼里的“上班族”。 面对新技术的到来，一如既往，有人欢喜有人忧。
#2.3
GPT与新技术相互促进
OpenAI CEO Sam Altman今年4月接受网易采访时提到，“未来几年，人工智能将在各个领域和行业实现更多突破和创新，并将与物理对象等其他技术领域融合。 互联网、区块链、虚拟现实等结合更加紧密。”
我们看到人工智能与各领域结合的案例正在以前所未有的速度猛增。
脑机接口（BCI）领域：
目前脑机接口最常见的应用包括脑机接口控制机械肢体、脑机接口文本编辑器、脑机接口控制智能家居、脑机接口辅助自然语言翻译等。
ChatGPT发布后，该领域的典型应用将会得到完善，以OpenBCI、BrainCo、Ctrl-Labs等公司为代表。
区块链领域：
使用ChatGPT对区块链协议中的数据进行注释，以提高效率和准确性。 使用ChatGPT帮助创建自然语言处理合约并自动执行一些任务，例如设备之间的通信、设备之间的自动交互等。这是GPT与区块链结合的常见案例。
代表公司有HUMAN Protocol、Emrit等。
RPA 领域：
该领域通常使用ChatGPT技术来帮助机器人理解人类语言并自动识别人类意图和情感。 并能够在执行任务时按照人类指令进行操作。 这使得机器人在与人类互动时更加智能和自然。
代表公司包括：Automation Anywhere、UiPath、WorkFusion等。
人工智能和游戏领域：
正如很多人所说，当一款游戏发展到吞噬人们日常生活的程度时，这就是虚拟宇宙。 A16Z曾发表过一篇文章《元宇宙遇见我》[6]，很好地概述了原理并追溯了最近在这个方向上的进展。
科技巨头也涉足这个方向，尽管不太成功。 Google Stadia 创建了一个内部游戏工作室，尝试开发基于 ML 的游戏。 最明显的例子是他们的嵌合体计划。
脑机接口、区块链、RPA、Web3。 人工智能与这些技术相互促进的结果是虚拟世界将变得越来越繁荣，最终可能会完全剥夺人们的注意力，形成一个闭环的网络生态系统。
届时，人类生产内容的主体将从机器辅助人类生产过渡到机器完全自主生产。
电影《头号玩家》阐释了未来游戏世界的愿景：一个由玩家和NPC共同创造的新游戏世界，而其中的NPC已经拥有与人类玩家平等的统治地位。
最近，谷歌和斯坦福大学利用 ChatGPT 创建了一个 25 人的“AI 小镇”。 这个小镇没有人类，是一个完全由AI自主生成并不断进化的社区。 小镇里的AI们都有自己的职业、爱好、生活习惯，甚至有自己的计划和目标。
小镇运行两天后，一个社交网络就出现了。 一个名叫伊莎贝拉的人物组织了一场情人节聚会并邀请了许多朋友参加。 一个人工智能自发的“人类社会”已经完全形成。
“人工智能小镇”实验在一篇论文《生成代理：人类行为的交互式模拟》中达到了高潮。 论文介绍了“AI小镇”的技术原理以及通过生成该实验解决的相关问题。
总的来说，本文有以下贡献：
通过创建“沙盒”、“生成代理”并构建交互环境，“AI小镇”可以让“人”随着时间的推移不断做出适合当前环境的可信行为。 小镇中“人”、“人”与“环境”乃至“环境与环境”的互动时刻迭代更新。 而这一切都不是预设的，而是小镇里人们自发互动的结果。
其背后的核心技术包括行为框架、树形结构环境分配和字符内存流。 其中，“智能体”通过Memory-Reflection-Plan机制不断结合当前环境和过去的经验，做出新的决策和行动，甚至迭代地规划未来。 最终，一个由人工智能自发生成的“人类社会”雏形将形成。
虽然本次实验只持续了2天，但其利用ChatGPT进行复杂交互的经验，已经朝着人类“构建可信代理”的目标迈出了重要的一步。
当我们打开视野时，不难发现这项技术的未来想象空间非常大。 除了让游戏变得更好玩之外，你还可以通过观察“智能特工”的行为来拍摄类似《楚门的世界》的电影。 更重要的是游戏开发中的人工智能pdf，人类很可能走向人工智能创造的“新文明”。 《头号玩家》不再只是一部电影，而是一个我们触手可及的新生活空间。
可以预见，随着GPT的不断发展和AGI的不断成熟，甚至探索新的AGI道路，AGI的成功也将带来新的文明形态。 我们正处于新旧文明的十字路口。
参考
＃ 即将举行的活动
主题：人工智能大数据
形式：闭门私人董事会会议（免费）
⏰ 时间：2023年6月17日
地点：长沙
♂️报名：添加朵拉微信（id：SotaAI2050）即可进群。 建议备注“大数据注册”
主题：AI芯片
形式：开放沙龙/聚会（免费）
⏰ 时间：2023年6月18日（待定）
地点：上海
♂️报名：添加朵拉微信（id：SotaAI2050）即可进群。 建议备注“芯片注册”
-结尾-
文案| 瑞安和艾伦
排版| 朵拉
评论 | 瑞恒瑞安
*部分图片来源于网络，引用请注明出处
