万字分享 | 详述人工智能开展史，理解AI驱动的软件2.0智能革命

万字分享 | 详述人工智能开展史，理解AI驱动的软件2.0智能革命

免责声明：本文旨在传递更多市场信息，不构成任何投资定见。文章仅代表做者看点，不代表MarsBit官方立场。

小编：记得存眷哦

来源：JEDI LU

原文题目：机器之心的进化 / 理解 AI 驱动的软件 2.0 智能革命

就在过往几个月里，因为美联储的加息，科技公司的本钱狂欢宣告完毕，美国上市的 SaaS 公司股价根本都跌往了 70%，裁人与收缩是需要选项。但合理市场一片哀嚎的时候，Dall-E 2 发布了，紧接着就是一多量炫酷的 AI 公司退场。那些事务在风投界引发了一股风潮，我们看到那些兜销着基于生成式 AI（Generative AI）产物的公司，估值到达了数十亿美圆，固然收进还不到百万美圆，也没有颠末验证的贸易形式。不久前，同样的故事在 Web 3 上也发作过！觉得我们又将进进一个全新的富贵时代，但人工智能此次实的能带动科技财产苏醒么？

本文将带你领略一次人工智能范畴汹涌澎湃的开展史，从关键人物鞭策的学术停顿、算法和理念的涌现、公司和产物的朝上进步、还有脑科学对神经收集的迭代影响，那四个维度来深入理解“ 机器之心的进化”。先忘掉那些花里胡哨的图片消费利用，我们一路来学点接近 AI 素质的工具。全文共分为六个章节：

AI 进化史- 前神经收集时代、Machine Learning 的跃迁、开启潘多拉的魔盒

软件 2.0 的兴起- 软件范式的转移和演化、Software 2.0 与 Bug 2.0

面向智能的架构- Infrastructure 3.0、若何组拆智能、智能架构的前锋

一统江湖的模子- Transformer 的降生、根底模子、AI 江湖的新时机

现实世界的 AI- 主动驾驶新前沿、机器人与智能代办署理

AI 进化的将来- 透视神经收集、千脑理论、人工智能何时能通用？

文章较长，累计 22800 字，请留出一小时摆布的阅读时间，欢送先收躲再阅读！文中每一个链接和引用都是有价值的，特殊做为衍生阅读选举给各人。

阅读之前先插播一段 Elon Musk 和 Jack Ma 在 WAIC 2019 关于人工智能的对谈的典范老视频，全程重视 Elon Ma 的脸色❓❓ 各人觉得机器智能能否超越人类么？带着那个问题来阅读，相信看完就会有系统性的谜底！

本文在无特殊指明的情状下，为了书写简洁，在统一个段落中反复词汇大量呈现时，会用 AI（Artifical Intelligence）来代表 人工智能，用 ML（Machine Learning）来代表机器进修，DL（Deep Learning）来代表深度进修，以及各类英文缩写来优先表达。

01 AI 进化史

关于机器能否实能 "晓得"、"根究 "等问题，我们很难严谨的定义那些。我们对人类心理过程的理解，或许只比鱼对泅水的理解更好一点。John McCarthy

早在 1945 年，Alan Turing 就已经在考虑若何用计算机来模仿人脑了。他设想了 ACE（Automatic Computing Engine - 主动计算引擎）来模仿大脑工做。在给一位同事的信中写道："与计算的现实利用比拟，我对造造大脑运做的模子可能更感兴致 ...... 虽然大脑运做机造是通过轴突和树突的生长来计算的复杂神经元回路，但我们仍是能够在 ACE 中造造一个模子，容许那种可能性的存在，ACE 的现实构造并没有改动，它只是记住了数据 ......" 那就是 机器智能的起源，至少那时在英都城如许定义。

1.1 前神经收集时代

神经收集 是以模仿人脑中的 神经元 的运做为 模子 的计算机系统。

AI 是陪伴着神经收集的开展而呈现的。 1956 年，美国心理学家 Frank Rosenblatt 实现了一个早期的神经收集演示 - 感知器模子（Perceptron Model），该收集通过监视 Learning的办法将简单的图像分类，如三角形和正方形。那是一台只要八个模仿神经元的计算机，那些神经元由马达和转盘造成，与 400 个光探测器毗连。

配图01：Frank Rosenblatt Perceptron Model

IBM 的 Georgetown 尝试室在那些研究的根底上，实现了最早的机器语言翻译系统，能够在英语和俄语之间互译。 1956 年的炎天，在 Dartmouth College 的一次会议上， AI 被定义为计算机科学的一个研究范畴，Marvin Minsky（明斯基）, John McCarthy（麦卡锡）, Claude Shannon（香农）, 还有 Nathaniel Rochester（罗切斯特）组织了此次会议，他们后来被称为 AI 的 "奠定人"。

配图02：Participants of the 1956 Dartmouth Summer Research Project on AI

DARPA 在那个“黄金”期间，将大部门资金投进到 AI 范畴，就在十年后他们还创造了 ARPANET（互联网的前身）。早期的 AI 前驱们试图教计算机做模仿人类的复杂心理使命，他们将其分红五个子范畴： 推理、 常识表述、 规划、 天然语言处置（NLP）和 感知，那些听起来很笼统的术语不断沿用至今。

从专家系统到机器进修

1966 年，Marvin Minsky 和 Seymour Papert 在《感知器：计算几何学导论》一书中论述了因为硬件的限造，只要几层的神经收集仅能施行最根本的计算，一会儿浇灭了那条道路上研发的热情，AI 范畴迎来了第一次泡沫幻灭。那些前驱们怎么也没想到，计算机的速度可以在随后的几十年里指数级增长，提拔了上亿倍。

在上世纪八十年代，跟着电脑性能的提拔，新计算机语言 Prolog Lisp 的时髦，能够用复杂的法式构造，例如前提轮回来实现逻辑，那时的人工智能就是 专家系统（Expert System），iRobot 公司绝对是阿谁时代明星；但短暂的富贵之后，硬件存储空间的限造，还有专家系统无法处理详细的、难以计算的逻辑问题，人工智能再一次陷进窘境。

我思疑任何十分类似于形式逻辑的工具能否成为人类推理的优良模子。

Marvin Minsky

曲到 IBM 深蓝在 1997 年战胜了国际象棋冠军卡斯帕罗夫后，新的基于 概率推论（Probabilistic Reasoning）构想起头被普遍利用在 AI 范畴，随后 IBM Watson 的项目利用那种办法在电视游戏节目《Jeopardy》中经常击败参赛的人类。

概率推论就是典型的 机器进修（Machine Learning）。今天的大大都 AI 系统都是由 ML 驱动的，此中揣测模子是根据汗青数据操练的，并用于对将来的揣测。那是 AI 范畴的第一次范式改变，算法不指定若何处理一个使命，而是根据数据来诱导它，动态的达成目标。因为有了 ML，才有了 大数据（Big Data）那个概念。

1.2 Machine Learning 的跃迁

Machine Learning 算法一般通过火析数据和揣度模子来成立参数，或者通过与情况互动，获得反应来进修。人类能够正文那些数据，也能够不正文，情况能够是模仿的，也能够是实在世界。

Deep Learning

Deep Learning是一种 Machine Learning算法，它利用多层神经收集和反向传布（Backpropagation）手艺来操练神经收集。该范畴是几乎是由 Geoffrey Hinton 创始的，早在 1986 年，Hinton 与他的同事一路颁发了关于深度神经收集（DNNs - Deep Neural Networks）的创始性论文，那篇文章引进了 反向传布 的概念，那是一种调整权重的算法，每当你改动权重时，神经收集就会比以前更快接近准确的输出，能够轻松的实现多层的神经收集，打破了 1966 年 Minsky 写的 感知器局限 的魔咒。

配图03：Geoffrey Hinton Deep Neural Networks

数据是新的石油

配图04：FeiFei Li ImageNet

该数据集对研究人员十分有用，正因为如斯，它变得越来越有名，为最重要的年度 DL 竞赛供给了基准。仅仅七年时间，ImageNet 让获胜算法对图像中的物体停止分类的准确率从 72% 进步到了 98%，超越了人类的均匀才能。

ImageNet 成为 DL 革命的首选数据集，更切当地说，是由 Hinton 指导的 AlexNet 卷积神经收集（CNN - Convolution Neural Networks）的数据集。ImageNet 不只引领了 DL 的革命，也为其他数据集创始了先例。自其创建以来，数十种新的数据集被引进，数据更丰富，分类更切确。

神经收集大发作

在 Deep Learning 理论和数据集的加持下， 2012年以来深度神经收集算法起头大发作，卷积神经收集（CNN）、递回神经收集（RNN - Recurrent Neural Network）和长短期记忆收集（LSTM - Long Short-Term Memory）等等，每一种都有差别的特征。例如，递回神经收集是较高层的神经元间接毗连到较低层的神经元。

1.3 开启潘多拉的魔盒

从 2012 到如今，深度神经收集的利用呈爆炸式增长，停顿惊人。如今 Machine Learning 范畴的大部门研究都集中在 Deep Learning 方面，就像进进了潘多拉的魔盒被开启了的时代。

配图06：AI 进化史

GAN

配图07：GANs 模仿消费人像的进化

GANs 将有助于创建图像，还能够创建现实世界的软件模仿，Nvidia 就大量摘用那种手艺来加强他的现实模仿系统，开发人员能够在那里操练和测试其他类型的软件。你能够用一个神经收集来“压缩”图像，另一个神经收集来生成原始视频或图像，而不是间接压缩数据，Demis Hassabis 在他的一篇论文中就提到了人类大脑“海马体”的记忆回放也是类似的机造。

大规模神经收集

大脑的工做体例必定不是靠某人用规则来编程。Geoffrey Hinton

大规模神经收集的竞赛从成立于 2011 年的 Google Brain 起头，如今属于 Google Research。他们鞭策了 TensorFlow 语言的开发，提出了全能模子 Transformer 的手艺计划并在其根底上开发了 BERT，我们在第四章中将详尽讨论那些。

DeepMind 是那个时代的传奇之一，在 2014 年被 Google 以 5.25 亿美圆收买的。它专注游戏算法，其任务是 "处理智能问题"，然后用那种智能来 "处理其他一切问题"！DeepMind 的团队开发了一种新的算法 Deep Q-Network (DQN)，它能够从体味中进修。 2015 年 10 月AlphaGo 项目初次在围棋中击败人类冠军李世石；之后的 AlphaGo Zero 用新的能够自我博弈的改进算法让人类在围棋范畴再也无法翻盘。

另一个传奇 OpenAI，它是一个由 Elon Musk, Sam Altman, Peter Thiel, 还有 Reid Hoffman 在 2015 年配合出资十亿美金创建的科研机构，其次要的合作敌手就是 DeepMind。OpenAI 的任务是 通用人工智能（AGI – Artificial General Intelligence），即一种高度自主且在大大都具有经济价值的工做上超越人类的系统。 2020年推出的 GPT-3 是目前更好的天然语言生成东西（NLP - Natural Language Processing）之一，通过它的 API 能够实现天然语言同步翻译、对话、撰写案牍，以至是代码（Codex），以及如今最时髦的生成图像（DALL·E）。

Gartner AI HypeCycle

Gartner 的手艺炒做周期（HypeCycle）很值得一看，那是他们 2022 年最新的关于 AI 范畴下各个手艺开展的成熟度预估，能够快速领会 AI 进化史 那一章中差别手艺的开展阶段。

配图08：Gartner AI HypeCycle 2022

神经收集，那个在上世纪 60 年代碰着的挫折，然后在 2012 年之后却迎来了重生。 反向传布 花了那么长时间才被开发出来的原因之一就是该功用需要计算机停止 乘法矩阵运算。在上世纪 70 年代末，世界上最强的的超等电脑之一 Cray-1，每秒浮点运算速度 50 MFLOP，如今权衡 GPU 算力的单元是 TFLOP（Trillion FLOPs），Nvidia 用于数据中心的最新 GPU Nvidia Volta 的性能能够到达 125 TFLOP，单枚芯片的速度就比五十年宿世界上最快的电脑强大 250 万倍。 手艺的朝上进步是多维度的，一些生不逢时的理论或者办法，在另一些手艺前提达成时，就能合成出浩荡的能量。

02 软件 2.0 的兴起

将来的计算机语言将更多地存眷目标，而不是由法式员来考虑实现的过程。Marvin Minsky

Software 2.0 概念的最早提出人是 Andrej Karpathy，那位从小随家庭从捷克移民来加拿大的天才少年在多伦多大学师从 Geoffrey Hinton，然后在斯坦福李飞飞团队获得博士学位，次要研究 NLP 和计算机视觉，同时做为开创团队成员加进了 OpenAI，Deep Learning 的关键人物和汗青节点都被他点亮。在 2017 年被 Elon Musk 挖墙脚到了 Tesla 负责主动驾驶研发，然后就有了重构的 FSD（Full Self-Driving）。根据 Andrej Karpathy 的定义 - “软件 2.0 利用更笼统、对人类不友好的语言生成，好比神经收集的权重。没人参与编写那些代码，一个典型的神经收集可能有数百万个权重，用权重间接编码比力困难”。Andrej 说他以前试过，那几乎不是人类能干的事儿 。。

配图09：Andrej Karpathy 和神经收集权重

2.1 范式转移

在创建深度神经收集时，法式员只写几行代码，让神经收集本身进修，计算权重，构成收集毗连，而不是手写代码。那种软件开发的新范式始于第一个 Machine Learning 语言 TensorFlow，我们也把那种新的编码体例被称为软件 2.0。在 Deep Learning 鼓起之前，大大都人工智能法式是用 Python 和 Java 等编程语言手写的。 人类编写了每一行代码，也决定了法式的所有规则。

配图10：How does Machine Learning work？（TensorFlow）

比拟之下，跟着 Deep Learning 手艺的呈现，法式员操纵那些新体例，给法式指定目标。如博得围棋角逐，或通过供给恰当输进和输出的数据，如向算法供给具有 "SPAM” 特征的邮件和其他没有"SPAM” 特征的邮件。编写一个粗略的代码骨架（一个神经收集架构），确定一个法式空间的可搜刮子集，并利用我们所能供给的算力在那个空间中搜刮，构成一个有效的法式途径。在神经收集里，我们一步步地限造搜刮范畴到持续的子集上，搜刮过程通过反向传布和随机梯度下降（Stochastic Gradient Descent）而变得非常高效。

神经收集不单单是另一个分类器，它代表着我们开发软件的 范式起头转移，它是 软件 2.0。

软件 1.0 人们编写代码，编译后生成能够施行的二进造文件；但在软件 2.0 中人们供给数据和神经收集框架，通过操练将数据编译成二进造的神经收集。在当今大大都现实利用中，神经收集构造和操练系统日益原则化为一种商品，因而大大都软件 2.0 的开发都由模子设想施行和数据清理标识表记标帜两部门构成。那从底子上改动了我们在软件开发迭代上的范式，团队也会因而分红了两个部门: 2.0 法式员 负责模子和数据，而那些 1.0 法式员 则负责庇护和迭代运转模子和数据的根底设备、阐发东西以及可视化界面。

Marc Andreessen 的典范文章题目《Why Software Is Eating the World》如今能够改成如许：“软件（1.0）正在吞噬世界，而如今人工智能（2.0）正在吞噬软件！

2.2 软件的演化

软件从 1.0 开展到软件 2.0，颠末了一个喊做“数据产物”的中间态。当顶级软件公司在领会大数据的贸易潜力后，并起头利用 Machine Learning 构建数据产物时，那种形态就呈现了。下图来自 Ahmad Mustapha 的一篇文章《The Rise of Software 2.0》很好地闪现了那个过渡。

配图11：软件产物演化的三种形态

那个中间态也喊 大数据 和 算法选举。在现实生活中，如许的产物能够是 Amazon 的商品选举，它们能够揣测客户会感兴致什么，能够是 Facebook 老友选举，还能够是 Netflix 片子选举或 Tiktok 的短视频选举。还有呢？Waze 的路由算法、Airbnb 背后的排名算法等等，总之琳琅满目。

数据产物有几个重要特征：1、它们都不是软件的次要功用，凡是是为了增加体验，达成更好的用户活泼以及销售目标；2、可以跟着数据的增加而进化；3、大部门都是基于传统 ML 实现的，最重要的一点 数据产物是可阐明的。

配图12：图解软件 2.0 的代表利用

2.3 软件 2.0 的优势

为什么我们应该倾向于将复杂的法式移植到软件 2.0 中？Andrej Karpathy 在《Software 2.0》中给出了一个简单的谜底： 它们在理论中表示得更好！

随便被写进芯片

十分灵敏

灵敏开发意味着乖巧高效。假设你有一段 C++ 代码，有人期看你把它的速度进步一倍，那么你需要系统性的调优以至是重写。然而，在软件 2.0 中，我们在收集中删除一半的通道，从头操练，然后就能够了 。。它的运行速度正好提拔两倍，只是输出更差一些，那就像魔法。相反，假设你有更多的数据或算力，通过添加更多的通道和再次操练，你的法式就能工做得更好。

模块能够合成成一个更佳的整体

做过软件开发的同窗都晓得，法式模块凡是操纵公共函数、 API 或长途挪用来通信。然而，假设让两个本来分隔操练的软件 2.0 模块停止互动，我们能够很随便地通过整体停止反向传布来实现。想象一下，假设你的阅读器可以主动整合改进低条理的系统指令，来提拔网页加载效率，那将是一件令人惊异的工作。但在软件 2.0 中，那是默认行为。

它做得比你好

最初，也是最重要的一点，神经收集比你能想到的任何有价值的垂曲范畴的代码都要好，目前至少在图像、视频、声音、语音相关的任何工具上，比你写的代码要好。

2.4 Bug 2.0

关于传统软件，即软件 1.0，大大都法式都通过源代码保留，那些代码可能少至数千行，多至上亿行。据说，谷歌的整个代码库大约有 20 亿行代码。无论代码有几，传统的软件工程理论表白，利用封拆和模块化设想，有助于创建可庇护的代码，很随便隔离 Bug 来停止修改。

但在新的范式中，法式被存储在内存中，做为神经收集架构的权重，法式员编写的代码很少。软件 2.0 带来了两个新问题： 不成阐明和 数据污染。

因为操练完成的神经收集权重，工程师无法理解（不外如今对理解神经收集的研究有了良多停顿，第六章会讲到），所以我们无法晓得准确的施行是为什么？错误又是因为什么？那个和大数据算法有很大的差别，固然大大都的利用只关心成果，无需阐明；但关于一些平安灵敏的范畴，好比 主动驾驶 和 医疗利用，那确实很重要。

在 2.0 的仓库中，数据决定了神经收集的毗连，所以不准确的数据集和标签，城市 稠浊神经收集。错误的数据可能来自失误、也可能是报酬设想，或者是有针对性的投喂稠浊数据（那也是人工智能范畴中新的 法式道德标准 问题）。例如 iOS 系统的主动拼写功用被不测的数据操练污染了，我们在输进某些字符的时候就永久得不到准确的成果。操练模子会认为污染数据是一个重要的批改，一但完成操练摆设，那个错误就像病毒一样传布，抵达了数百万部 iPhone 手机。所以在那种 2.0 版的 Bug 中，需要对数据以及法式成果停止优良的测试，确保那些边沿案例不会使法式失败。

在短期内，软件 2.0 将变得越来越普及，那些没法通过清晰算法和软件逻辑化表述的问题，城市转进 2.0 的新范式，现实世界其实不合适整洁的封拆。就像明斯基说的，软件开发应该更多的关心目标而不是过程，那种范式有时机倾覆整个开发作态，软件 1.0 将成为办事于软件 2.0 周边系统，一同来搭建 面向智能的架构。有越来越清晰的案例表白，当我们开发通用人工智能（AGI）时，它必然会写在软件 2.0 中。

03 面向智能的架构

回忆过往十多年 Deep Learning 在人工智能范畴汹涌澎湃的开展，各人把所有的存眷点都集中了算法的打破、操练模子的立异还有智能利用的神异表示上，那些当然能够理解，但关于智能系统的根底设备被提及的太少了。

正如在计算机开展的早期，人们需要汇编语言、编译器和操做系统方面的专家来开发一个简单的利用法式，所以今天你需要 大量的数据 和 散布式系统 才气大规模地摆设人工智能。经济学巨匠 Andrew McAfee 和 Erik Brynjolfsson 在他们的著做《Machine, Platform, Crowd: Harnessing Our Digital Future》中挖苦地调侃：“ 我们的机器智能时代仍然是人力驱动的”。

好在 GANs 的呈现让完全依靠人工数据的操练成本大幅下降，还有 Google AI 在继续不竭的勤奋让 AI 的根底设备布衣化。但那一切还在很早期，我们需要新的智能根底设备， 让寡包数据酿成寡包智能，把人工智能的潜力从高贵的科研机构和少数精英组织中释放出来，让其工程化。

3.1 Infrastructure 3.0

利用法式和根底设备的开展是同步的。

Infrastructure 1.0 - C/S（客户端/办事器时代）

贸易互联网在上世纪 90 年代末期成熟起来，那要回功于 x86 指令集（Intel）、原则化操做系统（Microsoft）、关系数据库（Oracle）、以太网（Cisco）和收集数据存储（EMC）。Amazon，eBay，Yahoo，以至最早的 Google 和 Facebook 都成立在那个我们称之为 Infrastructure 1.0 的根底上。

Infrastructure 2.0 - Cloud（云时代）

Amazon AWS、Google Cloud 还有 Microsoft Azure 定义了一种新的根底设备类型，那种根底设备是无需物理摆设可继续运行的、可扩展的、可编程的，它们有些是开源，例如 Linux、MySQL、Docker、Kubernetes、Hadoop、 Spark 等等，但大大都都是要钱的，例如边沿计算办事 Cloudflare、数据库办事 MangoDB、动静办事 Twilio、付出办事 Stripe，所有那些加在一路定义了 云计算时代。选举阅读我在 2021 年 9 月的那篇《软件行业的云端重构》。

回根结底，那一代手艺把互联网扩展到数十亿的末端用户，并有效地存储了从用户那里获取的信息。Infrastructure 2.0 的立异催化了数据急剧增长，连系算力和算法飞速朝上进步，为今天的 Machine Learning 时代搭建了舞台。

Infrastructure 2.0 存眷的问题是 - “ 我们若何毗连世界?” 今天的手艺从头定义了那个问题 - “ 我们若何理解那个世界?” 那种区别就像连通性与认知性的区别，先熟悉再领会。2.0 架构中的各类办事，在给那个新的架构源源不竭的输送数据，那就像广义上的寡包；操练算法从数据中揣度出 逻辑（神经收集），然后那种 逻辑 就被用于对世界做出理解和揣测。那种搜集并处置数据、操练模子最初再摆设利用的新架构，就是 Infrastructure 3.0 - 面向智能的架构。其实我们的大脑也是如许工做的，我会在第六章中详尽介绍。

配图13：Hidden technical debt in Machine Learning Systems

在现实世界的 Machine Learning 系统中，只要一小部门是由 ML 代码构成的，如中间的小黑盒所示，其周边根底设备浩荡而纷杂。一个“智能”的利用法式，数据十分密集，计算成本也十分高。那些特征使得 ML 很难适应已经开展了七十多年的通用的 冯 · 诺依曼计算范式。为了让 Machine Learning 足够发扬其潜力，它必需走出今天的学术殿堂，成为一门工程学科。那现实上意味着需要有新的笼统架构、接口、系统和东西，使开发人员可以便利地开发和摆设那些智能利用法式。

3.2 若何组拆智能

想要胜利构建和摆设人工智能，需要一个复杂的流程，那里涉及多个独立的系统。起首，需要对数据停止摘集、清理和标识表记标帜；然后，必需确定揣测所根据的特征；最初，开发人员必需操练模子，并对其停止验证和继续优化。从起头到完毕，如今那个过程可能需要几个月或者是数年，即便是行业中最领先的公司或者研究机构。

好在除了算法和模子自己之外，组拆智能架构中每个环节的效率都在提拔，更高的算力和散布式计算框架，更快的收集和更强大的东西。在每一层手艺栈，我们都起头看到新的平台和东西呈现，它们针对 Machine Learning 的范式停止了优化，那里面时机丰富。

配图14：Intelligence Infrastructure from Determined AI

参照智能架构范畴的投资专家 Amplify Partners 的分类，简单做个手艺栈阐明。

为 Machine Learning 优化的高性能芯片，它们内置多计算核心和高带宽内存（HBM），能够高度并行化，快速施行矩阵乘法和浮点数学神经收集计算，例如 Nvidia 的 H100 Tensor Core GPU 还有 Google 的 TPU；

可以完全发扬硬件效率的系统软件，能够将计算编译到晶体管级别。Nvidia 在 2006 年就推出的 CUDA 到如今也都连结着领先地位，CUDA 是一个软件层，能够间接拜候 GPU 的虚拟指令集，施行内核级此外并行计算；

用于操练和推理的散布式计算框架（Distributed Computing Frameworks），能够有效地跨多个节点，扩展模子的操练操做；

数据和元数据治理系统，为创建、治理、操练和揣测数据而设想，供给了一个可靠、同一和可反复利用的治理通道。

极低延迟的办事根底设备，使机器可以快速施行基于实时数据和上下文相关的智能操做；

Machine Learning 继续集成平台（MLOps），模子阐明器，量保和可视化测试东西，能够大规模的监测，调试，优化模子和利用；

封拆了整个 Machine Learning 工做流的末端平台（End to End ML Platform），笼统出全流程的复杂性，易于利用。几乎所有的拥有大用户数据量的 2.0 架构公司，都有本身内部的 3.0 架构集成系统，Uber 的 Michelangelo 平台就用来操练出行和订餐数据；Google 的 TFX 则是面向公家供给的末端 ML 平台，还有良多草创公司在那个范畴，例如 Determined AI。

总的来说，Infrastructure 3.0 将释放 AI/ML 的潜力，并为人类智能系统的构建添砖加瓦。与前两代架构一样，固然上一代根底设备的巨头早已出场，但每一次范式转移，城市有有新的项目、平台和公司呈现，并挑战目前的在位者。

2.3 智能架构的前锋

Deep Learning 被大科技公司看上的关键时刻是在 2010 年。在 Palo Alto 的一家日餐晚宴上，斯坦福大学传授 Andrew Ng 在那里会见了 Google 的 CEO Larry Page 和其时担任 Google X 负责人的天才计算机科学家 Sebastian Thrun。就在两年前，Andrew 写过一篇关于将 GPU 利用于 DL 模子有效性阐发论文。要晓得 DL 在 2008 年长短常不受欢送的，其时是算法的全国。

几乎在统一期间，Nvidia 的 CEO Jensen Huang 也意识到 GPU 关于 DL 的重要性，他是如许描述的："Deep Learning 就像大脑，固然它的有效性是不合理的，但你能够教它做任何工作。那里有一个浩荡的障碍，它需要大量的计算，而我们就是做 GPU 的，那是一个可用于 Deep Learning 的近乎抱负的计算东西"。

以上故事的细节来自 Forbes 在 2016 年的一篇深度报导。自那时起，Nvidia 和 Google 就走上了 Deep Learning 的智能架构之路，一个从末端的 GPU 动身，另一个从云端的 TPU 起头。

配图15：Nvidia AI vs Google AI 的比照

Nvidia 今天赚的大部门钱的来自游戏行业，通过销售 GPU，卖加速芯片的工作 AMD 和良多创业公司都在做，但 Nvidia 在软件仓库上的才能那些硬件公司无人能及，因为它有从内核到算法全面掌握的 CUDA，还能让数千个芯片协同工做。那种整体掌握力，让 Nvidia 能够开展云端算力办事，主动驾驶硬件以及嵌进式智能机器人硬件，以及愈加上层的 AI 智能利用和 Omniverse 数字模仿世界。

Google 拥抱 AI 的体例十分学术，他们最早成立了 Google Brain 测验考试大规模神经收集操练，点爆了那个范畴的科技树，像 GANs 如许充满灵感的设法也是来自于 Google （Ian Goodfellow 同窗其时任职于 Google Brain）。在 2015 年前后 Google 先后推出了 TensorFlow 还有 TPU（Tensor Processing Unit - 张量芯片），同年还收买了 DeepMind 来扩大研究实力。Google AI 更倾向于用云端的体例给群众供给 AI/ML 的算力和全流程东西，然后通过投资和收买的体例把智能融进到本身的产物线。

如今几乎所有的科技巨头，都在完美本身的“智能”根底设备，Microsoft 在 2019 年投资了 10 亿美金给 OpenAI 成为了他们更大的机构股东；Facebook 也成立了 AI 研究团队，那个仅次于他们 Reality Lab 的地位，Metaverse 里所需的一切和“智能”相关的范畴他们都参与，本年底还和 AMD 达成协做，投进 200 亿美圆并用他们的芯片来搭建新的“智能”数据中心；然后就是 Tesla，在造电车之外吊儿郎当搭建了世界上规模更大的超等电脑 Dojo，它将被用来操练 FSD 的神经收集和为将来的 Optimus（Tesla 人形机器人）的大脑做预备。

正如过往二十年见证了“云计算手艺栈”的呈现一样，在接下来的几年里，我们也等待着一个浩荡的根底设备和东西生态系统将围绕着智能架构 - Infrastructure 3.0 成立起来。Google 目前正处于那个范畴的前沿，他们试图本身的大部门代码用 软件 2.0的范式重写，并在新的智能架构里运行，因为一个有可能一统江湖的“模子”的已经呈现，固然还十分早期，但 机器智能对世界的理解很快将趋势一致，就像我们的 大脑皮量层 理解世界那样。

04 一统江湖的模子

想象一下，你往五金店，看到架子上有一种新款的锤子。你或许已经传闻过那种锤子了，它比其他的锤子更快、更准；并且在过往的几年里，许多其他的锤子在它面前都显得过时了。你只需要加一个配件再扭一下，它就酿成了一个锯子，并且和其它的锯子一样快、一样准。事实上，那个东西范畴的前沿专家说，那个锤子可能预示着所有的 东西都将集中到单一的设备中。

类似的故事也在 AI 的东西中上演，那种多用处的新型锤子是一种神经收集，我们称之为 Transformer（ 转换器模子- 不是动画片里的变形金刚），它最后被设想用来处置天然语言，但比来已经起头影响 AI 行业的其它范畴了。

4.1 Transformer 的降生

2017年 Google Brain 和多伦多大学的研究人员一同颁发了一篇名为《Attention Is All You Need》的论文，里面提到了一个天然语言处置（NLP）的模子 Transformer，那应该是继 GANs 之后 Deep Learning 范畴最严重的创造。2018 年 Google 在 Transformer 的根底上实现并开源了第一款天然语言处置模子 BERT；固然研究功效来自 Google，但很快被 OpenAI 摘用，创建了 GPT-1 和比来的火爆的 GPT-3。其他公司还有开源项目团队紧随其后，实现了本身的 Transformer 模子，例如 Cohere，AI21，Eleuther（努力于让 AI 连结开源的项目）；也有用在其它范畴的立异，例如生成图像的 Dall-E 2、MidJourney、Stable Diffusion、Disco Diffusion, Imagen 和其它许多。

配图16：颁发《Attention Is All You Need》论文的八位同窗

颁发那篇论文的 8 小我中，有 6 小我已经兴办了公司，此中 4 个与人工智能相关，另一个兴办了名为 Near.ai 的区块链项目。

天然语言处置 那个课题在上世纪五十年代创始 AI 学科的时候就明白下来了，但只到有了 Deep Learning 之后，它的准确度和表达合理性才大幅进步。序传记导模子（Seq2Seq）是用于 NLP 范畴的一种 DL 模子，在机器翻译、文本摘要和图像字幕等方面获得了很大的胜利，2016 年之后 Google 在搜刮提醒、机器翻译等项目上都有利用。序传记导模子是在 输进端 一个接一个的领受并 编码 项目（能够是单词、字母、图像特征或任何计算机能够读取的数据)，并在同步在 输出端一个接一个 解码 输出项目标模子。

在机器翻译的案例中，输进序列就是一系列单词，颠末操练好的神经收集中复杂的 矩阵数学计算，在输出端的成果就是一系列翻译好的目标词汇。

Transformer 也是一款用于 NLP 的序传记导模子，论文简洁清晰的论述了那个新的收集构造，它只基于 重视力机造（Attention），完全不需要递回（RNN）和卷积（CNN）。在两个机器翻译的尝试表白，那个模子在量量上更胜一筹，同时也更随便并行化，需要的操练时间也大大削减。

猎奇心强的同窗，假设想领会 Transformer 模子的详细工做原理，选举阅读 Giuliano Giacaglia 的那篇《How Transformers Work》。

4.2 Foundation Models

斯坦福大学 CRFM HAI 的研究人员在 2021 年 8 月的一篇名为《On the Opportunities and Risks of Foundation Models》的论文中将 Transformer 称为 Foundation Models（根底模子），他们认为那个模子已经鞭策了 AI 范畴新一轮的范式转移。事实上，过往两年在 arVix 上颁发的关于 AI 的论文中，70% 都提到了 Transformer，那与 2017 年 IEEE 的一项研究 比拟是一个底子性的改变，那份研究的结论是 RNN 和 CNN 是其时最时髦的模子。

从 NLP 到 Generative AI

来自 Google Brain 的计算机科学家 Maithra Raghu 阐发了 视觉转换器（Vision Transformer），以确定它是若何“看到”图像的。与 CNN 差别，Transformer 能够从一起头就捕获到整个图像，而 CNN 起首存眷小的部门来觅觅像边沿或颜色如许的细节。

那种差别在语言范畴更随便理解，Transformer 降生于 NLP 范畴。例如那句话：“猫头鹰发现了一只松鼠。它试图挠住它，但只挠到了尾巴的末端。” 第二个句子的构造令人猜疑: “它”指的是什么？假设是 CNN 就只会存眷“它”四周的词，那会非常不解；但是假设把每个词和其他词毗连起来，就会发现是”猫头鹰挠住了松鼠，松鼠失往了部门尾巴”。那种联系关系性就是“ Attention”机造，人类就是用那种形式理解世界的。

Transformer 将数据从一维字符串（如句子）转换为二维数组（如图像）的多功用性表白，那种模子能够处置许多其他类型的数据。就在 10 年前，AI 范畴的差别分收几乎没有什么能够交换的，计算机科学家 Atlas Wang 如许表述， “我认为 Transformer 之所以如斯受欢送，是因为 它表示了一种变得通用的潜力，可能是朝实在现某种神经收集构造大合成标的目的的重要一步，那是一种通用的计算机视觉办法，或许也适用于其它的 机器智能使命”。

更多基于Transformer 模子的 Generative AI案例，选举老友 Rokey 的那篇《AI 时代的巫师与咒语》，那应该是中文互联网上写得最详尽清晰的一篇。

涌现和同量化

Foundation Models 的意义能够用两个词来归纳综合：涌现和同量化。 涌现 是未知和不成揣测的，它是立异和科学发现的泉源。 同量化 表达在普遍的利用中，构建 Machine Learning 的办法论得到了整合；它让你能够用同一的办法完成差别的工做，但也创造了单点毛病。我们在 Bug 2.0 那一末节中提到的 数据污染会被快速放大，如今还会涉及到所有范畴。

配图18：人工智能的涌现过程（来自斯坦福研究人员 2021 年 8 月的论文）

AI 的进化史一个不竭涌现和同量化的过程。跟着 ML 的引进，能够从实例中进修（算法概率推论）；跟着 DL 的引进，用于揣测的高级特征呈现；跟着根底模子（ Foundation Models）的呈现，以至呈现了更高级的功用， 在语境中进修。同时，ML 将算法同量化（例如 RNN），DL 将模子架构同量化（例如 CNN），而根底模子将模子自己同量化（如 GPT-3）。

一个根底模子假设能够集中来自各类形式的数据。那么那个模子就能够普遍的适应各类使命。

配图19：Foundation Model 的转换（来自斯坦福研究人员 2021 年 8 月的论文）

除了在翻译、文本创做、图像生成、语音合成、视频生成那些耳熟能详的范畴大放异彩之外，根底模子也被用在了专业范畴。

DeepMind 的 AlphaFold 2 在 2020 年 12 月胜利的把卵白量构造揣测的准确度提拔到了 90% 多，大幅超越所有的合作敌手。他们在《天然》杂志上颁发的文章中提到，像处置文本字符串如许读取氨基酸链，用那个数据转换成可能的卵白量折叠构造，那项工做能够加速药物的发现。类似的利用也在药物公司发作，阿斯利康（AstraZeneca）和 NVIDIA 结合开发了 MegaMolBART，能够在未标识表记标帜的化合物数据库长进行培操练，大幅提拔效率。

大规模语言模子

那种通用化的特征，让大规模神经收集的操练变得十分有意义。天然语言又是所有可操练数据中最丰富的，它可以让根底模子在语境中进修，转换成各类需要的媒体内容， 天然语言 = 编程体例 = 通用界面。

因而，大规模语言模子（LLMs - Large Scale Language Models）成了科技巨头和新创业公司必争之地。在那个军备竞赛之中，财大气粗就是优势 ，它们能够破费数亿美圆摘购 GPU 来培训 LLMs，例如 OpenAI 的 GPT-3 有 1750 亿个参数，DeepMind 的 Gopher 有 2800 亿个参数，Google 本身的 GLaM 和 LaMDA 别离有 1.2 万亿个参数和 1370 亿个参数，Microsoft 与 Nvidia 协做的 Megatron-Turing NLG 有 5300 亿个参数。

但 AI 有个特征它是 涌现 的，大大都情状挑战是科学问题，而不是工程问题。在 Machine Learning 中，从算法和系统构造的角度来看，还有很大的朝上进步空间。固然，增量的工程迭代和效率进步似乎有很大的空间，但越来越多的 LLMs 创业公司正在筹集规模较小的融资（1000 万至 5000 万美圆) ，它们的假设是，将来可能会有更好的模子架构，而非地道的可扩展性。

4.3 AI 江湖的新时机

跟着模子规模和天然语言理解才能的进一步加强（扩展操练规模和参数就行），我们能够预期十分多的专业创做和企业利用会得到改动以至是倾覆。企业的大部门营业现实上是在“ 销售语言”—— 营销案牍、邮件沟通、客户办事，包罗更专业的法令参谋，那些都是语言的表达，并且那些表达能够二维化成声音、图像、视频，也能三维化成更实在的模子用于元宇宙之中。机器能理解文档或者间接生成文档，将是自 2010 年前后的挪动互联网革命和云计算以来，更具倾覆性的改变之一。参考挪动时代的格局，我们最末也会有三品种型的公司：

1、平台和根底设备

挪动平台的起点是 iPhone 和 Android，那之后都没有任何时机了。但在根底模子范畴 OpenAI、Google、Cohere、AI21、Stability.ai 还有那些构建 LLMs 的公司的合作才刚刚起头。那里还有许多许新兴的开源选项例如 Eleuther。云计算时代，代码共享社区 Github 几乎托管了 软件 1.0的残山剩水，所以像 Hugging Face 那种共享神经收集模子的社群，应该也会成为 软件 2.0时代伶俐的枢纽和人才中心。

2、平台上的独立利用

因为有了挪动设备的定位、感知、相机等硬件特征，才有了像 Instagram，Uber，Doordash 那种分开手机就不会存在的办事。如今基于 LLMs 办事或者操练 Transformer 模子，也会降生一批新的利用，例如 Jasper（创意案牍）、Synthesia（合成语音与视频），它们会涉及 Creator Visual Tools、Sales Marketing、Customer Support、Doctor Lawyers、Assistants、Code、Testing、Security 等等各类行业，假设没有先辈的 Machine Learning 打破，那些就不成能存在。

红衫本钱美国（SequoiaCap）比来一篇很火的文章《Generative AI: A Creative New World》详尽阐发了那个市场和利用，就像在开篇介绍的那样，整个投资界在 Web 3 的投契挫败之后，又起头围猎 AI 了 。

配图21：在模子之上的利用分类（Gen AI market map V2）

3、现有产物智能化

在挪动互联网的革射中，大部门有价值的挪动营业照旧被上个时代的巨头所占据。例如，当许多草创公司试图成立“Mobile CRM”利用时，赢家是增加了挪动撑持的 CRM 公司，Salesforce 没有被挪动利用代替。同样，Gmail、Microsoft Office 也没有被挪动利用代替，他们的挪动版做得还不错。最末，Machine Learning 将被内置到用户量更大的 CRM 东西中，Salesforce 不会被一个全新由 ML 驱动的 CRM 代替，就像 Google Workspace 正在全面整合它们的 AI 功效一样。

我们正处于 智能革命 的初期，很难揣测将要发作的一切。例如 Uber 如许的利用，你按下手机上的按钮，就会有一个目生人开车来接你，如今看来稀少通俗，但智妙手机刚呈现的时候你绝对想不到如许的利用和交互界面。那些 人工智能的原生利用 也将如斯，所以请翻开脑洞，最有趣的利用形态还在等你往发掘。

我们已经感触感染了根底模子的强大，但那种办法实能产生的智力和意识么？今天的人工智能看起来十分像东西，而不像 智能代办署理。例如，像 GPT-3 在操练过程中不竭进修，但是一旦模子操练完毕，它的参数的各类权重就设置好了，不会跟着模子的利用而发作新的进修。想象一下，假设你的大脑被冻结在一个霎时，能够处置信息，但永久不会学到任何新的工具，如许的智能是你想要的么？Transformer 模子如今就是如许工做的，假设他们变得有知觉，能够动态的进修，就像大脑的神经元无时不刻不在产生新的毗连那样，那它们更高级的形态可能代表一种 新的智能。我们会在第六章聊一下那个话题，在那之前，先来看看 AI 若何在现实世界中保存的。

05 现实世界的 AI

过往对无人操做电梯的担忧与我们今天听到的对无人驾驶汽车的担忧非常类似。Garry Kasparov

现实世界的 AI（Real World AI），根据 Elon Musk 的定义 就是 “ 模仿人类来感知和理解四周的世界的 AI”，它们是能够与人类世界共处的 智能机器。我们在本文前面四章中提到的用 AI 来处理的问题，大大都都是你输进数据或者提出目标，然后 AI 反应给你成果或者完成目标，很少涉及和实在世界的情况互动。在实在世界中，搜集大量数据是极其困难的，除非像 Tesla 一样拥有几百万辆带着摄像头还实时联网的电车来帮你摘集数据；其次感知、方案再到动作，应该会涉及到多种神经收集和智能算法的组合，就像大脑掌握人的行为那样，那同样也是对研发和工程学的极端挑战。但在 Transformer 模子降生之后，可以征服现实世界的 AI 又有了新的停顿。

5.1 主动驾驶新前沿

就在前几周 Ford 旗下的 Argo AI 公布倒闭，一时间又给备受争议的主动驾驶范畴蒙上了暗影。目前还没有一家做主动驾驶计划的公司实正盈利，除了传奇的 George Hotz 所兴办的 Comma.ai，那个昔时 Elon Musk 都没撬动的软件工程师和高级黑客。

手艺道路的抉择

一辆能够主动驾驶汽车，现实上就是一台是需要同时处理硬件和软件问题的 机器人。它需要用摄像头、雷达或其他硬件设备来 感知四周情况，软件则是在领会情况和物理位置的情状下 规划道路，最末让车辆 驶达目标地。

激光雷达还有另一个问题，它眼中的世界没有色彩也没有纹理，必需共同摄像头才气描画实在世界的样子。但两种数据混合起来会让算法极其复杂，因而 Tesla 完全舍弃了激光雷达，以至是超声波雷达，节约成本是很重要的一个原因，另一个原因是现实世界都道路都是为人类驾驶设想的，人只靠视觉就能完成那个使命为什么人工智能不可？那个理由很具 Elon Musk 的风气，只需要加大在 神经收集 上的研发投进就能够。

Waymo 和 Tesla 是主动驾驶范畴的领跑者，Gartner 的副总裁 Mike Ramsey 如许评判：“假设目标是为群众供给主动驾驶辅助，那么 Tesla 已经很接近了；假设目标让车辆可以平安的主动行驶，那么 Waymo 正在获得成功”。Waymo 是 Level 4，能够在有限的天文前提下主动驾驶，不需要司机监视，但驱动它的手艺还没有预备好让其在测试范畴之外的群众市场上利用，并且造价高贵。从 2015 年起头，Tesla 花了六年多的时间赶上了 Waymo 如今的测试数据，同时用于主动驾驶的硬件越来越少，成本越来越低。Tesla 的战术很有意思：“ 主动驾驶要适应任何道路，让车像人一样根究”，假设胜利的话，它的可扩展性会大得多。

让车看见和根究

Tesla 在 AI 上的押注是从 2017 年 Andrej Karpathy 的加进起头的，一个灵魂人物确实能改动一个行业。Andrej 指导的 AI 团队完全重构了原有的主动驾驶手艺，摘用最新的神经收集模子 Transformer 操练了完全基于视觉的主动导航系统 FSD Beta 10，在 2021 年的 AI Day 上，Tesla AI 团队也毫无保留了分享了那些最新的研发功效，目标是为了招募更多人才加进。

为了让车能够像人一样根究，Tesla 模仿了人类大脑处置视觉信息的体例，那是一套的由多种神经收集和逻辑算法组合而成的复杂流程。

配图22：The Architecture of Tesla AutoPilot

FSD 的主动驾驶步调可能如下：

视觉影像搜集：通过车载的 6 个 1280x960 解析度的摄像头，摘集 12bit 色深的视频，识别出情况中的各类物体和 Triggers（道路情状）

向量空间生成：人类看到的世界是大脑根据感知数据实时构建复原的三维世界，Tesla 用同样的机造把车四周世界的全数信息都投射到四维向量空间中，再做成动态的 BEV 鸟瞰图，让车在立体的空间中行使和揣测，从而能够精准掌握。在 2021 年之前摘用的是基于 Transformer 模子的 HydraNets，如今已经晋级到最新的 Occupancy Networks，它能够愈加精准的识别物体在 3D 空间中的占用情状

神经收集道路规划：摘用蒙特卡洛算法（mcts）在神经收集的引导下计算，快速完成本身途径的搜刮规划，并且算法还能给所有挪动的目标都做方案，而且能够及时改动方案。看他人的反响做出本身的决策，那不就是人类思维么？

Tesla FSD 可以如斯快速的感知和决策，还得靠背后超等电脑 Tesla Dojo 的神经收集操练，那和 OpenAI 还有 Google 操练 LLMs 类似，只不外那些数据不来自互联网，而是跑在路上的每一辆 Tesla 汽车，通过 Shadow Mode 为 Dojo 供给实在的 3D 空间操练数据。

大天然抉择了 眼睛来做为最重要的信息获取器官，也许是冥冥之中的进化一定。一个有理论认为 5.3 亿年前的冷武纪物种大发作的部门原因是因为 能看见世界了，它让新的物种能够在快速改变的情况中挪动和导航、规划动作了先和情况做出互动，保存概率大幅进步。同理，让机器能看见，会不会一样让那个新物种大发作呢？

5.2 不是机器人，是智能代办署理

并非所有的机器人都具备感知现实世界的智能。关于一个在仓库移运货物的机器人来说，它们不需要大量的 Deep Learning，因为 情况是已知的和可揣测的，大部门在特定情况中利用的主动驾驶汽车也是一样的事理。就像让人赞颂的 Boston Dynamic 公司机器人的跳舞，他们有世界上更好的机器人掌握手艺，但要做那些安放好的动做，用法式把规则写好就行。良多看官城市觉得 Tesla 在本年九月发布的机器人 Tesla Optimus 那慢吞吞的动做和 Boston Dynamic 的没法比，但拥有一个优良的机器大脑和能够量产的设想更重要。

主动驾驶和实在世界互动的核心是平安，不要发作碰碰；但 AI 驱动的机器人的核心是和实在世界发作互动，理解语音，挠握躲避物体，完成人类下达的指令。驱动 Tesla 汽车的 FSD 手艺同样会用来驱动 Tesla Optimus 机器人，他们有不异的心脏（FSD Computer）和不异的大脑（Tesla Dojo）。但操练机器人比操练主动驾驶还要困难，事实没有几百万个已经投进利用的 Optimus 帮你从现实世界摘集数据，那时 Metaverse 概念中的 虚拟世界 就能展露拳脚了。

虚拟世界中的模仿实在

为机器人感知世界成立新的 根底模子 将需要逾越差别情况大量数据集，那些虚拟情况、机器人交互、人类的视频、以及天然语言都能够成为那些模子的有用数据源，学界对利用那些数据在虚拟情况中操练的 智能代办署理有个专门的分类 EAI（Embodied artificial intelligence）。在那一点上，李飞飞再次走在了前列，她的团队发布了一个原则化的模仿数据集 BEHAVIOR，包罗 100 个类人常见动做，例如捡玩具、擦桌子、清洁地板等等，EAI 们能够在任何虚拟世界中停止测试，期看那个项目能像 ImageNet 那样对人工智能的操练数据范畴有出色的学术奉献。

在虚拟世界中做模仿，Meta 和 Nvidia 天然不克不及缺席。佐治亚理工学院的计算机科学家 Dhruv Batra 也是 Meta AI 团队的主管，他们创造了一个名喊 AI 栖息地（AI Habitat）虚拟世界，目标是期看进步模仿速度。在那里智能代办署理只需挂机 20 分钟，就能够学成 20 年的模仿体味，那实是 元宇宙一分钟，人世一年呀。Nvidia 除了给机器人供给计算模块之外，由 Omniverse 平台供给撑持的 NVIDIA Isaac Sim 是一款可扩展的机器人模仿器与合成数据生成东西，它能供给传神的虚拟情况和物理引擎，用于开发、测试和治理智能代办署理。

机器人素质上是详细化的 智能代办署理，许多研究人员发如今虚拟世界中操练成本低廉、受益良多。跟着参与到那个范畴的公司越来越多，那么数据和操练的需求也会越来越大，势必会有新的合适 EAI 的 根底模子降生，那里面潜力浩荡。

Amazon Prime 最新的科幻剧集《The Peripheral》，改编自 William Gibson 在 2014 年的出书的同名小说，女配角就能够通过脑机接口进进到将来的 智能代办署理。以前不断觉得 Metaverse 是人类用来遁藏现实世界的，但关于机器人来说，在 Metaverse 中修行才是用来征服现实世界的。

ARK Invest 在他们的 Big Ideas 2022 陈述中提到，根据莱特定律，AI 相对计算单位（RCU - AI Relative Compute Unit）的消费成本能够每年下降 39%，软件的改进则能够在将来八年内奉献额外 37% 的成本下降。换句话说，到 2030 年，硬件和软件的合成能够让人工智能操练的成本以每年 60% 的速度下降。

AI 硬件和软件公司的市值能够以大约 50% 的年化速度扩展，从 2021 年的 2.5 万亿美圆剧增到 2030 年的 87万亿美圆。

通过将常识工做者的使命主动化，AI 应能进步消费力并大幅降低单元劳动成本，从生成式 AI 的利用的大发作就能够看出眉目；但用来大幅降低体力劳动的成本，现实世界的 AI 还有更长的路要走。我们原认为着 AI 会让体力劳动者赋闲，却不晓得它们确有潜力让脑力劳动者先下岗了。

06 AI 进化的将来

科幻小说家 Arthur Clarke 如许说过：" 任何先辈的手艺都与魔法无异"！假设回到 19 世纪，想象汽车在高速路上以 100 多公里的时速行驶，或者用手机与地球另一端的人视频通话，那都不成想象的。自 1956 年 Dartmouth Workshop 创始了人工智能范畴以来，让 AI 比人类更好地完成智力使命，我们向前辈们的梦想前进了一大步。固然，有些人认为那可能永久不会发作，或者是在十分远远的将来，但 新的模子 会让我们愈加接近大脑工做的本相。对大脑的全面领会，才是 AI 通用化（AGI）的将来。

6.1 透视神经收集

科学家们发现，当用差别的神经收集操练统一个数据集时，那些收集中存在 不异的神经元。由此他们提出了一个假设：在差别的收集中存在着普及性的特征。也就是说，假设差别架构的神经网操练统一数据集，那么有一些神经元很可能呈现在所有差别的架构中。

那并非独一欣喜。他们还发现，同样的 特征检测器 也存在与差别的神经收集中。例如，在 AlexNet、InceptionV1、VGG19 和 Resnet V2-50 那些神经收集中发现了曲线检测器（Curve Detectors）。。不只如斯，他们还发现了更复杂的 Gabor Filter，那凡是存在于生物神经元中。它们类似于神经学定义的典范"复杂细胞"，莫非我们的大脑的神经元也存在于人工神经收集中？

OpenAI 的研究团队表达，那些神经收集是能够被理解的。通过他们的 Microscope 项目，你能够可视化神经收集的内部，一些代表笼统的概念，如边沿或曲线，而另一些则代表狗眼或鼻子等特征。差别神经元之间的毗连，还代表了有意义的算法，例如简单的逻辑电路（AND、OR、XOR），那些都超越了高级的视觉特征。

大脑中的 Transformer

来自 University College London 的两位神经科学家 Tim Behrens 和 James Whittington 搀扶帮助证明了我们大脑中的一些构造在数学上的功用与 Transformer 模子的机造类似，详细能够看那篇《How Transformers Seem to Mimic Parts of the Brain》，研究展现了 Transformer 模子切确地复造在他们 大脑海马体 中看察到的那些工做形式。

往年，麻省理工学院的计算神经科学家 Martin Schrimpf 阐发了 43 种差别的神经收集模子，和大脑神经元活动的磁共振成像（fMRI）还有皮层脑电图（EEG）的看测做比照。他发现 Transformer 是目前更先进的神经收集，能够揣测成像中发现的几乎所有的改变。计算机科学家 Yujin Tang 比来也设想了一个 Transformer 模子，并有意识的向其随机、无序的地发送大量数据，模仿人体若何将感官数据传输到大脑。他们的 Transformer 模子，就像我们的大脑一样，可以胜利地处置无序的信息流。

虽然研究在突飞猛进，但 Transformer 那种通用化的模子只是朝着大脑工做的精准模子迈出的一小步， 那是起点而不是摸索的起点。Schrimpf 也指出，即便是性能更好的 Transformer 模子也是有限的，它们在单词和短语的组织表达上能够很好地工做，但关于像讲故事如许的大规模语言使命就不可了。那是一个很好的标的目的，但那个范畴十分复杂！

6.2 千脑理论

Jeff Hawkins 是 Palm Computing 和 Handspring 的开创人，也是 PalmPilot 和 Treo 的创造人之一。兴办企业之后，他转向了神经科学的工做，创建了红木理论神经科学中心（Redwood Center），从此专注人类大脑工做原理的研究。《A Thousand Brains》那本书详尽的阐了然他最重要的研究成，湛庐文化在本年九月推出了中文版《千脑智能》。

大脑新皮层（Neocortex）是智力的器官。几乎所有我们认为是智力的行为，如视觉、语言、音乐、数学、科学和工程，都是由新皮层创造的。Hawkins 对它工做机理摘取了一种新的阐明框架，称为 "Thousand Brains Theory"，即你的大脑被组织成成千上万个独立的计算单位，称为皮量柱（Cortical Columns）。那些柱子都以同样的体例处置来自外部世界的信息，而且每个柱子都成立了一个完全的世界模子。但因为每根柱子与身体的其他部门有差别的联络，所以每根柱子都有一个特殊的参考框架。你的大脑通过停止投票来整理出所有那些模子。因而，大脑的根本工做不是成立一个单一的思惟，而是治理它每时每刻都有的成千上万个零丁的思惟。

我们能够把运行 Transformer 操练的神经收集的电脑想象成一个及其简单的 人工皮量柱，给它灌注贯注各类数据，它输出揣测数据（参考第四、五两章的讲解来理解）。但大脑新皮层有 20 多万个如许的小电脑在散布式计算，他们毗连着各类感知器官输进的数据，最关键的是大脑无需预操练，神经元本身生长就完成了进修，相当于把人造的用于操练的超等电脑和揣测数据的电脑整合了。在科学家没有给大脑完成逆向工程之前，AGI 的停顿还寸步难行。

要像大脑一样进修

自我监视：新皮层的计算单元是 皮量柱，每个柱子都是一个完全的觉得-运动系统，它获得输进，并能产生行为。好比说，一个物体挪动时的将来位置，或者一句话中的下一个词，柱子城市揣测它的下一次输进会是什么。揣测是 皮量柱 测试和更新其模子的办法。假设成果和揣测差别，那个错误的谜底就会让大脑完成一次批改，那种体例就是自我监视。如今最前沿的神经收集正 BERT、RoBERTa、XLM-R 正在通过预先操练的系统来实现“ 自我监视”。

继续进修：大脑通过 神经元组织来完成继续进修。当一个神经元学一个新的形式时，它在一个树突分收上构成新的突触。新的突触其实不影响其他分收上先前学到的突触。因而，学新的工具不会迫使神经元忘记或修改它先前学到的工具。今天，大大都 Al 系统的人工神经元并没有那种才能，他们履历了一个漫长的操练，当完成后他们就被摆设了。那就是它们不乖巧的原因之一，乖巧性要求不竭调整以适应不竭改变的前提和新常识。

多模子机造的：新皮层由数以万计的皮量柱构成，每根柱子城市学物体的模子，使多模子设想发扬感化的关键是投票。每一列都在必然水平上独立运做，但新皮层中的长间隔毗连容许各列对其感知的对象停止投票。智能机器的 "大脑 "也应该由许多几乎不异的元素（ 模子）构成，然后能够毗连到各类可挪动的传感器。

有本身的参考框架：大脑中的常识被贮存在参考框架中。参考框架也被用来停止揣测、造定方案和停止运动，当大脑每次激活参考框架中的一个位置并检索相关的常识时，就会发作根究。机器需要学会一个世界的模子，当我们与它们互动时，它们若何改变，以及相互之间的相对位置，都需要参考框架来表达那类信息。 它们是常识的骨干。

为什么需要通用人工智能（AGI）

AI 将从我们今天看到的公用计划过渡到更多的通用计划，那些将在将来占据主导地位，Hawkins 认为次要有两个原因：

第一个就和通用电脑战胜公用电脑的原因一样。通用电脑有更好的效果比，那招致了手艺的更快朝上进步。跟着越来越多的人利用不异的设想，更多的勤奋被用于加强更受欢迎的设想和撑持它们的生态系统，招致成本降低和性能的提拔。那是算力指数式增长的根本驱动力，它塑造了二十世纪后半叶的工业和社会。

Al 将通用化的第二个原因是，机器智能的一些最重要的将来利用将需要通用计划的乖巧性，例如 Elon Musk 就期看能够有通用智能的机器人来帮手摸索火星。那些利用将需要处置良多无法意料的问题，并设想出别致的处理计划，而今天的公用的 Deep Learning 模子还无法做到那一点。

6.3 人工智能何时通用？

通用人工智能（AGI）那是 AI 范畴的末极目标，应该也是人类创造了机器计算之后的末极进化标的目的。回忆 机器之心六十多年的进化，我们似乎找到了办法，就是模仿人类的大脑。Machine Learning 要完成那块拼图，需要有 数据、 算力 还有 模子的改进。

数据

应该是拼图中最随便实现的。按秒来计算，ImageNet 数据集的大小已经接近人从出生到大学结业视觉信号的数据量；Google 公司创建的新模子 HN Detection，用来理解房屋和建筑物外墙上的街道号码的数据集大小，已经能够和人一生所获取的数据量所媲美。要像人类一样，利用更少的数据和更高的笼统来进修，才是神经收集的开展标的目的。

算力

能够合成为两个部门：神经收集的参数（神经元的数量和毗连）规模以及单元计算的成本。下图能够看到，人工神经收集与人脑的大小仍有数量级的差距，但它们在某些哺乳动物面前，已经具备合作力了。

配图29：神经收集规模和动物与人类神经元规模的比照

我们每花一美圆所能得到的计算才能不断在呈指数级增长。如今大规模根底模子所用到的计算量每 3.5 个月就会翻一番。

配图30：122 years of Moore’s Law: 每一美圆产生的算力

有些人认为，因为物理学的限造，计算才能不克不及连结那种上升趋向。然而，过往的趋向其实不撑持那一理论。跟着时间的推移，该范畴的资金和资本也在增加，越来越多人才进进该范畴，因为 涌现 的效应，会开发更好的 软件（算法模子等）和 硬件。并且，物理学的限造同样约束人脑的才能极限，所以 AGI 能够实现。

当 AI 变得比人类更伶俐、我们称那一刻为 奇点。一些人揣测，奇点最快将于 2045 年到来。Nick Bostrom 和 Vincent C. Müller 在 2017 年的一系列会议上对数百名 AI 专家停止了查询拜访， 奇点（某人类程度的机器智能）会在哪一年发作，得到的回答如下：

乐看揣测的年份中位数 (可能性 10%) - 2022

现实揣测的年份中位数 (可能性 50%) - 2040

悲看揣测的年份中位数 (可能性 90%) - 2075

因而，在 AI 专家眼里很有可能在将来的 20 年内，机器就会像人类一样伶俐。

那意味着关于每一项使命，机器都将比人类做得更好；当计算机超越人类时，一些人认为，他们就能够陆续变得更好。换句话说，假设我们让机器和我们一样伶俐，没有理由不相信它们能让本身变得更伶俐，在一个不竭改进的 机器之心进化的螺旋中，会招致 超等智能 的呈现。

从东西进化到数字生命

根据上面的专家揣测，机器应该具有自我意识和超等智能。到那时，我们对机器意识的概念将有一些严重的改变，我们将面临实正的数字生命形式（DILIs - Digital Lifeforms）。

一旦你有了能够快速进化和自我意识的 DILIs，围绕物种合作会呈现了一些有趣的问题。DILIs 和人类之间的协做和合作的根底是什么？假设你让一个有自我意识的 DILIs 能模仿痛苦悲伤，你是在熬煎一个有感知的生命吗？

那些 DILIs 将可以在办事器长进行自我复造和编纂（应该假设在某个时候，世界上的大大都代码将由能够自我复造的机器来编写），那可能会加速它们的进化。想象一下，假设你能够同时创建100,000,000 个你本身的克隆体，修改你本身的差别方面，创建你本身的功用函数和抉择原则，DILIs 应该可以做到那一切（假设有足够的算力和能量资本）。关于 DILIs 那个有趣的话题在《Life 3.0》和《Superintelligence: Paths, Dangers, Strategies》那两本书中有详尽的讨论。

那些问题可能比我们的预期来得更快。Elad Gil 在他的最新文章《AI Revolution》提到 OpenAI、Google 和各类创业公司的核心 AI 研究人员都认为，实正的 AGI 还需要 5 到 20 年的时间才气实现， 那也有可能会像主动驾驶一样永久都在五年后实现。不管如何，人类最末面对的潜在保存威胁之一，就是与我们的数字后代合作。

汗青学家 Thomas Kuhn 在其闻名的《The Structure of Scientific Revolutions》一书中认为，大大都科学朝上进步是基于普遍承受的理论框架，他称之为 科学范式。偶尔，一个既定的范式被推翻，被一个新的范式所代替 - Kuhn 称之为 科学革命。我们正处在 AI 的智能革命之中！

最初，送上一首 AI 创做的曲子《I Am AI》，Nvidia 每年的 GTC 大会上城市更新一次内容，看看 AI 若何从各个行业渗入到我们的生活。

参考

Letter from Alan Turing to W Ross Ashby - Alan Mathison Turing

Software 2.0 - Andrej Karpathy

The Rise of Software 2.0 - Ahmad Mustapha

Infrastructure 3.0: Building blocks for the AI revolution - Lenny Pruss, Amplify Partners

Will Transformers Take Over Artificial Intelligence? - Stephen Ornes

AI Revolution - Transformers and Large Language Models (LLMs) - Elad Gil

What Is a Transformer Model? - RICK MERRITT

AI 时代的巫师与咒语- Rokey Zhang

Generative AI: A Creative New World - SONYA HUANG, PAT GRADY AND GPT-3

What Real-World AI From Tesla Could Mean - CleanTechNica

A Look at Tesla's Occupancy Networks - Think Autonomous

By Exploring Virtual Worlds, AI Learns in New Ways - Allison Whitten

Self-Taught AI Shows Similarities to How the Brain Works - Anil Ananthaswamy

How Transformers Seem to Mimic Parts of the Brain - Stephen Ornes

Attention Is All You Need - PAPER by Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin

On the Opportunities and Risks of Foundation Models - PAPER by CRFM HAI of Stanford University

Making Things Think - BOOK by Giuliano Giacaglia

A Thousand Brains（中文版：千脑智能）- BOOK by Jeff Hawkins