AI产业背后的大基建，谁会成为大基建背后的赢家？

　　#科技之巅#
　　随着ChatGPT的火爆，它带动了一些相关的概念，其中最受关注的无疑是显卡行业。如果你现在浏览英伟达的官网，你会发现他们已经自称为人工智能计算的世界领导者。纵使科技风云变幻，唯有我黄教主啊稳坐钓鱼台。
　　在过去的两年中，由于某些难以言传的原因，显卡供应紧缺。也许是因为人工智能的热潮再次卷土重来，而ChatGPT爆发后，英伟达的股价从2023年1月开始飙升。毫无疑问，他们是这次AI大战的赢家。甚至背后为英伟达提供PCB主板的惠州盛宏科技也随之起飞。
　　今天我们来谈论AI产业背后的大基建。虽然这是一个虚拟的行业，但它最终还是依靠实体计算工具的支持。随着AI的快速发展，这个基建规模可能呈现指数级的扩张。可以说，这是计算机发明以来人类对算力需求最高涨的时代。
　　那下一步，我们应该注意些什么呢？在此之前，每一次ChatGPT训练都需要使用10,000个英伟达A100GPU芯片。因此，每次训练的成本约为450万美元左右。这是相当大的成本，而现在的用户数量已经突破了1亿人。据说，为了满足如此庞大的需求，至少需要6.9万块A100GPU。这些GPU不仅要用于训练，还要负责用户实际访问时的推理过程，因此，用户数量越大，对于GPU的需求量也越大。
　　现在，让我们从AI产业与GPU背后的逻辑关系开始谈起。第一，一种模式的训练本质上是什么？在底层，这是一种乘积累加运算，先进行乘法，再将结果加起来。无论是处理图像、文字还是声音，任何深度学习过程都基于这个简单的运算。从字面上看，这一过程就是不断提取权重的过程。因此，对于AI模型的训练来说，相应芯片的计算能力是非常关键的。
　　最初，像吴恩达加入谷歌的那个时期，AI的训练使用的是CPU。很明显，CPU有一个问题，即大部分电路都是控制单元和存储单元，而预算单元的比重相对较低。因为CPU注重逻辑编程，而不是用于大规模并行计算，所以后来大家尝试使用GPU进行计算。
　　GPU的预算单元比重很大，而且可以进行并行计算，因此很适合用于AI的训练。在这里，我们要知道，GPU训练AI实际上有些大材小用，因为AI模型的数据精度通常要低于游戏对渲染的要求。由于训练AI的过程与游戏画面渲染本质上具有数学方面的一致性，因此，GPU作为可触及的芯片并具备大规模并行架构，用于训练AI是最合适不过的。
　　然而，无论是CPU还是GPU，它们都不够彻底，因为它们都基于冯诺伊曼架构，是通用处理器。因此，它们存在所谓的冯诺伊曼瓶颈。这意味着，无论是CPU还是GPU，每次运算的结果都必须先保存在寄存器中，然后在下一次运算时再调用。由于CPU或GPU的运算单元需要经常访问计算器，因此限制了数据的吞吐量，并且能耗也非常高。
　　因此，谷歌推出了所谓的TPU，张量处理单元，专门为深度学习开发的一种固定架构的芯片。在深度学习中，张量可以被理解为一种数据容器或一种n维数据阵列。从左到右，它们分别是0维张量、1维张量、2维张量和3维张量。大多数人已经见过这些深度学习中常见的数据矩阵，这就是张量的含义。
　　TPU是一种专门针对AI训练和推理所研发的ASIC，是一种专门的定制产品。与CPU和GPU相比，TPU大大降低了冯诺伊曼的瓶颈。其工作步骤如下：首先，将参数从内存中加载到乘法器和加法器的矩阵中，然后将数据从内存中加载。当一个乘法被执行后，计算结果会传递到下一个乘法器，同时执行加法操作。这样，在大量运算和数据传递中，就不需要频繁访问内存。这是因为电路的设计者知道具体要跑什么样的算法，所以在物理架构上直接针对这个算法来实现操作。这种设计显著提高了数据吞吐量，同时能耗也可以控制得比较小。目前，谷歌的TPU已经迭代了四个版本，单片已经达到了每秒275万亿次运算。
　　然而，TPU作为一种ASIC芯片，它有一个问题，那就是它是固定函数的，意味着它只能用于一种算法，一旦被设计出来就不能干别的了。但是，AI领域的进展比较迅速，一些新的架构和模型出来以后，原来的芯片可能就不能用了。这时，我们可以考虑一种折中的办法，既能提高运算量，又具备一定的迭代能力，那就是FPGA，即现场可编程逻辑阵列。FPGA是一种可以编程的芯片，可以针对特定的应用进行快速开发。相比ASIC，FPGA的门槛比较低，开发效率也比较高，而且设计流程比较简单，因此这也是用于AI训练的一种芯片方案。这两种方案实际上并非取代关系，只是服务不同规模。
　　举例来说，ASIC的NRE费用是150万美元，但是单位费用只有4美元，而FPGA的NRE费用是零，但是单位费用是8美元。两种方案存在一个平衡点，即在低于40万个单位时。ASIC实际上比较昂贵，FPGA比较便宜，但超过40万个单位后，两者的经济性就对调了。
　　因此，这里存在一个规模化的问题，这也就意味着两种芯片的部署阶段有所区别。例如，在AI研发过程中或者刚刚推向市场时，使用FPGA来降低成本会更加适合，关键是可以快速迭代应届方案，因为需要不断地优化调整。而在产品相对稳定、需要大规模部署时，ASIC的优势就比较明显了，尤其是对于边缘计算来说，芯片越小越好，这样就可以继承到一些IOT设备中。
　　在AI算力需求暴增的今天，这些工具厂商的前景是很大的。作为世界上最大的独立显卡开发商，英伟达在人工智能领域恰逢其时，如鱼得水，长袖善舞。但是老黄其实也不能太骄傲，因为一旦AI大规模产业化，就会有竞争者加入。在ASIC和FPGA这条路上的AI芯片公司就有很多，其中就有可能会诞生下一个英伟达。这里有个问题需要解释一下，既然ASIC和FPGA更适合做AI训练，那么为什么大家都在用英伟达的GPU呢？
　　一方面是因为直接采用现成的GPU比较方便，而且英伟达的CUDA也比较成熟，对开发者比较友好，所以很多数据中心都使用英伟达的GPU，只需要直接调用就可以了，路径实际上是比较成熟方便的。另一方面是因为英伟达为了迎合AI，也在他的GPU架构中增加了tensorcore张量核心来适配AI训练的场景，开发者也很容易就能够调用。2017年英伟达发布了Volta架构，第一次在GPU中增加了专门做张量计算的核心。
　　根据前面所讲的，这个就是专门用来做AI训练的。尽管整个GPU是一个混合精度多功能的，但是还是针对AI做的优化。不久之后，英伟达又发布了Turing架构。这一架构允许GeForce系列的产品，也支持张量核心。这意味着一个用来打游戏的显卡也可以做AI训练。当然，在GeForce中，张量核心的任务不是用来训练AI的，而是用来做图像锐化处理的。英伟达于2020年发布了一个Ampere架构，它是一个专门为数据中心开发的A100GPU。这个A100是开头提到的ChatGPT，用来做AI训练的那个芯片。
　　现在A100已经过时了，最新的产品叫做H100，性能提升了9倍，用8,000块GPU来训练一个3,950亿参数的AI模型。A100需要7天，而H100只需要20个小时。这意味着，英伟达的算力核弹将在基础设施层面加速AI的进化。目前看来，AI训练的大门几乎都是由英伟达主宰，因为他基于GPU创造出了一系列丰富的解决方案。
　　除了像谷歌这样的企业会自己开发TPU之外，大部分的公司，包括微软在内，都采用英伟达的产品。当然，英特尔、AMD、高通、IBM、亚马逊等大厂也在积极布局，但更倾向于在ASIC和FPGA领域探索。因此，到目前为止，市场格局还没有确定，因为正如前面提到的，ASIC和FPGA在人工智能领域理论上比GPU有更多的优势，特别是在大规模部署后，成本优势将进一步反映出来。而英伟达的GPU呢，都属于高性能产品。
　　它不仅可以做AI加速，还可以适用于科研和商业的很多领域，比如说流体力学计算等等。长远来看，GPU在AI产业化的竞争中性价比可能会逐步丧失。前面提到AI芯片是分为训练和推理，相当于一个是在构建这个模型，一个是在执行这个模型。所以结合前面的讲解，FPGA一般是数据中心用的比较多，而ASIC更多的是边缘计算场景，也就是在终端设备上。从这个角度来看的话，ASIC板块应该不会存在绝对意义上的霸主，因为这个东西一般都是终端设备厂家自己去设计。
　　当然也会存在很多的创业公司来提供相应的服务。但是FPGA不同。现在全球的FPGA市场基本上是被AMD、英特尔、Lettice、Microsemi四大厂商所垄断，市占率高达96%以上。其中，AMD是因为收购了FPGA商业化的鼻祖赛灵思，英特尔是因为收购了FPGA的发明者Altera公司。所以两家巨头一跃就成为了FPGA巨商。
　　在AI训练芯片领域，AMD和英特尔也是踌躇满志，这个格局基本上是不会有太大变化的，因为大部分的专利都集中在这些厂家手里。除了GPU、ASIC和FPGA之外，行业还有第四极，就是IPU这方面。最具代表性的公司是英国的Graphcore。它的IPU实际上是专门用来做AI任务的一种通用处理器。
　　你可以把它看作是一种AI领域的GPU。这方面的创业公司其实还是挺多的。说不定就会有一家AI芯片领域的英伟达出来。这些创业公司的背后投资方也都包括那些常见的互联网巨头。所以英伟达的处境只是目前看来非常得意，长远来看还是挺有压力的。所以在ChatGPT带火了新一轮的AI热之后，它背后的这种算力基建也会同步爆发。
　　一方面数据中心会更加强化AI相关的硬件基础设施，而IAAS行业呢也会出现垂直的AI赛道。另一方面，AI芯片也会成为巨头争夺的下一个城池。很多创业公司都在成长。所以相比大语言模型，我个人更感兴趣半导体行业的格局演变。那是最有趣的地方。