软硬件设备清单硬件设施是否完善2024年4月19日

　　以是，在老黄的设想里，假如一个超算中间是特地为AI建的，那就用最快的IB交流机计划；关于存量的以太网算力中间，假如客户扭摇摆捏，英伟达也能婚配供给以太网计划软硬件装备清单，就用Spectrum-X交流机……

　　以是，在老黄的设想里，假如一个超算中间是特地为AI建的，那就用最快的IB交流机计划；关于存量的以太网算力中间，假如客户扭摇摆捏，英伟达也能婚配供给以太网计划软硬件装备清单，就用Spectrum-X交流机。简朴来讲，就是面向如今和将来的买卖英伟达给你包圆了。

　　Mellanox，凭甚么能跟英伟达等量齐观？Mellanox供给的次要产物是数据中间内的通讯互联处理计划，而此中最为中心的又是基于IB和谈开辟的一些列收集装备产物，这儿有须要睁开说一下IB和谈。

　　以点带面，经由过程高速交流机这个纽带，我们不难发明，信息反动曾经从互联网进入到算力网的时期。假如在本年，你还只在聊互联网，明显曾经被时期甩下了车；一样，假如聊算力还只在聊GPU，明显三大重点你只捉住了一个。

　　在英伟达及旗下Mellanox的强势率领下软硬件装备清单，市场纷繁上调高速交流机的出货量，IDC估计2023-2024年，市场高速交流机增速别离为54%和60%，2024年以至还显现加快的迹象。因为Mellanox是英伟达的子公司没法间接投资，美股投资人转而追捧最纯粹的交流机标的Arsita，究竟结果它固然不如Mellanox优良，但也是各大云厂商高速交流机的最大供给商。

　　算力网该怎样了解？起首说从前互联网中收集装备的中心使命，是完建立即通讯，以是交流机素质上是一个通讯装备；而如今AI算力中间中收集装备的构建逻辑，在于集合力气办大事，即汇合愈来愈壮大的算力，交流机不再仅仅是通讯装备，而酿成了算力装备自己。

　　算力要完成云云恐惧的提拔幅度来满意scaling law，从硬件的角度来阐发，路上有三堵墙：

　　但跟着AI算力发作，Mellanox的主要性飙升，成为英伟达IB交流机、Spectrum-X以太网交流的御用供给商，占有了AI收集装备中的最高份额。绝不夸大的说，如今Arista市值靠近1000亿美圆，Mellanox能够轻松给到3000亿美圆，较昔时看似极端溢价的69亿美圆贬值43倍，远超这5年英伟达的市值上涨幅度。

　　这类架构就可以十分明晰的看到，为了打破通讯墙打造壮大的算力基座，交流机不单单是充任算力收集中的通讯装备，而本身也酿成算力装备的自己。恰是这一财产链环节界说的变革，给了全部交流机财产链拔估值的根底。

　　单枪匹马。传统的数据中间，根本都是以太网和谈，关于晋级到超以太，兼容性要好很多，究竟结果和谈就是硬件对话的言语，用的人多天然就成了支流。

　　也恰是基于这两点缘故原由，很多人关于超以太网同盟仍是很有自信心的。究竟是以太网胜出，仍是IB金瓯无缺，终极谜底只能留给工夫来考证。但不论怎样，英伟达与超以太同盟的这轮对垒该当长短常出色的，势必成为科技史上往后被人重复说起的典范桥段。

　　假如用人体构造来类比AI算力，能够做以下了解：AI芯片（由GPU+HBM+CoWoS构成）是心脏，CUDA等加快软件是大脑，光模块是枢纽，线缆光纤是血管，以交流机为代表的收集装备是咽喉。差别的装备合集，终极显现的是全部效劳器集群。

　　超以太同盟建立后，便即刻推出了RoCEv2（RDMA over Converged Ethernet）计划，在软件层吸取了前文提到的枢纽手艺RDMA，剑指的标的目的十分明白，那就是力图对标IB机能。

　　但常常被疏忽的是图表的下半部门，英伟达同时标注出了配套的交流机型号变革，分为两个IB和以太网两个系列标的目的：

　　1）算力墙：中心环绕GPU，也是各人在AI算力硬件中存眷度最高的产物。废除算力墙最枢纽的手艺手腕是制程和芯片架构的晋级。但制程带来的单芯片算力提拔面临着黑洞般的AI需求，已显得惨白有力。究竟结果如今的苹果最新的3nm的A17芯片，晋级的结果曾经微不足道。实践上，英伟达的GPU，接纳的只是4nm制程，以至下一代产物B100，也不会晋级到3nm。每代际算力倍增能够曾经是单芯片算力提拔的极限了。

　　环球龙头企业，曾经开端在新型交流机和收集架构上正面剧烈比武。除上面提到的英伟达，实在超以太网同盟的行动也十分之大，后文会详细阐发。

　　按照财产链调研，英伟达的IB计划比以太网计划贵20-30%。以太网计划能够经由过程主打性价比来扳回一局。

　　幸亏和其他收集装备一样，中国在交流机上实在不断具有很强的合作力，这还要得益于华为20多年前的勤奋，和孵化了厥后的新华三。时至昔日，海内的AI算力收集中的交流机仍旧因循了主干网和数据中间收集中的格式，新华三和华为照旧是次要的玩家。

　　仿佛收集架构曾经窒碍好久了。假如穷究收集架构的变化史，不难发明OSI收集模子上一次大的变化，还要追溯到十多年前云计较发作期间的“网随云动”。在窒碍十多年后，我们察看到，AI将催生互联收集装备的最新反动，将促使收集架构从互联网时期切换到算力网时期。

　　老黄其时就对这笔收买十分自得，曾说这是两家环球抢先高机能计较公司的分离，早在5年前就曾经把Mellanox放在与英伟达划一主要的地位上，转头来看不能不感慨老黄的目光的确狠毒。

　　笔者以为，最次要的缘故原由在于交流机被偏见式的以为是收集架构中副角的存在，究竟结果HBM、CoWoS这些新名词一听就是十倍空间起跳的弘大故事。而一提交流机，各人前提反射式的想到：这不就是2000年互联网泡沫时的思科的产物么，还能炒吗？

　　原来行文至此就可以够收笔了，但估量另有很多人存眷国产算力收集中交流机的停顿，在此再赘述一二。

　　换句话说，为了获得AI大模子智能的出现，scaling law报告你要不断的堆算力和数据。这也是为何，在2024年3月初，黄仁勋斯坦福大学演讲时提到，在将来的10年里，英伟达会把深度进修的计较才能再进步100万倍。这并非泡沫期间的大放卫星，而是AI智能出现的须要前提。

　　1999年，北良图算机巨子们牵头构造IB同盟，目标是为了代替PCIe总线和谈，成为智能装备之间互联的新的和谈尺度，IB内嵌了RDMA（Remote Direct Memory Access）功用，能将效劳器间内存、GPU内存直连；好比在AI的GPU集群中，RDMA手艺能加快卡之间的交互，大大节流时延。

　　从图中也能看到，英伟达不单单只是想同时卖芯片和交流机，它的野心远超于此。

　　起首说，英伟达的野心很大，它历来都不是只想做一个卖卡的芯片公司，而是想做AI时期的算力计划处理商。大概说英伟达贸易形式的变革：历来不但是想卖铲子，是卖给你全部矿山，别再用“卖铲人”来描述英伟达了。

　　尽人皆知，这一轮AI可以胜利是鼎力出奇观的工程学打破，背后的指点法例是“scaling law”，scaling law形貌的模子机能与模子范围之间的幂律干系，这一法例表白，当模子的范围（比方参数数目、数据集巨细和计较资本）增长时，模子的机能将获得进步。

　　从最新的英伟达GB200计较集群收集架构中，我们可以十分明晰的看到多处堆料组网的手艺：1）GPU卡与GPU卡之间，基于NVLink和谈的卡间互联，这部门派套的switch芯片，因为被英伟达把持，没有太多财产链讨论的意义，因而不再睁开。2）再往上一层，就是IB交流机，它毗连起多个GPU卡群，组成一个完好的机柜Rack。3）多个机柜再经由过程交流机互联，构成强力的AI算力中间。前面两个环节，都离不开AI交流机的撑持。

　　很多人以为，我们在AI时期，也能够依葫芦画瓢，演出厥后者居上的戏码。

　　但IB厥后声音日突变小，而智能装备之间的互联，仍旧是由性价比更高的PCIe和谈紧紧占有了中心地位。这是因为IB和谈需求特地的网卡和交流机来撑持，招致了居高不下的硬件本钱，因而在跟以太网的计划中合作中败下阵来。甲等舱是好，但没有几小我私家坐得起。

　　至此，交流机这一恒久以来不被正视的收集装备，一会儿跃升为AI算力根底中的暗战高地。为了追逐英伟达IB计划，2023年7月，“超以太网同盟”（Ultra Ethernet Consortium）正式建立，这一同盟疾速成为各个大厂的拯救稻草。英特尔、微软、Meta、博通、AMD、思科、Arista、Eviden、HP等连续参加。

　　更加主要的是，假如全部图完成，这一轮的AI大潮将被英伟达完成新版的软硬件解构，软件企业如云厂商卖力猖獗氪金和试错贸易形式，硬件企业英伟达卖力建AI全算力和旱涝保收。

　　美股投资人也开端追捧交流机标的。在最新的AI交流机中，龙头毫无疑问是英伟达的子公司Mellanox，可是因为不零丁上市和表露财政数据，看不到太多细节；第三方AI交流机的龙头不是前文提到的思科而是前期之秀Arista，其股价在2023年上半年第一轮AI海潮中当中没有跑赢纳斯达克，可是自2023年末开端加快上涨，这显现美国投资人正在从头审阅它的主要性硬件设备能否完美。

　　实在，财产链的这一变革不是2024年英伟达经由过程GB200才向全天下摊牌的，最早的旌旗灯号发端于5年前。

　　厥后的故事各人想必每一个人都晓得了，跟着互联网泡沫的幻灭，思科的股价蒙受了重创，从高点下跌了超越70%。公司厥后用了20年，才委曲填平昔时估值带来的狂热泡沫。科技行业自然“见异思迁”，交流机这个老面目面貌天然被绕着走，况且昔时被深套的恐惊还深深入在每一个投资人的反射弧里。

　　GPU芯片和CUDA收集，仿佛壁垒太高，虽然好比谷歌曾经死磕TPU多年，但见效甚微，更多人是挑选了躺平承受了英伟达在GPU上把持的理想，以是英伟达的GPU才气毛利率高达90%以上，可谓有史以来最暴力的硬件。

　　英伟达2021-2025年的产物道路图，昭昭然的将这个野心公示环球。此中标粗的是其中心的GPU产物，从A100迭代到H100，然后再到本年的B100，再到2025年的X100，道路十分明晰，也是AI财产链存眷的核心。

　　假如客户同时选购了英伟达的芯片、交流机，就离采购英伟达AI算力集群计划不远了（图表的上半部门）。在团体计划中，英伟达给下旅客户推自有GPU+自有收集装备+自有CUDA搭建的全部AI算力集群。这就是AI工场的形式，代价量将是只卖GPU卡的数倍以上。

　　黄教主其其实公收场合也表达过交流机的中心肠位。老黄曾流露，在AI全部集群投资中，InfiniBand收集（以下均简称IB）约占总本钱的20%。这里简朴科普一下，IB收集是英伟达在子公司Mellanox的协助下，本人搭建的用在效劳器之间的算力通讯收集，此中所利用的中心交流机为自产的IB交流机。

　　按照界说，交流机（Switch），事情于OSI收集模子中的数据链路层，智能地决议将数据帧从哪一个端口转收回去，从而完成收集中的数据交流和流量办理。因而，交流机的中心感化是进步收集的机能和服从，并撑持收集的扩大和办理。浅显了解，交流机就是“收集效应”的硬件载体。

　　鲜有人感知到的是，时期迁移转变序曲中，碰到的第一批实体停滞，除GPU、HBM，另有交流机——此前市场鲜有存眷的交流机，正在扼住AI算力的咽喉。

　　但笔者偏向于以为超以太网的胜算仍是被高估了。由于Scaling Law的指点之下，AI算力收集比拼是速率不是价钱，人多假如不是最优计划软硬件装备清单，那能够也只是乌合之众。这就像自行车必定是更经济的出行方法、骑的人也多，可是没有人会用它来上高速，留赐与太网同盟的工夫实在未几。

　　在超以太同盟中的GPU环球老二AMD，把这两点说得愈加明晰：以太网将成为AMD构建算力集群的根底和谈，由于以太网具有更好的机能、更壮大的大范围集群才能，和最为中心的开放性，期望与头部交流机厂商一同，低落组网本钱，打造更具性价比的收集。

　　并且从市场范围来看，交流机也相称之主要。按照IDC《2023年收集市场跟踪陈述》的最新数据，2023年环球收集装备市场范围为714亿美圆，此中交流机超越400亿美圆，是仅次于AI芯片、效劳器的核默算力组件，范围以至要弘远于近期被炽热会商的光模块和高速存储HBM。

　　20多年前思科作为环球收集装备的绝对龙头，与现现在的英伟达享用的是一样的职位。在2000年，思科的收集交流机市场份额超越6成，路由器份额超越8成，能够说没有思科的收集装备，就不会有厥后的互联网兴旺开展，昔时思科被誉为互联网卖铲人。

　　既然从手艺角度来看云云主要、从市场范围看也不小，怎样交流机就一直不被各人正视呢？

　　但偏见曾经是已往式，当下时点，必将要从头审阅对交流机、特别是AI交流机的了解了。缘故原由无他，各方面的旌旗灯号曾经十分较着，随意举出两例：

　　而交流协媾和交流机，因为手艺壁垒相对低，且处于财产变化的晚期，成为世人攻破英伟达碉堡最优的分歧挑选。

　　明天再度从头熟悉交流机须要性，就缘自交流产物的自己发作了严重变革，并且交流机在收集中的主要性也在较着提拔，以至曾经成为AI根底设备中的三堵高墙之一。

　　片面反击的英伟达VS蓄势还击的同盟，是GPU、HBM以后AI的第三场战役：一场科技史上环绕交流机的出色对决行将演出。

　　别看各大厂的老板，求着老黄买卡是对英伟达立场十分好；但实践上，对英伟达恐惊在硅谷正日积月累，大佬们都在牌桌底下热议怎样挣脱。面临英伟达云云凌厉的明牌守势硬件设备能否完美，此前众志成城的非英伟达阵营也展现出了绝后的连合。

　　在互联网时期的算力根底设备投资中，得益于运营商的超前投资，我国的根底收集速率、浸透率在环球都处于抢先职位，这也在前面间接催生了中国的挪动互联网繁华，中国的互联网公司，也因而具有环球合作力。

　　在这一轮算力网革掷中，交流机正式与GPU、HBM、先辈封装硬件设备能否完美、光模块一道，站到了财产链的C位。

　　如今许多客户因为只能采购英伟达的GPU，曾经十分被动了，因而许多企业其实不甘愿采购IB计划，仍对峙以太网计划。关于这类客户，英伟达也可配套供给Spectrum-X系列的以太网交流机，一样也是将顺次对应从400G晋级到本年的800G，再到来岁的1.6T，只不外互联服从要弱于IB计划；这几款交流机也是由Mellanox来供给。

　　从交流机的产物谱系图，我们更能读懂英伟达的规划。这张图实在信息含量极大，倡议重复寓目。

　　2019年，英伟达豪掷69亿美圆，击败英特尔和微软收买了彼时绝大部门都还比力生疏的Mellanox。笔者昔时也是不了解一个芯片厂玩甚么交流机，只是以为这关于财大气粗的英伟达来讲，算一个不大不小的收买，天然也是没有认真阐发财产链上的协同效应。

　　但不能不直面的遗憾理想是，而在算力收集时期，我们的算力根底设备处于片面落伍形态。我们不单单在GPU、HBM、先辈封装方面有很多课要补，代表着算力集群才能的交流机我们也并没有甚么劣势可言。一方面我们并没有IB交流机，只能做以太网交流机，并且以太网交流机的代际更迭上也落伍于外洋1代，也就是落伍超以太网同盟半个身位。

　　种一棵树最好的工夫是十年前，其次是如今。固然在AI交流机上我们落伍了很多，但依托汗青积聚和个人的力气，假如从如今开端追逐硬件设备能否完美，这一场棋战，我们一定不克不及上桌。

　　2）存储墙：中心环绕HBM软硬件装备清单。单芯片算力跟不上，能够靠HBM来大大减缓，在《AI国力战役：GPU是明线，HBM是暗线》一文中有具体会商，能够移步于此。HBM反倒成为一个飞速前进的环节，海力士和美光近来股价飙升即是市场开端认知到这一标的目的的主要性。

　　直到2023年这个算力为王的时期，IB和谈才一飞冲天被广为人知。AI大模子的横空出生避世，算力的缺口一会儿被放大到有限大，而作为并行计较中枢纽加快器的IB和谈，成了最优处理计划，这一和谈的硬件载体，恰是IB交流机。

　　有须要提的一句题外话是，这张图也能看出英伟达其实不筹办介入HBM和先辈制程，台积电和海力士今朝来看还长短常宁静的。

　　3）通讯墙：算力和HBM分离在一同处理单卡的成绩，但单卡再强也远远跟不高低流的算力需求。进一步的处理办法是堆料，抛开庞大的手艺名词，实在道理就是简朴粗鲁的鼎力出奇观硬件设备能否完美，把只管多的优良的算力卡连起来构成算力集群，这与猎鹰火箭装27台策动机素质上是一个原理，此中的枢纽手艺就在于数据中间的组网手艺，因而，交流机的职位今时差别昔日。

　　选用英伟达IB和谈的，配套的是由Mellanox供给的Quantum系列交流机，将顺次对应从400G晋级到本年的800G，再到来岁的1.6T。值得一提的是，在这个过程当中，光模块也需求对应从800G晋级到1.6T然后到3.2T，Mellanox也能够部门供给。

　　厥后连IB首发者英特尔都挑选了退出，终极只要Mellanox苦苦的在这条“毛病”的道路上对峙。Mellanox公司建立后不久，便参加了IB同盟并推出相干产物，到2015年，Mellanox在环球IB市场上的占据率到达80%，固然抢先但在这一小众市场不被人留意。2019年被英伟达支出囊中硬件设备能否完美，而这以后，IB根本从一个公然和谈酿成了英伟达的私有和谈，更不为人存眷了。

　　此中AI芯片、CUDA、光模块、线缆，都曾经被翻来覆去的会商过无数回，成为阳谋。但使人惊奇的是，为何交流机作为中心的组网装备之一，却不断备受热闹，只能充任AI暗器。

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186