【技术前沿】144条PCIe Gen6 Lane,到底如何连接SSD, GPU, DPU,网卡, AI加速卡?
一张PCIe Gen6扩展卡背后的故事:从“插一张卡”到重新设计服务器架构过去几年,PCIe扩展环境其实一直比较简单。服务器主板提供几个PCIe x16插槽:插GPU;插网卡;插SSD;插DPU。如果插槽不够怎么办?很多工程师第一反应:“加一个PCIe Switch。”但是进入PCIe 5.0、PCIe 6.0时代以后,这个问题开始变复杂。因为现在服务器里面的设备越来越多:AI训练需要多颗GPU;推理服务器需要GPU + 高速NVMe SSD;DPU需要独立PCIe通道;CXL设备开始进入服务器;EDSFF SSD需要大量高速Lane。这时候,传统“主板给几个槽位”的方式已经无法满足需求。真正的问题变成:如何把CPU有限的PCIe Root Complex资源,重新组织成一个高密度、高灵活性的高速互连系统?这也是PCIe Switch存在的价值。最近看到的一款基于Broadcom Atlas3 PEX90144 PCIe Gen6 Switch芯片设计的MCIO Switch Board,就是针对这一类问题设计的高速扩展平台。一、核心芯片:Broadcom PEX90144到底有多强?这张PCIe Gen6 MCIO Switch Board最大的特点,就是采用:Broadcom Atlas3 PCIe Gen6 Switch PEX90144它不是简单的PCIe转接芯片,而是一颗真正面向下一代服务器架构的PCIe Gen6交换芯片。根据规格:支持PCIe Gen6;最大144 Lane;最大72个PCIe Port;可以划分为9个16 Lane Station;支持Managed FW和Unmanaged FW两种模式。简单理解:一颗CPU出来的PCIe资源,通过这颗Switch,可以重新分配成几十个高速设备连接口。如果把传统服务器比作“一条高速公路”,那么PCIe Switch就是一个超级立交桥。CPU只有有限入口:Switch的作用:不是增加CPU本身的PCIe能力;而是重新调度这些高速Lane。二、为什么选择MCIO,而不是传统PCIe插槽?很多工程师第一次看到这张板,会问:为什么不用PCIe Slot?为什么大量使用MCIO?原因很简单:服务器未来不会只有几个PCIe槽。尤其是AI服务器。内部越来越多采用:MCIO;OCP NIC接口;EDSFF SSD;JBOF背板。这张板上一共有:18个PCIe Gen6 MCIO x8连接器其中:8个UMCIO接口;10个标准MCIO接口。其中UMCIO更加灵活。它可以:配置成Root端;配置成Device端;支持单Host;支持Multi-host;支持Virtual Switch模式;支持MR-IOV(需要Managed FW)。而普通MCIO接口主要用于连接:1)如何连接server主机一般建议通过Saniffer提供的PCIe 6.0 retimer卡(2个MCIO Gen6 x8 connector)连接主机端,参见下图。2) GPU/DPU/NIC各类server插卡类扩展通过:MCIO x8转换:x16 AIC Slot Adapter连接:GPU;DPU;NIC。3)NVMe SSD和JBOF存储盘柜扩展通过:MCIO连接:E3.S SSD;E1.S SSD;U.2/U.3 SSD;M.2 SSD4)AI/MI(machine learning)存储节点三、一个典型应用:16颗GPU到底怎么扩?之前很多工程师问:“服务器只有8个GPU槽,如果我要扩展16颗GPU怎么办?”传统方式:买更大的服务器。但是PCIe Switch提供另一种思路。例如:Switch负责:Lane分配;PCIe协议交换;数据转发。对于AI服务器:可以实现:CPU↓PCIe Gen6 Switch↓GPU Cluster↓NVMe SSD Storage形成:GPU + SSD + DPU统一高速互联。手册中也展示了AI/ML场景:通过Switch连接:Host;NVMe SSD;GPU Cluster;支持AI存储和GPUDirect应用。四、PCIe Gen6 SSD测试环境的新玩法对于做PCIe SSD验证的人来说,这类Switch更加重要。因为未来Gen6 SSD测试不会只是:“一块SSD插服务器。”而会变成:为什么?因为企业级SSD测试需要:多盘并发;多端口测试;JBOF环境;压力测试;热插拔;错误注入。例如:一个Gen6 Switch:连接:8 Bay E3.S JBOF里面:8颗PCIe Gen6 SSD。测试人员可以模拟:真实AI服务器存储环境。五、真正有价值的地方:它不是黑盒,而是可以管理很多PCIe Switch产品最大的问题:买回来能跑。但是:出了问题不知道怎么办。这张板提供完整CLI管理能力。通过USB Type-C管理接口:可以访问:UART;I2C;Switch管理接口。板上还有MCU:负责运行CLI命令。下面看看几个工程师最关心的命令。六、PCIe Gen6 Switch常用CLI命令解析1. showport:查看所有PCIe链路状态这是最常用命令。作用:查看所有MCIO Port当前Link状态。例如:测试环境:SSD无法枚举。第一步:showport查看:Link Up/Down;Speed;Lane Width。类似PCIe Analyzer里面查看LTSSM状态。2. lsd:查看电源和温度状态lsd可以查看:MCU温度;风扇转速;12V输入电流;板上关键电压。对于PCIe Gen6高速Switch:电源稳定性非常重要。因为:144 Lane同时工作时,任何电压波动都可能导致:Link Error;Replay;Recovery。3. conrst:模拟设备ResetPCIe测试里面经常需要:重新拉PERST#。命令:conrst可以对MCIO连接设备发送:300ms PERST#。用途:模拟:SSD Reset;Hot Reset;异常恢复。4. ver / sysinfo:确认系统版本测试环境最怕:硬件一样。Firmware不同。因此:ver查看:MCU FW;Atlas3 FW版本。Sysinfo查看:整个Switch Board状态。5. fdl:升级FirmwarePCIe Gen6时代:Firmware越来越重要。fdl支持:MCU升级;Switch FW升级。包括:fdl minifdl mainfdl fwfdl mcu用于不同Firmware区域更新。6. mw / dr / dp / df这些属于高级Debug命令。mw写Switch寄存器:mw <register><data>用于:修改Atlas3寄存器。dr读取Switch寄存器:dr用于:Debug芯片内部状态。dp读取Port寄存器:dp port_number定位:某一个PCIe Port问题。df读取Flash内容:用于:Firmware Debug。这些命令对于普通用户可能不常用,但是对于:PCIe专家;Switch开发人员;高级验证工程师;非常关键。七、这张卡最适合哪些人?场景1:PCIe Gen6设备开发公司例如:开发:GPU;DPU;SSD Controller;NIC;CXL设备。需要:提前搭建Gen6环境。不用等待完整服务器。场景2:AI服务器验证团队未来AI服务器:不会只是:8 GPU。可能:16 GPU;32 GPU;GPU + SSD池。需要:PCIe Switch重新组织资源。场景3:SSD厂商和测试机构尤其是:PCIe Gen6 E3.S SSD。测试:多盘性能;并发压力;热插拔;Fault Injection。场景4:高校和研究机构研究:PCIe拓扑;CXL;GPU互联;Storage Fabric。这类开放平台非常适合教学和研究。八、PCIe Gen6时代,Switch不是扩展,而是重新定义服务器连接方式过去:PCIe Switch只是:“不够插槽时的补丁”。但是进入PCIe 6.0时代:情况正在改变。随着:AI GPU数量增加;NVMe SSD密度增加;CXL设备出现;数据中心架构变化;PCIe Switch正在成为服务器内部的重要基础设施。一张144 Lane的PCIe Gen6 Switch Board,本质上不是一个简单扩展卡。它更像:一个小型PCIe高速交换网络。未来测试PCIe Gen6设备时,真正的问题可能不再是:“有没有插槽?”而是:“有没有能力搭建一个完整、高速、可调试的PCIe生态环境?”这也是为什么下一代PCIe验证平台,需要:Switch + Retimer + Analyzer + Exerciser + SSD + GPU共同组成完整测试体系。PCIe 6.0的时代,连接方式正在改变。而真正懂得如何搭建高速互联环境的人,才有机会提前进入下一代计算平台的核心验证环节。更多PCIe5&6.0, CXL, NVMe SSD, SAS/SATA, NVMe over Fabric (NVMoF), NAND,新型存储技术NVM(RRAM/ReRAM, FRAM/FeRAM, MRAM, PCM, 3D-NOR, SRAM/DRAM等) DDR5/LPDDR5以及UFS测试方面的问题想咨询,可以查看Saniffer公司2026.2.24最新更新的测试工具白皮书15.1版本,我们已经整理收录在Saniffer公众号的【白皮书】菜单中。欢迎关注Saniffer公众号,点击底部菜单栏即可免费获取。如有任何技术问题,也可直接在公众号内留言交流。
2026-07-13 10:16:02









