一张PCIe Gen6扩展卡背后的故事：从“插一张卡”到重新设计服务器架构

过去几年，PCIe扩展环境其实一直比较简单。

服务器主板提供几个PCIe x16插槽：

• 插GPU；
• 插网卡；
• 插SSD；
• 插DPU。

如果插槽不够怎么办？

很多工程师第一反应：

“加一个PCIe Switch。”

但是进入PCIe 5.0、PCIe 6.0时代以后，这个问题开始变复杂。

因为现在服务器里面的设备越来越多：

• AI训练需要多颗GPU；
• 推理服务器需要GPU + 高速NVMe SSD；
• DPU需要独立PCIe通道；
• CXL设备开始进入服务器；
• EDSFF SSD需要大量高速Lane。

这时候，传统“主板给几个槽位”的方式已经无法满足需求。

真正的问题变成：

如何把CPU有限的PCIe Root Complex资源，重新组织成一个高密度、高灵活性的高速互连系统？

这也是PCIe Switch存在的价值。

最近看到的一款基于Broadcom Atlas3 PEX90144 PCIe Gen6 Switch芯片设计的MCIO Switch Board，就是针对这一类问题设计的高速扩展平台。

一、核心芯片：Broadcom PEX90144到底有多强？

这张PCIe Gen6 MCIO Switch Board最大的特点，就是采用：

Broadcom Atlas3 PCIe Gen6 Switch PEX90144

它不是简单的PCIe转接芯片，而是一颗真正面向下一代服务器架构的PCIe Gen6交换芯片。

根据规格：

• 支持PCIe Gen6；
• 最大144 Lane；
• 最大72个PCIe Port；
• 可以划分为9个16 Lane Station；
• 支持Managed FW和Unmanaged FW两种模式。

简单理解：

一颗CPU出来的PCIe资源，通过这颗Switch，可以重新分配成几十个高速设备连接口。

如果把传统服务器比作“一条高速公路”，那么PCIe Switch就是一个超级立交桥。

CPU只有有限入口：

Switch的作用：

不是增加CPU本身的PCIe能力；

而是重新调度这些高速Lane。

二、为什么选择MCIO，而不是传统PCIe插槽？

很多工程师第一次看到这张板，会问：

为什么不用PCIe Slot？

为什么大量使用MCIO？

原因很简单：

服务器未来不会只有几个PCIe槽。

尤其是AI服务器。

内部越来越多采用：

• MCIO；
• OCP NIC接口；
• EDSFF SSD；
• JBOF背板。

这张板上一共有：

18个PCIe Gen6 MCIO x8连接器

其中：

• 8个UMCIO接口；
• 10个标准MCIO接口。

其中UMCIO更加灵活。

它可以：

• 配置成Root端；
• 配置成Device端；
• 支持单Host；
• 支持Multi-host；
• 支持Virtual Switch模式；
• 支持MR-IOV（需要Managed FW）。

而普通MCIO接口主要用于连接：

1）如何连接server主机

一般建议通过Saniffer提供的PCIe 6.0 retimer卡（2个MCIO Gen6 x8 connector)连接主机端，参见下图。

2) GPU/DPU/NIC各类server插卡类扩展

通过：

MCIO x8

转换：

x16 AIC Slot Adapter

连接：

• GPU；
• DPU；
• NIC。

3）NVMe SSD和JBOF存储盘柜扩展

通过：

MCIO

连接：

• E3.S SSD；
• E1.S SSD；
• U.2/U.3 SSD；
• M.2 SSD

4）AI/MI(machine learning)存储节点

三、一个典型应用：16颗GPU到底怎么扩？

之前很多工程师问：

“服务器只有8个GPU槽，如果我要扩展16颗GPU怎么办？”

传统方式：

买更大的服务器。

但是PCIe Switch提供另一种思路。

例如：

Switch负责：

• Lane分配；
• PCIe协议交换；
• 数据转发。

对于AI服务器：

可以实现：

CPU

↓

PCIe Gen6 Switch

↓

GPU Cluster

↓

NVMe SSD Storage

形成：

GPU + SSD + DPU

统一高速互联。

手册中也展示了AI/ML场景：

通过Switch连接：

• Host；
• NVMe SSD；
• GPU Cluster；

支持AI存储和GPUDirect应用。

四、PCIe Gen6 SSD测试环境的新玩法

对于做PCIe SSD验证的人来说，这类Switch更加重要。

因为未来Gen6 SSD测试不会只是：

“一块SSD插服务器。”

而会变成：

为什么？

因为企业级SSD测试需要：

• 多盘并发；
• 多端口测试；
• JBOF环境；
• 压力测试；
• 热插拔；
• 错误注入。

例如：

一个Gen6 Switch：

连接：

8 Bay E3.S JBOF

里面：

8颗PCIe Gen6 SSD。

测试人员可以模拟：

真实AI服务器存储环境。

五、真正有价值的地方：它不是黑盒，而是可以管理

很多PCIe Switch产品最大的问题：

买回来能跑。

但是：

出了问题不知道怎么办。

这张板提供完整CLI管理能力。

通过USB Type-C管理接口：

可以访问：

• UART；
• I2C；
• Switch管理接口。

板上还有MCU：

负责运行CLI命令。

下面看看几个工程师最关心的命令。

六、PCIe Gen6 Switch常用CLI命令解析

1. showport：查看所有PCIe链路状态

这是最常用命令。

作用：

查看所有MCIO Port当前Link状态。

例如：

测试环境：

SSD无法枚举。

第一步：

showport

查看：

• Link Up/Down；
• Speed；
• Lane Width。

类似PCIe Analyzer里面查看LTSSM状态。

2. lsd：查看电源和温度状态

lsd

可以查看：

• MCU温度；
• 风扇转速；
• 12V输入电流；
• 板上关键电压。

对于PCIe Gen6高速Switch：

电源稳定性非常重要。

因为：

144 Lane同时工作时，

任何电压波动都可能导致：

• Link Error；
• Replay；
• Recovery。

3. conrst：模拟设备Reset

PCIe测试里面经常需要：

重新拉PERST#。

命令：

conrst

可以对MCIO连接设备发送：

300ms PERST#。

用途：

模拟：

• SSD Reset；
• Hot Reset；
• 异常恢复。

4. ver / sysinfo：确认系统版本

测试环境最怕：

硬件一样。

Firmware不同。

因此：

ver

查看：

• MCU FW；
• Atlas3 FW版本。

Sysinfo

查看：

整个Switch Board状态。

5. fdl：升级Firmware

PCIe Gen6时代：

Firmware越来越重要。

fdl

支持：

• MCU升级；
• Switch FW升级。

包括：

fdl mini

fdl main

fdl fw

fdl mcu

用于不同Firmware区域更新。

6. mw / dr / dp / df

这些属于高级Debug命令。

mw

写Switch寄存器：

mw <register><data>

用于：

修改Atlas3寄存器。

dr

读取Switch寄存器：

dr

用于：

Debug芯片内部状态。

dp

读取Port寄存器：

dp port_number

定位：

某一个PCIe Port问题。

df

读取Flash内容：

用于：

Firmware Debug。

这些命令对于普通用户可能不常用，

但是对于：

• PCIe专家；
• Switch开发人员；
• 高级验证工程师；

非常关键。

七、这张卡最适合哪些人？

场景1：PCIe Gen6设备开发公司

例如：

开发：

• GPU；
• DPU；
• SSD Controller；
• NIC；
• CXL设备。

需要：

提前搭建Gen6环境。

不用等待完整服务器。

场景2：AI服务器验证团队

未来AI服务器：

不会只是：

8 GPU。

可能：

16 GPU；

32 GPU；

GPU + SSD池。

需要：

PCIe Switch重新组织资源。

场景3：SSD厂商和测试机构

尤其是：

PCIe Gen6 E3.S SSD。

测试：

• 多盘性能；
• 并发压力；
• 热插拔；
• Fault Injection。

场景4：高校和研究机构

研究：

• PCIe拓扑；
• CXL；
• GPU互联；
• Storage Fabric。

这类开放平台非常适合教学和研究。

八、PCIe Gen6时代，Switch不是扩展，而是重新定义服务器连接方式

过去：

PCIe Switch只是：

“不够插槽时的补丁”。

但是进入PCIe 6.0时代：

情况正在改变。

随着：

• AI GPU数量增加；
• NVMe SSD密度增加；
• CXL设备出现；
• 数据中心架构变化；

PCIe Switch正在成为服务器内部的重要基础设施。

一张144 Lane的PCIe Gen6 Switch Board，本质上不是一个简单扩展卡。

它更像：

一个小型PCIe高速交换网络。

未来测试PCIe Gen6设备时，

真正的问题可能不再是：

“有没有插槽？”

而是：

“有没有能力搭建一个完整、高速、可调试的PCIe生态环境？”

这也是为什么下一代PCIe验证平台，需要：

Switch + Retimer + Analyzer + Exerciser + SSD + GPU

共同组成完整测试体系。

PCIe 6.0的时代，

连接方式正在改变。

而真正懂得如何搭建高速互联环境的人，

才有机会提前进入下一代计算平台的核心验证环节。

更多PCIe5&6.0, CXL, NVMe SSD, SAS/SATA, NVMe over Fabric (NVMoF), NAND,新型存储技术NVM（RRAM/ReRAM, FRAM/FeRAM, MRAM, PCM, 3D-NOR, SRAM/DRAM等） DDR5/LPDDR5以及UFS测试方面的问题想咨询，可以查看Saniffer公司2026.2.24最新更新的测试工具白皮书15.1版本，我们已经整理收录在Saniffer公众号的【白皮书】菜单中。

欢迎关注Saniffer公众号，点击底部菜单栏即可免费获取。如有任何技术问题，也可直接在公众号内留言交流。