做 PCIe 6.0 验证,大家最关心的往往不是规格书上的 64 GT/s,而是几个更实际的问题:两张 Gen6 Switch 卡能不能通过线缆连起来?线长从 0.3 米增加到 0.6 米,链路还能不能协商到 x16?同一张 Switch 卡上,能不能再接一块 Gen6 x4 E1.S SSD?
10 月 26 日,我们把这些设备放到一张实验台上,做了一次从接线到查看链路状态的演示。视频只有 7 分多钟,却涉及 Switch 扩展、MCIO 线缆、EDSFF 供电,以及一个非常容易被忽视的安全问题:没有机械防呆的 E1.S 插槽,方向插反可能损坏 SSD。
这次先不谈理论峰值性能,按现场操作的先后顺序,一起看看设备是怎么接的、界面上究竟显示了什么。
镜头首先对准实验台上的一块台式机主板。主板的 PCIe 插槽里安装了一张 Serial Cables PCIe 6.0 Switch 卡,采用博通(Broadcom)Atlas3 PEX90080 系列 80-lane 交换芯片。
这里的“80-lane”是交换芯片的通道规模,不等于板卡上有 80 条通道全部做成外露接口。现场能直接看到的,是板卡两侧各两个 MCIO x8 连接器,合计四个 MCIO x8;此外,板卡顶部还有一个 x16 的 Straddle-Mount 连接接口,用于连接带有相应金手指的板卡或转接组件。
可以把它想成高速公路的分流枢纽:上游从主板进入 Switch,下游可以走 MCIO 线缆,也可以走顶部的 x16 连接接口。至于每个口按 x16、x8 还是 x4 工作,既受物理连线限制,也要看端口配置及对端设备能力。
这次演示有两条连接路径同时存在:一条从顶部 x16 接口,通过 0.6 米线缆连接第二张同型号 Switch 卡;另一条从右侧一个 MCIO x8 接口,经一分二线缆接到一块 PCIe 6.0 x4 E1.S SSD。
先看连接第二张 Switch 卡的部分。
第一张卡顶部的 x16 接口接出一根约 0.6 米的线缆,另一端连接第二张相同的 Switch 卡。线缆一端对应金手指连接形式,另一端是 x16 插槽连接形式。现场的目标很明确:看两张 Switch 之间能否以 PCIe 6.0 x16 建立链路。
这个场景和“把两张卡分别插在主板里”不同。它是在利用 Switch 卡的扩展接口,通过外部线缆搭建一段板卡到板卡的 PCIe 高速互连。对于实验室来说,这种做法能灵活调整设备摆放位置,也便于搭建多级 Switch 或者外接测试板的环境。
与此同时,第一张卡右侧的 MCIO x8 口还接着另一根线,它把 x8 拆分为两个 x4 的 EDSFF 接口,其中一个连接 Gen6 E1.S SSD。因此,后面查看链路状态时,我们要观察的是两个不同的连接对象,不能把两个结果混在一起。
接线完成后,镜头切到管理界面。比起只看指示灯,这一步更有说服力,因为管理界面能区分端口支持的最大能力与当前实际协商的状态。
先看第二张 Switch 卡。 界面中的 Upstream 端口显示最大能力为 Gen6 x16;当前实际速度与链路宽度同样显示为 Gen6 x16。也就是说,在截取这个画面的时刻,两张 Switch 卡之间的这段连接已经以预期的代际和宽度成功建链,并非退回 Gen5,也没有降到 x8。
再看第一张 Switch 卡。 顶部用于连接第二张卡的端口同样显示 Gen6 x16 链路;而接 SSD 的那一路 Internal MCIO 端口,最大配置为 Gen6 x4,当前协商也显示为 Gen6 x4。
这正是本次演示最核心的两个观察结果:
这里要提醒一个容易误解的地方:我们看到的是 Switch 端口到下游设备的协商状态,不能据此推断台式机 CPU 到第一张 Switch 卡的上行链路也跑在 Gen6。上游主机接口是什么代际,需要另外查看主机侧端口状态。
同样,“成功协商到 Gen6”也不等于已经完成吞吐量、误码率、长时间压力和 PCI-SIG 一致性测试。这次视频给出了很有价值的建链证据,但并没有展示这些进一步测试结果。
第二个容易被忽略的细节,是 Switch 卡边缘的两个 USB Type-C 接口。
视频里专门停下来解释了管理路径:电脑通过其中的管理 USB-C 口把命令送进板载 MCU,再由 MCU 与 Switch 交互,完成状态查询或相关配置。另一个 Type-C 口用于系统调试。
对照该板卡的技术手册,可以更准确地理解两者的分工:CN7 是连接板载 MCU 的 CLI 管理接口,CN6 则是用于 SDB/SMART UART 等底层调试功能的接口。实际操作时应以 PCB 丝印与对应版本的用户手册为准,不能仅凭“上面一个、下面一个”记忆接口用途。
这套 CLI 除了查看链路,还有板卡状态、传感器、电源和错误计数器等诊断能力。例如,手册中列出的 showport 可以查看各端口的协商速度、宽度和链路状态;counters 用于检查端口错误计数;pwr 与 lsd 可辅助排查供电和传感器状态。
需要说明的是:上述命令是依据技术手册补充的排查思路,并不代表这次视频现场逐条执行了这些命令。 实验室真正做兼容性验证时,把这些状态保存下来,往往比只留一张“Link Up”的截图更有意义。
接下来,镜头把两种线缆拿到一起比较。
平时较常见的一种,是约 0.3 米的 x16 线缆:一端是金手指形式,另一端是 x16 插槽。它比较短,布线紧凑,通常更容易控制连接通道的插入损耗与串扰。
这次展示的另一根线缆,接口形式相近,但长度增加到 0.6 米。视频特意再次把镜头带回两张 Switch 卡的连接位置,并重申了此前管理界面看到的结果:在这套具体的板卡、线缆和设置组合下,0.6 米连接成功协商到了 Gen6 x16。
为什么这件事值得关注?因为 PCIe 6.0 的 64 GT/s 采用 PAM4 四电平信号,信号质量和通道损耗控制比以往更具挑战。线缆越长,往往意味着更高的插入损耗以及更复杂的信号完整性问题,但实际能否建链,仍取决于线材结构、连接器、PCB 走线、均衡能力和整个通道的预算。
因此,这次 0.6 米线缆的演示值得记录,却不能简单理解成“所有 0.6 米的无源铜缆都能稳定跑 Gen6 x16”。如果把它作为实验室正式测试环境,还应进一步检查链路是否反复 Retrain、错误计数是否增长,以及持续数据负载下是否出现速率或宽度回退。
然后镜头回到第一张 Switch 卡右上侧的 MCIO 接口,开始看 SSD 的接线细节。
这根线的一端是 MCIO x8,另一端分出两个 EDSFF x4 母座(Female Connector)。换句话说,一条 x8 通道在适当的端口配置下,可以分别连接两块 x4 SSD。此次只接入其中一块 Gen6 x4 E1.S SSD,剩余一个分支没有在视频中展示第二块 SSD 的实际建链状态。
不过这里有个关键问题:MCIO 这段连接负责高速信号和相关控制信号,不能想当然地把它当成 SSD 的 12V 供电来源。
因此,现场使用的转接线在 EDSFF 端附近另外设置了 SATA 电源接口,从台式机电源引出相应供电,再送到 SSD。这也解释了镜头为什么专门拍摄主机电源上的 SATA 供电接头。
对于第一次搭建这类测试台的工程师来说,容易犯的错误是:只把 MCIO 高速线缆插好,发现 SSD 不识别,就开始怀疑 PCIe 训练或固件问题。实际上,应该先核实 SSD 供电、电源容量、地线连接、上电时序和必要的侧带信号,确认这些基本条件都满足,再排查链路协商。
视频后半段,讲解者特别把镜头移到 EDSFF 母座上,提醒大家关注 SSD 插入方向。
在正规的服务器背板里,SSD 托架、导轨和连接器通常有相应的防误插设计。但实验室里使用的某些裸露式 EDSFF 线缆母座,并不一定有完整的机械防呆结构。如果连接器允许反向误插,就可能造成严重的电源引脚错接。
为什么风险这么高?以常见的 E1.S x4 连接定义为例,A1 所在一排的部分引脚属于 GND,而 B1 所在一排的对应引脚包含 12V 供电。这不是简单的“信号反了不识别”,而是可能涉及电源与接地错误接触,造成 SSD、转接线或供电部分损坏。
现场的做法很直接:先看 EDSFF 母座上的 A1 标记,再对照这块 SSD 及当前线缆组件上已核实的方向标识。演示使用的组合里,盘上的箭头与母座的 A1 位置经过对应确认,才完成插入。
这里必须强调:“箭头对 A1”只适用于本次已确认的器件标记和连接组件,不能不经核对就作为所有品牌、所有 E1.S/E3.S 转接线的通用规则。 最可靠的方法是核对具体 SSD 与母座的 Pin 1/A1/B1 定义、实物丝印、线束图纸和厂商装配说明。
实际动手时还要坚持一个原则:先断电、确认方向、完全插到位,再上电。 对没有防呆结构的实验室线缆,最好增加清晰且固定的方向标签,避免不同工程师轮流操作时凭印象判断。热插拔能力也不能替代正确的机械方向与供电设计。
演示还提到另一类常见线缆:把一个 Gen6 MCIO x8 接口分成两个 U.2 x4 连接端。这类线缆可以用于实验室里已有的 U.2 SSD 验证环境。
不过要区分两个概念:一是线缆和 Switch 端口具备怎样的 PCIe 代际能力;二是连接上去的 SSD 自身支持 Gen4、Gen5 还是 Gen6。PCIe 具备代际向后兼容机制,所以在电气、布线、供电和端口配置均匹配的前提下,Gen6 测试平台可以与较低代际的 PCIe SSD 协商运行。
比如,把 Gen5 x4 U.2 SSD 接到合适的 Gen6 MCIO 转 U.2 线束上,目标就应当是按 SSD 及链路双方共同支持的能力协商,不能要求它凭空跑出 Gen6 速度。
U.2 并非已经从市场消失。此次视频真正要说明的,是除了 E1.S/E3.S 之外,实验室也可以按需要选择 U.2 线束,覆盖不同接口形态的 SSD 验证;但本次实际展示、成功建链的是 E1.S,并没有给出 U.2 盘的现场测试结果。
最后,镜头重新回到 Switch 卡接口布局,开始算一笔“通道账”。
四个 MCIO x8 接口,一共提供 32 条外露的 MCIO PCIe 通道。如果每个 x8 端口都按两个独立 x4 端口配置,并且使用相应的一分二线缆,就可以在接口与通道数量层面形成八个 x4 SSD 连接位置:左边两个 MCIO 可接四块,右边两个 MCIO 再接四块。
然后还有顶部的 x16 连接接口。它不一定只能拿来连接第二张 Switch 卡,也可依据适配器类型用于 SSD。比如,x16 金手指转单个 E1.S/E3.S 连接器,只用到其中 x4;如果是支持多个 SSD 的转接板,还可以把这组通道进一步分配给两块,甚至四块 x4 设备。
但不要把这种端口组合直接写成“插上就能同时跑满 12 块 Gen6 SSD”。理论通道划分与实际可用配置之间,还隔着端口 Bifurcation、固件模式、供电、散热、时钟、枚举与线缆兼容性。 本次视频只证实两张 Switch 卡之间的一路 x16 链路,以及一块 E1.S SSD 的一路 x4 链路,其他盘位数量属于拓扑扩展讨论,并非本次全部实测。
这次演示的好处,是把 PCIe 6.0 的几种抽象概念变成了看得见、摸得着的连接:上方是 0.6 米的 x16 卡间线缆,侧面是 MCIO x8 一分二,下方有独立的 SSD 供电,最后用 Switch 管理界面确认实际协商结果。
对于需要复现这套环境的验证工程师,我们更建议按三步推进。
第一步,先确认“连得上”。 记录两张 Switch 卡及 SSD 对应端口的实际速度、链路宽度与 Link 状态;同时确认电源、风扇及板卡温度正常。
第二步,再确认“跑得久”。 持续观察 PCIe 错误计数、是否出现 Retrain 或链路降速,必要时配合业务流量、压力测试和不同线长组合重复检查。此时才能对某根线缆在特定系统里的工作余量形成更可靠的判断。
第三步,再去分析“为什么”。 如果碰到不建链、只跑 Gen5 或降到 x8/x4,不要一上来就归咎于 SSD。应先分清是 Switch 到 Switch 这一路出了问题,还是 MCIO 到 SSD 这一路出了问题;然后依次排查端口模式、线缆方向、参考时钟与复位、供电、连接器以及信号完整性。必要时再使用 PCIe 协议分析仪、误码仪或示波器定位更底层的原因。
这也是这段七分多钟视频最值得分享的地方:PCIe 6.0 的测试环境,不一定非要从一整台全新 Gen6 服务器开始搭建。通过 Switch 卡、线缆和转接组件,工程师已经可以先把下游 Gen6 设备的连接与验证工作做起来。至于系统级吞吐量、长期稳定性和规范一致性,则需要在这一步的基础上继续验证。
一句话总结:这次,我们看到了 0.6 米连接下的 Gen6 x16 卡间建链,也看到了 Gen6 x4 E1.S SSD 的实际建链;比这两个数字更重要的,是知道每一条线该怎么接,以及哪些结论还需要进一步测试。
延申阅读
想获得关于上述产品的更多信息,或者想进一步了解针对NAND Flash做特性分析,协议分析,以及NAND测试过程中用到各类治具和夹具,请微信后台联系我们获得最新的针对PCIe, CXL, SSD, NAND测试的白皮书版本16.0。