下面几期我们将针对LLM大语言模型（以ChatGPT为例）通俗易懂地讲解一下它的分层架构，从上层应用一直到底层硬件组成，同时也会谈一下有哪些诊断、分析、测试工具可以协助这些底层硬件厂商快速进行问题分析和测试。ChatGPT的分层架构1. 应用层：用户与ChatGPT互动用户界面：用户通过各种应用（如网页、手机应用、聊天机器人等）与ChatGPT互动。API：应用通过API（应用程序接口）向ChatGPT发送请求，并接收回复。API是开发者与底层模型交互的桥梁。2. 高级框架：TensorFlow/PyTorch深度学习框架：ChatGPT使用TensorFlow或PyTorch等高级深度学习框架进行开发。它们提供了构建、训练和部署神经网络模型的工具和接口。模型构建：在这些框架中，模型（如GPT-3）由多个层（如嵌入层、注意力层、前馈层等）构成。训练循环：框架负责训练过程中的前向传播、反向传播和参数更新。3. 底层加速：CUDACUDA：NVIDIA开发的并行计算平台和编程模型，用于加速深度学习计算。TensorFlow/PyTorch使用CUDA将计算任务分派到GPU。并行计算：利用CUDA，深度学习框架可以在数千个GPU核心上并行执行计算，大幅提高训练速度。4. 硬件加速：GPUGPU（图形处理单元）：用于处理大量并行计算任务。深度学习训练需要大量矩阵乘法运算，GPU的并行处理能力使其比CPU更高效。训练过程：GPU执行前向传播和反向传播的计算，更新模型参数。大量数据在GPU的显存（如HBM）中存储和处理。5. GPU互连：NVSwitchNVSwitch：用于在多个GPU之间实现高速数据传输。训练大型模型时，通常需要多块GPU协同工作。数据传输：NVSwitch提供GPU之间的高速互连，使数据在多GPU系统中高效传输，减少通信瓶颈。6. 高带宽存储：HBMHBM（高带宽内存）：集成在GPU上的高速内存，用于存储和快速访问大量训练数据和模型参数。数据存取：HBM提供极高的带宽，使得GPU可以快速访问和处理数据，提升训练效率。7. 存储系统：NVMe SSDNVMe SSD：高性能固态硬盘，用于存储训练数据集和模型检查点。数据加载：训练过程中，数据从NVMe SSD加载到GPU的HBM中进行处理。高吞吐量和低延迟的存储设备确保数据加载不会成为瓶颈。训练详细过程    1. 数据预处理：数据从NVMe SSD中读取，进行清洗、标注和分批。数据加载器将数据批次传递给深度学习框架。2. 前向传播：数据输入模型，经过嵌入层和多个注意力层处理。GPU通过CUDA并行执行计算，使用HBM进行高速数据存取。3. 损失计算：模型输出与真实标签对比，计算损失函数。损失值用于指导反向传播。4. 反向传播和参数更新：通过反向传播计算梯度。使用优化算法（如Adam）更新模型参数。参数更新在GPU上进行，通过NVSwitch实现多GPU间参数同步。5. 模型存储：定期将模型检查点保存到NVMe SSD，确保训练过程中数据的安全和可恢复性。小结用户通过应用与ChatGPT交互，API调用模型进行推理。高级框架（TensorFlow/PyTorch）负责模型的构建和训练。CUDA用于加速计算，将任务分派到GPU。GPU利用并行计算能力执行前向传播和反向传播。NVSwitch实现多GPU间高速互连。HBM提供高带宽内存支持，提升数据处理效率。NVMe SSD用于存储和快速加载数据和模型检查点。通过这些层次分明的技术和硬件支持，ChatGPT得以实现高效的训练和推理过程，提供强大的自然语言处理能力。下面是上述各个层次的一个框图供快速参考。如果你有其任何关于PCIe5&6.0, CXL, NVMe, NAND, DDR5/LPDDR5以及UFS测试方面的我问题想咨询，请添加点击左下角“阅读原文”留言，或者saniffer公众号留言，致电021-50807071 / 13127856862，sales@saniffer.com。

本次视频是比较两块不同类型的PCIe Gen5 SSD在完全一样的环境中的信号表现，尽管两块盘都没有掉速，都是Gen5 x4，但是接收端信号表现一目了然。具体细节参考最下面的视频讲解。 测试环境：知名internet厂商开发的基于其PCIe Gen5 ARM CPU的服务器，在服务器背面有若干PCIe Gen5 U.2背板插槽。 待测试SSD：1）由该internet厂商自研的Gen5 eSSD controller封装的高性能U.2 SSD。2）Gigabyte 10000系列Gen5 M.2 SSD，然后经过SerialCables Gen5 M.2/U.2 adapter转接成U.2 SSD。上述两块盘依次接入服务器的U.2 插槽。我们下面的截图采用SerialTek PCIe Gen5 U.2 analyzer串接在Gen5 U.2链路中间（槽和SSD盘之间）。 说明：     1.     下午为Gen5 U.2 SSD加电初始化的LTSSM图。图中，黑色的部分表示有大量的LTSSM状态变化。        2.     下图为将黑色的部分放大后看到的情况。我们看到实际上上有大量的RECOVERY。     3.     下面是随机放大某一个RECOVERY，我们发现是SSD认为CPU过来的信号有问题，从而主动发起RECOVERY。我们经过分析，发现几乎所有的RECOVERY都是由于SSD发起。     4.   下面是我们把Gen5 M.2 gigabyte SSD经过SerialCables Gen5 M.2/U.2 passive adapter转接的U.2 SSD替换前面一张标准的Gen5 U.2 SSD后，看到的LTSSM展示，我们发现在大概85秒钟的时间范围内基本只出现零星的大概11次RECOVERY。这个说明，即便在转接有信号损耗的情况下，Gen5 M.2 SSD的receiver接收端信号也非常好，基本没有认为从CPU过来的信号有问题，所以只有零星的recovery请求发出。  

该案例分析简单来讲是由于DPU发出2个MRd 请求命令给CPU，CPU均回复Completer Abort，然后导致recovery发生，导致掉卡。当然具体原因需要看一下为什么CPU会abort该请求，例如是否是MRd的地址范围超越界限了？等等。      

该案例分析简单来讲是下面这么一个过程： 1.CPU莫名其妙不响应SSD controller 发出的32个针对不同地址的MRd 请求命令 2.SSD controller正常情况下在一定的时间time-out之后应该异常终止这些请求，但是没有进行该操作。 3.经过漫长的370ms以后，SSD controller突然发出大量framing error乱码，导致主机一侧认为链路有问题，重新发起training，导致FIO异常中断。 4.重新协商后，链路重新建立。    

在过去的PCIe几代发展过程中，PCIe 性能是由多种设备的发展所驱动的，包括： ⚫ GPU ⚫ NVMe 存储设备 (SSD) ⚫ 高速网络接口卡 (NIC) ⚫ 其他高速互连外设，例如 USB-C 和 Thunderbolt ⚫ 然而，随着 Gen5 PCIe 的出现，我们看到较小范围的设备受益于速度的提升。 由于控制器和 NAND 闪存芯片的限制，大多数 SSD 不需要 Gen5 速度。Gen5 的优点是可以在使用一半数量的 PCIe 通道的情况下实现相同的速度。 同样，大多数 NIC 和其他外设可以从少量 Gen5 通道获得所需的带宽。 Gen5 和更高速度的主要驱动力现在来自游戏 GPU 和（最近）人工智能AI加速器的要求。在这两种情况下，通常使用 PCIe 插槽的完整 16 个通道，因此进一步提高性能需要升级到下一代。 到 2023 年下半年，我们看到了引入 Gen6 系统路线图的巨大推动力，多家公司计划在 2024 年发布重大开发版本。对 GPU 计算能力的需求几乎完全由人工智能发展驱动。总线速度加倍将给人工智能公司带来重大好处。  速度变化 Gen5 PCIe 的推出每通道的最大理论带宽为 32 GT/s（每秒千兆传输）。这相当于每通道大约 4 GB/s（每个lane）或 x16 连接的 64 GB/s。 PCIe Gen6 更进一步，将带宽再次加倍至每通道 64 GT/s。这意味着每个方向上每个通道的速度约为 8 GB/s，对于 x16 设备而言，速度可达惊人的 128 GB/s。 信号变化 ⚫ PAM4  Gen5 PCIe 使用具有 2 个电压电平的 NRZ 信号，表示二进制 0 和 1 。Gen6 使用更复杂的 PAM4 系统，有 4 个电压电平。Gen5 和 Gen6 具有相同的 16 GHz 基频，但由于采用 PAM4 编码，Gen6 的抗噪能力仅为 Gen5 的三分之一，因此需要更严格的设计容差。⚫ 前向纠错或 FEC 这是协议的新增内容，用于纠正传输中发生的较小错误，而无需重新传输数据。与第 5 代相比，这些额外的错误恢复数据增加了额外的开销。 ⚫ 流量控制单元 (FLIT)  Gen 6 PCIe 引入了新的数据传输结构以及 FEC，以减少开销并实现更快的数据传。这将需要新的解码系统，并且与第五代相比是一个巨大的变化。   电源效率 新的节能状态允许一些PCIe Lane通道关闭，而另一些PCIe Lane通道继续运行。这样可以在负载变化时实现可扩展的性能，同时最大限度地减少功耗。新的电源状态称为L0p  连接器变化 市场上已经有适用于 AIC（插槽）设备的 Gen6 连接器。 适用于 E1、E3 和 CXL的现代EDSFF 连接器预计也将在 Gen6 版本中提供。 鉴于该连接器较旧的性质以及 SSD 上 Gen6 的优势较低，SFF-8639（用于 U.2 和 U.3 驱动器）很可能不会进入 Gen6。  板级布线设计带来的挑战 Gen6 信号对于板级走线和布线将是一个重大挑战。FEC 将有助于恢复较小的错误，但转向 PAM4 将显着减少系统中的 SI（信号完整性）开销。这将使数据容易因丢失和串扰而出错 ⚫ 损耗 Gen6 的总插入损耗预算为 32dB，低于 Gen5 规范中的 36dB。这是一个很小但很重要的变化，将限制走线的长度和转换的数量（连接器和类似的） ⚫ 串扰 这是从一个通道到另一个通道的干扰（串扰）。使用 PAM4，干扰更改数据位的可能性显着增加。这使得PCIe Gen6的串扰风险更高，需要更复杂的设计来缓解。 Gen5 与 Gen6 PCIe 兼容性 与前几代 PCIe 一样，保持了向后和向前兼容性。旧设备应在新的 Gen6 插槽中运行，而 Gen6 设备在放入旧插槽时应降低速度。向后兼容性的要求显着增加了 Gen6 硬件的复杂性，特别是SerDes，它必须支持 NRZ 和 PAM4 编码并在运行中在它们之间进行切换。  Gen6 测试工具和测试环境搭建 ⚫ SerialTek作为业内领先的协议分析仪厂家，已经推出了PCIe Gen6协议分析仪，训练器，可以模拟PCIe Gen6 RC（CPU端）以及EP（各类device controller插卡），以及针对协议的兼容性测试套件CTS⚫ Quarch 正在努力开发 Gen6 产品，因此当您拥有原型设备时，我们应该准备好用于功耗分析和热插拔/故障注入的测试解决方案 ⚫ SanBlaze将于2024年下半年将推出支持PCIe Gen6 SSD和SSD卡的测试设备 ⚫ SerialCable将于2024年将陆续推出支持PCIe Gen6 SSD和插卡的各种Switch卡，retimer卡，测试盘柜，转接，延长线，转接延长线等等服务PCIe Gen6信号品质的搭建PCIe Gen6测试环境所需的基础组件 

本文下面的视频承接昨天的“SerialTek PCIe Gen5分析仪分析SerialCables公司8盘位盘柜里面的E3.S SSD的初始化和压力测试流量演示”，通过演示PCIe Gen5协议分析仪抓包的方式来简单看一下Gigabyte Gen5 M.2 SS初始化和I/O压力下面的延迟分布情况，方便未接触该类产品的朋友参考。 想快速跳到某个感兴趣主题的朋友，参见下面的说明： 0''- 2''        封面 2'' - 2'58''   Gigabyte Gen5 M.2 SSD连接SerialTek Gen5分析仪以及主机启动过程 2'58'' - 13'26'' Gen5协议分析仪抓取启动过程以及FIO random I/O压力流量 如果你对Saniffer上海开放实验室感兴趣，或者希望获得更多测试工具的产品信息和经验分享，请扫描下面的二维码联系我们。    

为了更好地服务于国内众多的中小芯片设计公司，Saniffer公司发挥其在总线协议分析业内累积近18年的测试工具相关经验，在上海张江高科技园区设立开放实验室，为涉及PCIe,NVMe, SAS/SATA,NAND, DDR5, UFS等总线的客户提供免费和付费的协议分析、问题诊断和测试等相关服务，有需求的用户可以通过下面的方式提前两周预约：021-50807071 / 131-2785-6862 / sales@saniffer.com。 　　注：Saniffer开放实验室提供各种常用的总线接口的协议分析和测试工具，不仅仅支持各类NVMe SSD接口类型；其PCIe协议分析和测试工具也支持各类插卡类应用，包括各种计算，网络，存储系统开发和测试等领域。 目前Saniffer开放实验室库存提供如下测试工具： PCIe协议分析仪 PCIe Gen 6 x16协议分析仪和训练器 　　SerialTek/Ellisys，该款分析仪适用于各种PCIe Gen6 X16插卡诊断分析和协议训练，例如CPU, GPU, DPU, AI，加速卡等；支持CXL协议分析，最高配置，288G BUFFER, 4TB trace内置闪存SSD，2个10GEtrace文件导出端口，该设备目前提供Gen6 x16插卡，以及M.2, EDSFF等常用接口interposer。 PCIe Gen 5 x16协议分析仪 　　SerialTek/Ellisys，该款分析仪适用于各种PCIe Gen5 X16插卡诊断分析，例如CPU, GPU, DPU, AI，加速卡等；支持CXL协议分析，最高配置，144G BUFFER, 2TB trace内置闪存SSD，2个10GEtrace文件导出端口，该设备目前提供Gen5 x16插卡，以及M.2, U.2, U.3, E1.S, E1.L, E3,S E3.L 等常用接口interposer。 PCIe Gen 5 x4协议分析仪 　　SerialTek/Ellisys，该款分析仪适用于各种PCIe Gen5 NVMe SSD诊断分析，支持CXL协议分析，最高配置，144G BUFFER, 2TB trace内置闪存SSD，2个10GEtrace文件导出端口，目前含Gen5 x4插卡，以及M.2, U.2, U.3, E1.S, E1.L, E3,S E3.L 等常用接口interposer。 PCIe Gen 4协议分析仪 　　SerialTek/Ellisys，最高配置，144G BUFFER, 2TB内置闪存盘，无需设置过滤条件，秒级解码，大大提高用户到开发实验室进行问题诊断的效率。提供针对各种SSD接口U.2/U.3 Single Port/Dual Port, M.2, AIC, EDSFF, 以及用于存储盘柜互联的Cable等5种协议分析Interposer PCIe Gen 3协议分析仪 　　SerialTek公司产品，最高配置，36G BUFFER。提供U.2, M.2, AIC三种最常用的SSD接口协议分析Interposer SAS/SATA协议分析仪 12G SAS/SATA协议分析仪 　　SerialTek 12G SAS协议分析仪，兼容6G SAS/SATA 6G SAS/SATA协议分析仪 SerialTek 6G SAS/SATA协议分析仪，提供如下协议测试功能： 　　■  analyzer协议分析 　　■  generator发包 　　■  jammer故障注入 　　■  initiator emulator （6G SAS主机仿真） 　　■  host emulator（6G SATA主机仿真） 　　■  target emulator（6G SAS硬盘仿真） 　　■  device emulator（6G SATA硬盘仿真） SSD性能/功能测试设备（研发测试） PCIe Gen 4 NVMe SSD测试设备 　　SanBlaze DT4研发/测试设备，该设备提供700+测试用例，支持测试各种消费类和企业级NVMe SSD的性能，功能（例如：各种admin命令，I/O,reset, namespace管理，MI(SMBus and MCTP over PCIe), dual-port, hotplug, link testing, signal glitch, ZNS, SRIS, TCG, VDM,数据中心NVMe DSSD 2.0特性测试, SR-IOV, UNH IOL NVMe v1.4和部分NVMe 2.0 certification, UNH IOL NVMe-MI v1.4 certification, JEDEC endurance test等），支持各种SSD接口PCIe Gen 4 NVMe SSD：U.2, U.3, M.2, EDSFF E1.S, E1.L, AIC等 12G SAS SSD测试设备 　　SanBlaze, 支持测试6G SAS/SATA SSD SSD热插拔自动化测试设备 PCIe Gen 5 插卡控制模块 　　Quarch公司产品，支持PCIe Gen 5 x16，提供模拟插卡通/断，底层信号问题导入bit error/CRC error，模拟某些针脚虚焊断掉，接触不好等各种异常。 PCIe Gen 4 热插拔模块 　　Quarch公司产品，提供Gen 4 U.2, U.3, EDSFF E1.S, E1.L等各种支持热插拔的盘的自动化测试模块，也提供针对PCIe Gen 4 x16插卡和M.2 SSD的控制模块，提供模拟插卡通/断，模拟底层信号问题导入bit error/CRC error，模拟某些针脚虚焊断掉，接触不好等各种异常。 PCIe Gen 3 热插拔模块 　　Quarch公司产品，其它同Gen 4热插拔模块 12G SAS硬盘热插拔模块 　　Quarch公司产品, 兼容6G SAS/SATA 6G SAS/SATA热插拔模块 　　Quarch公司产品 12G SAS线缆自动化切换模块 　　Quarch公司产品 6G SATA自动化切换模块 　　Quarch公司产品 12G SAS线缆热插拔模块 　　Quarch公司产品 6G SAS/SATA线缆热插拔模块 　　Quarch公司产品 SSD电压拉偏，功耗测试，电压/电流检测自动化设备 电压拉偏和功耗主动测试工具PPM (Programmable Power Module) 　　Quarch公司产品，提供针对各种接口的SSD的电压拉偏，最高可超过标准20%输出，最低可以降到0V, 可以方便模拟各种供电异常和故障，电压输出精度4mV，同时提供电压/电流/功耗的实时采样（最高250K/s，测量精准度4Mv/25uA）和分析、回溯分析等功能，支持PCIe Gen 4 U.2, U.3, M.2, AIC, EDSFF E1.2/E1.L等，以及12G SAS, 6G SAS, 6G SATA SSD等 电压/电流/功耗被动分析工具PAM (Programmable Analysis Module) 　　Quarch公司产品，支持PCIe Gen AIC, U.2/U.3, M.2等主流SSD接口以及SAS/SATA SSD，PAM模块串接在盘和背板/主板或插卡和PCIe插槽之间，可以实时分析或者长时间记录监测电压/电流/功耗用于分析，尤其对于分析应用于笔记本电脑的PCIe M.2 SSD的低功耗模式非常有帮助。 PCIe Gen 4/5 SSD测试环境 PCIe Gen5主机 　　Intel Xeon Server, Gigabyte, Asus, AsRock, MSI等基于Intel和AMD Gen5 CPU主机 PCIe Gen5 Host Card 　　SerialCables公司基于BCM的Gen5 switch card PCIe Gen5 Retimer Card 　　Astera Gen5 retimer card PCIe Gen5 转接卡 　　SerialCables公司U.2/AIC转接卡 PCIe Gen5 延长线 　　Gen5 x16 qualified 延长线 PCIe Gen4主机 　　Gigabyte, Asus, AsRock, MSI等基于Intel和AMD Gen5 CPU主机 PCIe Gen 4转接卡 　　SerialCables公司，包括M.2/AIC, M.2/U.2, U.2/AIC等 PCIe Gen 4 Host Card 　　SerialCables公司基于BCM, MicroChip的Gen 4 Host Card PCIe Gen 4 SSD 盘柜 　　SerialCables公司的Active/Passive盘柜，支持8盘位SSD PCIe Gen 4 Retimer Card 　　SerialCables基于Astera Gen4 retimer card          PCIe Gen 4 延长线 　　SerialCables U.2延长线，M.2延长线，PCIe slot延长线等 PCIe Gen 4 M.2掉电卡 　　SerialCables M2U2, M2/AIC掉电卡 NAND特性测试和分析设备 　　NplusT公司产品，我们目前维护两台NAND特性分析和测试工具，支持标准版STD 测试模块（800MT）和HS测试模块（1.6GT）两种速度，最新的2.4GT测试模块在协调过程中。 DDR5协议分析仪 　　JKI公司产品，目前提供DDR5 RDIMM interposer，兼容Samsung, SK Hynix，Micron等各种主流DDR5内存。 上海开放实验室PCIe Gen5测试环境部分清单汇总 　　欢迎各位到我们位于上海张江高科技园区的Saniffer实验室进行测试，地址：秋月路26号1号楼，来之前可以通过下面的方式进行预约：021-50807071 / 131-2785-6862 / sales@saniffer.com。