首页 > 关于我们 > 新闻中心 > 浪潮信息布局PCIe光互连技术:PCIe Gen5信号传输距离提升20倍

浪潮信息布局PCIe光互连技术:PCIe Gen5信号传输距离提升20倍

2024-07-12

近日,浪潮信息前瞻性布局的PCIe光互连技术方案顺利通过原型样机验证。该方案实现了混合速率线性光传输,解决了PCIe协议与光传输技术之间的兼容性问题。测试结果显示,该方案有效地将PCIe Gen5信号传输距离拓展至30米,相比传统铜互连传输距离提升了20倍,同时避免了高速电信号长距离传输中的信号衰减问题,实现了更高性能、更低延迟、更稳定的数据传输,可满足大规模数据中心,机柜内和机柜间长距离高速总线信号互连的需求。

1.png

大模型时代对PCIe技术进步的需求

PCIe总线协议(Peripheral Component Interconnect Express)作为计算机和服务器中使用最广泛的高速数据传输技术,其传输性能的提升对于满足这些需求至关重要。传统连接方案主要依赖于铜缆进行电信号传输,用于单机内部计算芯片和设备之间互连。众所周知,铜缆在信号完整性、延迟、传输距离和功耗等方面存在日益突出的局限,无法满足PCIe高性能互连系统的需求。

同时,随着AIGC的发展,千亿参数成为大模型智能涌现的临界点,参数规模越大,意味着计算复杂度越高,因此所需要的算力规模也变得越来越大,万卡成为算力系统设计的起点,单机内部的PCIe连接已经不能满足需求,机柜内互连和跨机柜的互连成为新的发展方向,以实现更高效的数据交换和资源共享。光互连技术在这里开始发挥作用,利用光纤来替代铜缆,进一步提升带宽和传输距离。为解决这些问题,包括PCI-SIG(PCI Special Interest Group)和浪潮信息等在内的众多组织或公司,正在积极研究和推进PCIe光互连技术,该技术将颠覆数据中心的互连方式,为Data Center as a Computer的实现奠定基础。

PCIe技术演进中的光互连挑战

经过20多年的发展,PCIe技术已经成为计算系统中数据通信的核心技术,自诞生以来,PCIe协议经历了从1.0到6.0版本的迭代,PCIe数据传输速率也从1.0的2.5GT/s,提升为6.0的64GT/s。这一进步的同时也带来了新的挑战。

PCIe技术快速发展与电互的连局限的矛盾日益突出。传统的PCIe电互连传输方式虽然成熟,但在面对日益增长的数据传输需求时,其传输带宽和传输距离方面的限制逐渐凸显,已无法满足高性能PCIe互连对应的业务场景。浪潮信息开始探索使用光互连技术替代传统的电互连方案,光互连技术可以实现更远的距离、更高的带宽和更低的延迟,这为PCIe架构带来了突破的可能,有望成为服务器系统未来高速数据传输的重要发展方向。

在研究过程中,浪潮信息的工程师们发现尽管光互连技术有明显的优势,但PCIe协议与光传输技术之间的兼容性问题却成为了新的挑战。PCIe协议制定之初并未考虑采用光互连来传输,导致现有光传输技术与PCIe协议之间存在许多不兼容的地方,如图2。

2.png

图2

首先,PCIe链路的建立包括接收端检测、电气空闲状态和协商链路速率等过程,常规的光模块设计通常针对的是简单的光信号传输,不具备处理这些复杂的协议过程的能力。

其次,PCIe链路的稳定建立需要辅助信号的支持,如PERST#、PRSNT# 等,而光模块内部通常没有预留传输辅助信号的通道。这些不兼容的地方阻碍了PCIe协议与光传输的结合。

众所周知,随着PCIe速率的增加,传统铜缆在长距离传输面临着越来越大的挑战。例如,PCIe 1.0时,铜缆传输距离可达10米,而PCIe 4.0时,这一距离缩短至3、4米;当速率进一步提高到64 GT/s和128 GT/s,也即PCIe 6.0和未来的PCIe 7.0,铜缆传输距离将进一步缩短至几十厘米,无法满足数据中心的长距离传输需求,PCIe光互连变得不可或缺。

浪潮信息PCIe光互连方案:突破距离限制,实现高效能数据中心互连

浪潮信息针对PCIe电互连在传输带宽和距离上的局限性,创新研发了PCIe光互连方案,成功将PCIe信号从1.4米传输距离拓展至30米,满足数据中心对长距离高性能互连网络的需求。

针对光传输中与PCIe协议的不兼容问题,浪潮信息的工程师们深入研究了PCIe协议以及光电转换组件的工作原理,提出了混合速率线性光传输方案,如图3。

3.png

图3

该方案包含三大关键技术特征:

将辅助信号汇合并编译为600Mbps的低压差分信号,与宽速率范围的高速数据信号一起,通过光纤链路实现同步传输。

利用线性直驱技术构建了高速信号的光传输链路,这不仅优化了光电转换过程,还扩大了光电器件的传输带宽,同时减少了光链路的能耗和传输延迟。

通过硬件升级来扩展和升级链路,确保能够适应未来PCIe Gen6和Gen7设备的组网互连需求。

基于上述方案,浪潮信息的工程师们开发了PCIe光互连的原型,并进行了传输验证。测试结果显示,该原型不仅实现了30米光纤链路PCIe Gen5信号传输,还实现了PCIe辅助信号的光传输,图4为30米光互连链路眼图测试结果。作为对比,同样的系统架构,铜缆方案最远传输距离约1.4米,因此光互连方案成功实现将PCIe Gen5信号传输距离提升20倍。并且在性能测试环节,PCIe光互连链路通过2小时的NVMe-based FIO读写测试和24小时GPU带宽测试,远距离传输性能与NVMe盘和GPU直连CPU的测试数据基本一致,证明了该方案的有效性和可靠性。

而且在针对不同距离条件下信号传输质量的测试中,30米长度的光纤链路眼高和眼宽结果与1米长度的光纤链路基本一致,如图5的(1)和(2)。这表明信号的传输质量几乎不随光链路长度增加而衰减,这种优势是电互连传输技术所不具备的。

备注:眼高和眼宽是用于评估高速信号质量的两个重要参数,据此可直观地观察高速信号在传输过程中受到的噪声和抖动影响,从而评估信号的整体传输质量。

4.png

图4

5.jpg

图5(1)

6.jpg

图5(2)

PCIe协议仍在不断迭代,数据传输速率和功能不断提升,在服务器系统高速互连中的作用愈发关键。光互连传输技术通过提供更远的传输距离、更低的延迟和更低的功耗,克服了传统电互连的局限性。展望未来,PCIe光互连技术将在智算中心、大规模数据中心等领域发挥更大作用,为现代计算和数据通信领域带来更多创新和突破。