● NVLink到底link了谁

    在解析NVLink技术之前，简明的总览介绍是必须的。简单来说，这是一个能够在GPU-GPU以及GPU-CPU之间实现高速大带宽直连通讯的快速互联机制。

    NVLink基于点对点传输形式，编程模式与PCIE总线相同，作为基本传输单元出现的“block”(区块)包含八条通道，每条通道20Gbps，每个block合计带宽20GB/s，这一带宽数值已经大大超出了PCIE 3.0的水平。不仅如此，多个block还可以组合在一起来达到提供更高带宽或者连接更多设备的目的。

NVLink技术

    NVLink采用了中间接口(mezzanine connector)设计，这种接口多见于扩展子卡领域，著名的GeForce 7950 GX2以及GeForce GTX 295的两张PCB也是如此组装在一起的。这种接口能够提供更强的供电能力，但缺点是接口形式与PCIE不兼容，必须针对需求单独设计。这种不兼容还带来了一个麻烦，初期NVLink的部分指令和通讯过程仍旧要依赖PCIE，所以设计者必须在两者之间设计必要的联系机制。

    NVLink的受众相当广泛，不仅可以依据不同需求完成GPU-GPU节点内部的高速互联，同时还能在GPU-CPU甚至CPU-CPU之间形成高速互联。它既可以像PCIE，也可以像QPI。所有多GPU并行工作的场合，无论是价值数亿美元的Tesla超级计算机集群还是桌面的SLI都将会从中获得更高的并行通讯带宽。与CPU直连的特性让其成为了未来沟通Denver和GPU架构，充当NV异构计算架构内部高速总线的备选互联方案。另外，它还能够在其他基于NVIDIA GPU+第三方CPU的异构并行计算架构当中充当互联方案。从作用上来看，它确实有取代PCIE总线的意味。

NVLink也可以作用于多GPU之间

    NVLink的出现其实颇为令人玩味，因为NVIDIA本身是PCI-SIG的成员之一，PCIE总线虽然近年来确实受人诟病，但其32G的双向带宽在满足现有硬件及常规应用的需求时似乎并不困难。究竟是什么因素促使NVIDIA在此时放下手中的工作，尽心尽力的去开发一款高速互联解决方案呢？

    来自NVIDIA自身的现实需求是NVLink出现的原因之一。早在2011年，NVIDIA便在CUDA4.0当中加入了GPUDirect2.0、Unified Virtual Addressing（CUDA UVA）以及Unified Memory Pool的概念，CUDA UVA允许多个GPU节点之间在一定程度上合并并共享彼此的显存空间，同时允许GPU直接访问并利用系统内存空间，这一系列操作都是通过PCIE总线来完成的。当某个GPU节点在应用中出现本地显存空间不足时（题外话：实际上单节点本地内存不足的现象在GPU大规模并行计算中相当常见，而且已经成了困扰并行化进程的一大瓶颈，亦即“存储墙”，无论NVIDIA的Tesla还是Intel的PHI都未能“免俗”，而包括3D memory技术在内的一系列堆叠式显存应用的出现，也有相当的应对该问题的意味。存储墙问题相对复杂，在此不多赘述。），它可以利用GPUDirect2.0特性，透过PCIE总线来使用和操作其他节点的显存以及系统主存。显而易见的，根据短板原则，即便此时系统主存还有其他节点显存的带宽能够达到几百乃至数千GB，该节点能够获得的有效带宽也依旧只能是PCIE总线带宽。越来越频繁的跨节点操作所催生的通信带宽需求，让NVIDIA有了开发NVLink来应对跨节点内存操作以及存储墙问题的需求。

受制于PCIE总线带宽的CUDA UVA

    翻越存储墙并不是催生NVLink的全部理由，强大的外部压力和竞争态势同样是NVLink诞生的重要诱因。这一强大的外部压力，来自Intel。