显卡只能玩游戏? 10年GPU通用计算回顾

表二 Vertex Shader顶点着色器单元的演进

Shader Model着色器模型快速发展

● Shader Model着色器模型快速发展

    传统的分离架构中，两种着色器的比例往往是固定的。在GPU核心设计完成时，各种着色器的数量便确定下来，比如著名的“黄金比例”——顶点着色器与像素着色器的数量比例为1：3。但不同的游戏对顶点资源和像素资源的计算能力要求是不同的。如果场景中有大量的小三角形，则顶点着色器必须满负荷工作，而像素着色器则会被闲置；如果场景中有少量的大三角形，又会发生相反的情况。因此，固定比例的设计无法完全发挥GPU中所有计算单元的性能。

    顶点着色单元（Vertex Shader，VS）和像素着色单元（Pixel Shader，PS）两种着色器的架构既有相同之处，又有一些不同。两者处理的都是四元组数据（顶点着色器处理用于表示坐标的w、x、y、z，但像素着色器处理用于表示颜色的a、r、g、b），顶点渲染需要比较高的计算精度；而像素渲染则可以使用较低的精度，从而可以增加在单位面积上的计算单元数量。在Shader Model 4.0之前，两种着色器的精度都在不断提高，但同期顶点着色器的精度要高于像素着色器。

    Shader Model 4.0统一了两种着色器，所以顶点和像素着色器的规格要求完全相同，都支持32位浮点数。这是GPU发展的一个分水岭。过去只能处理顶点和只能处理像素的专门处理单元被统一之后，更加适应通用计算的需求，应用程序调用着色器运算能力的效率也更高。

    DirectX 11提出的Shader Model 5.0版本继续强化了通用计算的地位，微软提出的全新API——Direct Compute将把GPU通用计算推向新的巅峰。同时Shader Model 5.0是完全针对流处理器而设定的，所有类型的着色器，如：像素、顶点、几何、计算、Hull和Domaim（位于Tessellator前后）都将从新指令集中获益。

    在这一过程中，着色器的可编程性也随着架构的发展不断提高，下表给出的是每代模型的大概特点。

GPGPU概念提出并付诸行动

● GPGPU概念提出并付诸行动

    对GPU通用计算进行深入研究从2003年开始，并提出了GPGPU概念，前一个GP则表示通用目的（General Purpose），所以GPGPU一般也被称为通用图形处理器或通用GPU。随着GPU Shader单元计算能力的不断增长，一场GPU革命的时机也成熟了。GPU已经从由若干专用的固定功能单元（Fixed Function Unit）组成的专用并行处理器，进化为了以通用计算资源为主，固定功能单元为辅的架构，这一架构的出现奠定了GPGPU的发展基础。

Shader单元运算性能不断增长

    在SIGGRAPH 2003大会上，许多业界泰斗级人物发表了关于利用GPU进行各种运算的设想和实验模型。SIGGRAPH会议还特地安排了时间进行GPGPU的研讨交流。与此同时，DirectX 9 Shader Model 3.0时代，新的Shader Model在指令槽、流控制方面的显著增强使得对应GPU的可编程性能得到了大大的提升。GPGPU的研究由此进入快车道。

    在众多GPGPU项目研究中最接近成功的是英国剑桥大学的BionicFx课题组。剑桥大学的BionicFx课题组便宣布在NVIDIA的Geforce FX 5900产品中实现了专业的实时音频处理功能，并且准备进行商业化的运作，对其产品进行销售，给音乐创作者带来实惠。

GPU所能涉及的领域正在迅速增加

    2004年9月份，剑桥大学的BionicFx课题组宣布在NVIDIA的最新GPU产品中实现了专业的实时音频处理功能，并且准备进行商业化的运作，对其产品进行销售，给音乐创作者带来实惠。现在，该解决方案命名为“音视频互换技术”（Audio Video EXchange，AVEX）。BionicFx的工作流程是：待处理的音频数据—〉转换成图形数据—〉GPU处理—〉处理后的图形数据—〉转换成所需音频数据。这说明AVEX实际上是作为虚拟硬件层在与GPU通讯，但GPU不仅是图形处理器，而是变成了一颗独立的数字信号处理器（DSP）。

    在计算机上进行专业音频处理或音乐创作时，专业人员的追求完美的精神和对各种音频插件的苛刻要求总是使得系统资源不够用，DSP不够强。然而高端设备的高昂价格往往令人望而却步。AVEX的出现无疑可能大大缓解这种窘境，因为它依托于浮点运算能力强大的GPU。这是目前所有资料中可查证的，并且是有详细记载地第一次大规模开发GPGPU通用程序并用于商业化运作。

ATI黄金架构与Folding@home接触

● ATI黄金架构诞生，Folding@home项目抛出橄榄枝

    DirectX 9.0c无可争议是我们经历过的所有图形API中最长寿和多产的一款，更长的指令支持与动态流控制，使得基于DirectX 9.0c的游戏具备前一代游戏无法比拟的真实感和幻想般的画质，甚至也为很多影视作品和其他图形领域提供了可以实现梦想的平台，GPU走进更多玩家的视野，也正是因为GeForce 6、GeForce7系列以及Radeon X1000等一系列经典显卡，和《极品飞车：变速》和《使命召唤4：现代战争》等经典游戏的出现。

    而后期的大量DirectX 9.0c游戏已经对Shader单元运算能力提出难以达到的要求，GPU必须适应游戏画面渲染发展趋势才能生存。根据ATI的研究，在2001年刚刚出现具备像素着色器的显示卡时，当时游戏的像素着色器程序中算术指令和纹理指令数量的比例在1:1左右，打这以后，算术指令的数量呈显著增加之势。

算术指令与贴图指令数量对比

    在2005年像素着色器程序中，平均每5条算术指令才会出现一条贴图指令，而这样的算术指令数量急剧增长趋势仍将继续保持下去。

    我们对于一条像素流水线定义是“Pixel Shader（像素着色器）+TMU（纹理单元）+ROP（光栅化引擎，ATI将其称为Render Back End）。从功能上简单的说，Pixel Shader完成像素处理，TMU负责纹理渲染，而ROP则负责像素的最终输出，因此，一条完整的传统流水线意味着在一个时钟周期完成1个Pixel Shader运算，输出1个纹理和1个像素。但是目前的情况是TMU纹理填充单元和ROP单元并没有成为GPU设计的瓶颈，反倒是更长更复杂的着色器程序指令让多个像素渲染管线感受到前所未有的压力。

    据此研究结果，ATI在代号R520的Radeon X1800核心上市之后果断推出了酝酿已久的增强型改进产品R580——Radeon X1900。在R580面世之后人们才知道，这颗核心早在RADEON X1800发布的时候就完成流片、取样等一系列的后期研发，几乎是进入生产阶段了。它相对于R520最大的改进之处就在于提供了三倍于前者的像素着色器算术计算能力，实现这一目标的方式是采用了3个Pixel Shader对1个贴图单元的方式。最后的开销仅仅是在晶体管数量只增加20%的情况下提供了相对R520 200%的Pixel Shader性能增长。

    Radeon X1900系列最终做到了3个Pixel Shader对1个贴图单元，将Pixel Shader单元数量从X1800的16个推升到48个。这一改动使得GPU运算能力空前强大，其高端产品RADEON X1900XTX的FP32精度像素运算能力达到374.4GFLOPS，如果再加上顶点着色器的话，RADEON X1900XTX的FP32计算能力总共会是426.4 GFLOPS——R580因此得名“3:1黄金架构”。大幅提升的运算能力除了提高了对像素着色器运算需求饥渴的游戏之外，也引起了另一方的注意，那就是斯坦福大学。

Folding@home项目蛋白质实时折叠示意图

    2006年由斯坦福大学化学系的潘德小组（Pande Group）主持的全球最大的分布式计算项目——Folding@home，逐步将眼光转向GPGPU领域。该项目可精确地模拟蛋白质折叠和错误折叠的过程，以便能更好地了解多种疾病的起因和发展，任何一台个人电脑都可以下载客户端参与。

    ATI在2006年8月惊人地宣布即将联手斯坦福大学在其Folding@Home项目中提供对ATI Radeon X1900的支持。在显卡加入Folding@Home项目后，科研进展速度被成倍提升，人们第一次感受到了GPU的运算威力。

    2006年10月2日，Folding@home项目公开发行供Windows系统使用的GPU测试版本，测试期间收到由450颗ATI X1900 GPU提供的31 TFLOPS运算性能，每颗显核平均运算运力为一颗传统CPU的70多倍。此后GPU客户端成为Folding@home项目中最耀眼的明星，GPU使用和CPU近乎相同的功耗，却提供了平均10倍于CPU的运算能力。GPU的Shader单元在经过了长期的演化之后，终于在GPGPU领域释放了其强大动力。

    该项目同时引来了全世界大量GPU高端玩家的参与，这是第一个可以让民用级别显卡开展大规模通用计算的尝试，也是目前最火爆的分布式计算项目。该项目在中国发展缓慢，主要是因为真正能理解GPU的玩家数量还是很少，甚至高端发烧友都对它一知半解。而事实上比较运算量可以得出，一款普通的9600GSO显卡的运算能力，已经远远超越一颗高端的4核心CPU。

    中国分布式计算总站作为一个公益性团体，一直在致力于各个分布式计算项目的推广，特别是属于生命科学类别的Folding@home项目。该项目中国团队代码为3213，有兴趣或者想提升技术的玩家，可以尝试参与该项目，为自己的GPU通用计算能力找到一个“发泄”的空间。

统一着色器架构释放GPU运算能力

● 统一着色器架构再次释放GPU运算能力

    Shader Model 在诞生之初就为我们提供了Pixel Shader（顶点着色器）和Vertex Shader（像素着色器）两种具体的硬件逻辑，它们是互相分置彼此不干涉的。但是在长期的发展过程中，NVIDIA和ATI的工程师都认为，要达到最佳的性能和电力使用效率，还是必须使用统一着色器架构，否则在很多情况下Pixel Shader计算压力很轻造成大量Pixel Shader单元闲置，Vertex Shader资源有限但遇到大量三角形时会忙不过来。也就是说不再区分Pixel Shader和Vertex Shader，最终设计出来的产品可以在任何API编程模型中都不存在任何顶点/像素着色器固定比率或者数量限制。

Vertex Shader和Pixel Shader的负载对比

    每一帧渲染中Vertex Shader和Pixel Shader负载压力几乎没有相关性，总是在出现资源闲置和资源紧缺，所以有必要使用统一着色器架构。

    在统一着色器架构的GPU中，Vertex Shader和Pixel Shader概念都将废除同时代之以ALU。ALU是个完整的图形处理体系，它既能够执行对顶点操作的指令（代替VS），又能够执行对象素操作的指令（代替PS）。GPU内部的ALU单元甚至能够根据需要随意切换调用，从而极大的提升游戏的表现。

    微软XBOX 360所采用的Xenos图形处理器，第一次引入了统一着色器架构，这个着色器架构包含了3个独立的着色器矩阵，每个着色器矩阵内有16个5D向量SIMD单元，这些SIMD单元既可以执行Vertex Shader也可以执行Pixel Shader，可以称之为符合DirectX9标准的统一着色器架构。随后NVIDIA推出的GeForce 8800 GTX使用了128个标量流处理器（Stream Processor）。在通用计算方面，GeForce 8800 GTX的统一架构比Xbox 360的C1更先进、更强大，这表现在标量设计、整个US和Shader簇内的MIMD化执行。

AMD历代着色器演进

    在GeForce 8800 GTX之后，AMD经过数月的延迟后推出了代号R600的RADEON HD 2900XT核心，这款产品和NVIDIA的新品一样使用了统一渲染架构，不同之处在于2900XT的64个SIMD着色器内包含了5路超标量（superscalar）的运算单元（ALU），我们习惯性称其拥有320个流处理器。组织形式方面，SIMD单元采用超标量+VLIW（甚长指令）设计，虽然从数量上看规模庞大（共拥有320个ALU，8800 GTX为128个），但是执行效率在实际运算特别是通用计算中会发生不可忽视地衰减。

    为方便讨论，在后文分析中，我们将更多地把着色器Shader称为流处理器Stream Processor。

CPU与GPU的设计方向决定运算能力

● 揭秘GPU为何如此强大

    近30年来，由Intel、IBM、SUN、AMD和富士通生产的通用CPU虽然有了很大发展，但性能提高速度却已经不能与上世纪八十年代末九十年代初相比。单线程处理性能在很大程度上受到了限制。这些限制一方面来自于通用计算程序中过低的指令级并行；另一方面来自于“功率墙（Power Wall）”——集成电路的功率消耗的物理限制。

    而GPU的用途已经远远超出运行游戏，我们买到的显卡其实是一块高性能加速器。特别是现在NVIDIA和AMD的显卡产品都体现出了极高的浮点运算能力，双精度浮点运算中的衰减也越来越小。

    举例说，在Folding@home项目中，一款中端显卡一天24小时可以计算10个左右的大分子蛋白质折叠，而一款酷睿2双核E7200处理器的一个核心在24小时内完成一个小分子包运算任务都非常困难。CPU和GPU在高密度多线程浮点运算中体现出的性耗比差异，相信大家已经非常清楚。在这一节，我们将着重分析GPU相对于CPU的架构优势。

    ● 两种架构设计方向不同

    CPU和GPU架构差异很大，CPU功能模块很多，能适应复杂运算环境；GPU构成则相对简单，目前流处理器和显存控制器占据了绝大部分晶体管。CPU中大部分晶体管主要用于构建控制电路（比如分支预测等）和Cache，只有少部分的晶体管来完成实际的运算工作。

CPU和GPU逻辑架构对比

    而GPU的控制相对简单，而且对Cache的需求小，所以大部分晶体管可以组成各类专用电路、多条流水线，使得GPU的计算速度有了突破性的飞跃，拥有了惊人的处理浮点运算的能力。现在CPU的技术进步正在慢于摩尔定律，而GPU（视频卡上的图形处理器）的运行速度已超过摩尔定律，每6个月其性能加倍。

    CPU的架构是有利于X86指令集的串行架构，CPU从设计思路上适合尽可能快的完成一个任务；对于GPU来说，它的任务是在屏幕上合成显示数百万个像素的图像——也就是同时拥有几百万个任务需要并行处理，因此GPU被设计成可并行处理很多任务，而不是像CPU那样完成单任务。

CPU内部架构

    当今CPU仅前端部分就非常复杂，指令解码、分支预测等部分消耗晶体管数量巨大。CPU的设计目标是不仅要有很高的吞吐量，还要有良好的应用环境兼容性，CPU所要面对的应用面远远超过了GPU。CPU是设计用来处理通用任务的处理、加工、运算以及系统核心控制等等的。CPU中包含的最基本部件有算术逻辑单元和控制单元，CPU微架构是为高效率处理数据相关性不大的计算类、复杂繁琐的非计算类的等工作而优化的，目的是在处理日常繁复的任务中应付自如。

    GPU设计的宗旨是实现图形加速，现在最主要的是实现3D图形加速，因此它的设计基本上是为3D图形加速的相关运算来优化的，如z-buffering消隐，纹理映射（texture mapping），图形的坐标位置变换与光照计算（transforming & lighting）等等。这类计算的对象都是针对大量平行数据的，运算的数据量大。但是GPU面对的数据类型比较单一，单精度浮点占到其处理数据的绝大多数，直到GTX200和HD 4800系列显卡才对双精度运算提供了支持。

两种架构运算能力不同

● 两种架构运算能力不同

    CPU的整数计算、分支、逻辑判断和浮点运算分别由不同的运算单元执行，此外还有一个浮点加速器。因此，CPU面对不同类型的计算任务会有不同的性能表现。而GPU是由同一个运算单元执行整数和浮点计算，因此，GPU的整型计算能力与其浮点能力相似。如果你仔细观察一个串行程序的运行结果，你就会发现与浮点计算能力相比，CPU的整数计算能力与GPU中流处理器的整型计算能力更接近，这是因为CPU的设计更侧重于整数计算能力。

    举例来说，一个3GHz的双核CPU每秒能完成60亿条整数指令，而NVIDIA的G80芯片，有128个工作频率为1.5GHz的流处理器，每个流处理器每个计算周期可以执行两条整数指令，把这些数据相乘的结果大约是每秒3500亿～3750亿条指令，这大概是CPU运算能力的50～100倍。GPU在整型计算方面并没有任何劣势。尽管不如在浮点计算方面优势那么大，但是GPU的整型计算能力几乎是CPU的100倍。

CPU与GPU芯片面积对比

    现在的CPU和GPU相比芯片规模也呈现出巨大的差异。从相关资料中我们可以了解到，GTX200使用台积电65nm工艺生产，集成多达14亿个晶体管，核心面积576平方毫米，是有史以来规模最庞大的图形芯片。45纳米Penryn家族处理器中的双核心版本内建4.1亿个晶体管，分析图片我们可知其中约2亿个晶体管用于SRAM二级缓存。

    以当前高端GPU为例，AMD HD 4870拥有800个SIMD流处理器，是上一代产品的2.5倍，晶体管总数为9.65亿个，同时它是首款浮点运算能力超过1TeraFLOPS（1000GFLOPS）的GPU芯片。NVIDIA GTX280则使用MIMD流处理器架构，拥有240个SP单元，浮点运算效率出众，分支能力强大。HD 4870和GTX280的并发可执行线程数同样达到了30720条，而CPU在正常情况下可执行线程数是与核心数目相等的，具备超线程技术的四核I7处理器也只能同时运算8条线程。所以在大规模的多线程运算中，GPU可以体现出上百倍于CPU的运算能力。

    凭借强大的可编程流处理器阵容，GPU在单精度浮点运算方面将CPU远远甩在身后。以我们现在最顶级的英特尔Core i7 965处理器来说，在默认情况下，它的浮点计算能力只有NVIDIA GeForce GTX 280 的1/13，与AMD Radeon HD 4870相比差距就更大了。当然这里仅仅是理论峰值，也就是说当GPU的所有流处理器都满载时得到的运算能力。

GPU双精度能力和存储子系统

● GPU逐渐强化的双精度运算能力和存储子系统优势

    从GTX200和HD 4870系列显卡开始，两大厂商都提供了对双精度运算的支持。HD 4870集成的大ALU依靠ALU.transcendental电路来执行双精度浮点数据的运算，ALU.transcendental主要的作用是为了指令补完，每个时钟周期内能执行一个双精度乘加运算。因为可以每个周期能执行160条MULADD指令也就是说HD 4870的峰值双精度运算能力是单精度运算能力的四分之一，也就是240GFLOPS。但是在通常情况下，HD 4870的双精度性能会被看作是1/4或者1/2，因为人们在编写通用程序的时候，可能很少使用到ALU.transcendental，这时候程序就会表现出1/4的单精度 MULMAD 指令吞吐率或者1/2的单精度ADD指令吞吐率。

    GTX200核心的每一个SM都包括了一个双精度64Bit浮点运算单元，这个单元就是SFU（Special Function Unit，特殊功能单元）。这个处理单元可以用来辅助SP单元处理特殊的函数运算、插值属性的顶点+像素着色、执行浮点乘法运算指令（MUL）。GTX200芯片中的SFU单元已经不像G80时代的线程调度器，而是具备完整的线程发放能力，支持单周期一个乘加+一个连加运算。所以GT200的双精度运算性能衰减是单精度的1/8。这样GTX200就相当于一个30核心的双精度64Bit处理器。根据资料计算，GTX280峰值双精度64Bit浮点运算能力大概在90GFLOPS左右。

运算能力对比

    目前困扰GPU厂商的一个主要问题还是周边资源特别是共享寄存空间的不足，因为双精度运算寄存器系统消耗最大，这里的寄存器即缓存，NVIDIA称之为Shared memory，AMD称之为LDS（Local Data Share）。这个共享寄存器位于每个流处理器单元内部的所有运算单元中，它在通用计算时负责共享数据和临时挂起线程。

    共享寄存空间的提升需要半导体工艺的强大支持，因为这部分缓存和CPU一样使用6T SRAM晶体管，SRAM的每一个比特位需要占用6个晶体管，存储密度较低，1MB容量的二级缓存就需要占用5000万个晶体管，这是一个相当惊人的数字。目前在CPU的逻辑分布中，二级缓存占据的硅芯片面积甚至大于运算核心。在晶体管数量已经相当庞大的GPU（如GTX 280集成度多达14亿个晶体管）中，要集成大量的缓存更是难上加难。

6T-SRAM晶体管构成缓存

    容量足够大的共享缓存可以在运算时提高线程的挂起能力，这将直接提升GPU的分支运算能力。同样大容量的缓存在运算精度提升时可以确保更低的性能衰减，届时GPU将拥有更强的双精度能力，理论上会和其单精度运算能力一样远超CPU。这样的直接后果是让GPU更加适应混合精度环境，让通用计算走得更远。

    如未来的DirectX 11强制要求每组流处理器拥有32k大小的共享寄存空间，正是为了加强GPU的双精度运算能力。又如2008年12月，另外一个重要的分布式项目SETI@home宣布正式利用CUDA平台支持显卡计算。SETI的重要研究方向，就是从天球背景中接收到的无线电中滤掉杂音。这种降噪运算必须依赖混合精度，而GPU支持这种运算的前提就是拥有稳定和强大的混合精度运算能力。

    GPU运算相对于CPU还有一项巨大的优势，那就是其内存子系统，也就是显卡上的显存。当前桌面级顶级产品3通道DDR3-1333的峰值是32GB/S，实测中由于诸多因素带宽在20 GB/S上下浮动。HD 4870 512MB使用了带宽超高的GDDR5显存，内存总线数据传输率为3.6T/s或者说107GB/s的总线带宽。GTX280使用了高频率GDDR3显存，但是其显存控制器支持的位宽达到了512bit，搭载16颗0.8ns GDDR3显存，带宽高达惊人的142GB/s。而主流GPU普遍拥有40-60 GB/s显存带宽。存储器的超高带宽让巨大的浮点运算能力得以稳定吞吐，也为数据密集型任务的高效运行提供了保障。

    目前GPU已经是足够强大的可编程处理器，非常适合大运算量的科学应用，诸如地质勘探，生物学，流体力学，金融建模等等。这使得GPU应用于地球科学、分子生物学和医学诊断领域的高性能计算为实现重大的发现提供了可能，这些发现会改变数十亿人的生活。

GPU架构设计导致的运算能力差异

● GPU架构设计导致的运算能力差异

    GTX280总共拥有十个流处理器阵列，每个阵列内部拥有8×3=24个流处理器，其中每8个为一组构成SIMT（单指令多任务架构），并共享16K指令缓存，三组SIMT共享一级缓存。这样的标量流处理器设计适合执行高度并行化指令，无论对于传统的图形渲染，还是物理加速运算、大规模数据处理都游刃有余。HD 4870同样不干落后，800个高度优化的流处理器由160个Stream Processing Units构成，每个流处理器单元的“1大4小”结构包括一个全功能SP单元和4个能执行乘加运算的SP。同样拥有可怕的理论运算能力。

图解SIDM与MIMD区别

    需要注意的是两家图形芯片厂商设计的产品的实际性能并不能用理论峰值性能来推算。比如AMD的SIMD+VLIW结构流处理器由于架构因素几乎无法做到所有SP单元满载，主要原因是科学运算类的指令段没有相当多的天然4D指令。SIMD最大的问题是程序数据必须一致，也就是说当你同时操作5D（4D+1D）数据的时候，这5D数据必须在同一个数据流程中，5D的相关性是默认的。同时条件分支数目庞大，所以导致R600和RV770的架构性能相比NVIDIA产品有更一定幅度性能衰减。

    Radeon HD 4870与GTX 280最明显的区别就是流处理器结构，Radeon HD 4870选择延续上一代非统一执行架构GPU产品的SIMD结构，用庞大的规模效应压制对手，偏向于ILP（指令并行度）方向，而GTX 280则使用了G80以来创新的MIMD架构，更偏重于TLP（线程并行度）方向。在单指令多数据流（SIMD）的结构中，单一控制部件向每条流水线分派指令，同样的指令被所有处理部件同时执行。另外一种控制结构是多指令多数据流（MIMD），每条流水线都能够独立于其他流水线执行不同的程序。

NVIDIA和AMD使用了两种不同的流处理器架构

    其实在上一代非统一执行架构GPU中（如Geforce 6800 Ultra），顶点着色器流水线已经使用了MIMD方式控制，像素着色器流水线则继续使用SIMD结构。MIMD能比较有效率地执行分支程序，而SIMD体系结构运行条件语句时会造成很低的资源利用率。TLP要求强大的仲裁机制，丰富的共享cache和寄存器资源以及充足的发射端，这些都是极占晶体管的部件。不过SIMD需要硬件少，这是一个优势，这也就是为什么Radeon HD 4870拥有800个流处理器，晶体管集成度却低于240个流处理器的GTX 280。

    此外在高密度并行运算中，AMD的R600和RV770的发射端资源面临一定程度的短缺。以RV770（Radeon HD 4870）为例，每个流处理器单元（“1大4小”5个流处理器）配备了1个发射端，所以如果要保证指令吞吐不受限制就通过VLIW，也就是超长指令打包的形式将若干个短指令打包在一起。VLIW应用在RV770中理论上可以做到1个4D+4个1D打成一个包一起丢进US，这样可以最大限度的避免发射端不足的问题。可是如果遇到条件分支，也就是说这个包里面有一个1D指令的结果很不凑巧是同一个包里另外一个1D指令的初始条件，整个架构的效率会受到影响。

GPU流处理器架构对比

    还有一个不可忽视的问题是最小线程执行粒度。粒度越细，能够调用并行度来进行指令延迟掩盖的机会越大，性能衰减越小。细化粒度偏向TLP方向，对GPU的线程仲裁机制要求很大，最终会导致硬件开销过大。我们知道GPU通用计算中最小的执行单位是线程（Thread），多个线程会被打包成一个线程束，NV称线程束为Warp，AMD称之为Frontwave。但是在粒度上两家厂商做出了不同的选择，Frontwave包含64个线程，NV的线程管理粒度更小，每个Warp包含32个线程。R600和RV770每凑够64个线程，仲裁器就会动作一次，把一个Frontwave发送给空闲的一个SIMD Core。NV的G80和GT200比较特殊，存在Half-Warp，也就是说每16个线程就可以发送给SM一次。Half-Warp由线程中的前16个线程或者后16个线程组成。

    总体来说，两家厂商的差异在于：AMD堆砌了更大规模的运算器单元，NVIDIA则更注重如何利用有限的运算器资源。AMD将更多的晶体管消耗在大量的SIMD Core单元上，NVIDIA则将更多的晶体管消耗在仲裁机制、丰富的共享缓存资源和寄存器资源以及充足的发射端方面。AMD的GPU偏向于ILP结构，NVIDIA偏向于TLP结构。TLP（线程并行度）考验线程能力和并行能力，ILP（指令并行度）则考验指令处理。从G80和R600的对垒开始，两大图形芯片厂商一直延续着这种竞争思路。

Fermi GPU架构带给我们的思考

● Fermi GPU架构带给我们的思考

    在经过漫长的4年开发期之后，众望所归的Fermi架构GPU终于诞生，这款GPU身上凝聚了众多“第一”，打破了很多芯片设计的世界记录。有人说Fermi拥有强大的Tessellation细分曲面单元，也有人说Fermi拥有高倍的AA特性，而实际上这都只是Fermi架构的毛皮，或者说在图形领域的一些细微改进。实际上Fermi的真正提升在于架构代差……

    NVIDIA的Tony Tamasi先生（NVIDIA公司高级副总裁，产品与技术总监）表示：“以前的G80架构也是非常出色的图形处器。但Fermi则是一款图形处理同样出色的并行处理器。” 这句话揭示了Fermi的与众不同，它已经不再面向图形领域设计了，因为更广阔的通用计算市场在等待它。Fermi将为通用计算市场带来前所未有的变革，图形性能和游戏被提及已经越来越少。

    诸如曲面细分之类的东西在未来更长一段时间内将逐渐淡化，因为那些不过是体现了一个公司对微软历代DirectX要求的理解和按图索骥的能力罢了。真正体现水平的是运算单元部分，是每一个运算器的构成和组织方式。

    如果说从G80身上已经看到了GPU迈入通用计算领域的影子，那在代号GF100的Fermi身上，你能更多地找到CPU的烙印Fermi的cache，并行kernel，分支论断，warp级的乱序执行，都已经远远超越GPU的意义。它们消耗了Fermi大量的晶体管资源，而有些设计甚至是和图形运算完全无关或者说不能提高图形性能的。

Fermi架构设计图

    这篇文章写在Fermi发布之前，鉴于文章篇幅有限，且未来我们将给出Fermi架构的细节分析，所以在这里简单说明一些Fermi的设计新方向和新特性：

    1、更大更全的缓存体系：GF100核心和上一代GPU相比，除同样拥有12KB的L1纹理缓存之外，其拥有真正意义的可读写L1缓存和L2缓存。GF100核心使得GPU中首次出现了64KB的RAM支持可配置的shared memory和L1缓存。

    Shared memory可以解决一部分程序的问题，但是不能解决所有的问题。一些应用程序天然需要shared memory，有些应用程序则需要缓存cache，有的既需要shared memory也需要cache。优化的内存设计可以既提供shared memory也提供cache，可以让程序员根据自己的需求来做选择。Fermi的SM单元比过去大得多，所以每个SP独享的shared memory可以减少，可通用的资源也就更多了，这些改进全靠缓存的引入。

    为GPU引入缓存也意味着风险，首先缓存的可读写性带来了很多问题，它包括缓存一致性协议，这需要用复杂的逻辑进行控制。其次缓存的命中率等问题需要NVIDIA着手解决，如果缓存的命中率过低，引入缓存将带来数据读写减速。同时还不得不考虑缓存引入的大量晶体管开销（前文已经分析）。

    2、底层计算单元不断改进：毫无疑问，G80到 GT200以来，NVIDIA的MIMD架构流处理器设计一直是图形芯片中效率最高的，虽然它很耗费晶体管，但是以最后实际性能衡量，还是和划算的。这次Fermi延续了这种设计，但是在计算单元和周边资源方面做了扩充，更高的精度和更小的衰减是永远的目标。

    Fermi所支持的FMA指令在做乘运算和加运算的时候只在最后运算的时候作一次舍入，不会在执行加法的时候就出现精度损失。其次Fermi架构为支持双精度浮点运算进行了特别设计每一个SM在一个时钟周期内可以完成16个双精度浮点数的FMA操作。同时大量原子操作单元和L2缓存的使用，大大增强了Fermi GPU架构中的原子操作能力。

    3、更强大的线程调度能力和分支论断：在Fermi上的一个重要特性，就是它的双层分布式调度机制。在片上的层面（SPA Streaming Processor Array，流式处理器矩阵级别），全局的分布式线程调度引擎（global work distribution engine）分发block到每一个SM上，在SM层面，每一个warp分布式调度引擎按照32个线程为一个warp执行。

    Fermi实现了SM级别的双发射，意味着SPMD（单线程多任务）的实现。并行kernel下到最底层实际上就是靠的SM级别的双发射。SM级别的SPMD上升到GPU核心级别，Fermi就是MPMD（多线程多任务）。这种设计已经越来越像CPU，而且随着GPU的发展，每走一步，就多像一份。

    PTX是NVIDIA针对支持并行线程处理器运作而设计的低级虚拟机和ISA，当程序执行之前，PTX指令会被GPU驱动转译为GPU的本机代码。Fermi所支持的PTX 2.0 ISA为所有的指令提供了predication（论断）支持，使得这个特性可以更容易、更快地去执行条件语言。在Fermi中为这一功能的初步实现提供了一个独立单元，它和仲裁器、Atomic单元的地位一样重要。分支论断只能算是分支预测的雏形或前身，但这种功能在以前的GPU上是可望而不可及的。

GPU通用计算正在飞速发展

● GPU通用计算正在飞速发展

    因为具备强大的并行处理能力和极高的存储器带宽，GPU如果被抽象成一个“流处理器”（Stream Processor），来用于诸如科学运算、数据分析、线性代数、流体模拟等需要大量重复的数据集运算和密集的内存存取的应用程序，那么我们就能获得比CPU强悍得多的计算能力。

GPU应用在各种领域，提供了不可思议的加速比

    巨大的运算能力让人们对GPU充满期待，似乎在一夜之间，GPU用于通用计算（General Purpose GPU）及其相关方面的问题成为一个十分热门的话题。视频编码应用，比CPU快18倍；期货风险控制系统，整个系统性价比提升9倍；医疗行业应用，CT立体化且提速20倍；地理信息系统应用，速度提升可达50倍；生命科学研究，等待时间缩短12倍；矩阵计算以及仿真能力，比CPU快17倍……一个以GPU为中心的高效运算平台正在向我们走来。

    2009年10月29日，国防科技大学成功研制出的峰值性能为每秒1206万亿次的“天河一号”超级计算机在湖南长沙亮相。我国成为继美国之后世界上第二个能够研制千万亿次超级计算机的国家。天河一号采用6144个Intel通用多核处理器和5120个AMD图形加速处理器GPU，其中GPU的型号正是大家熟悉的ATI上一代高端GPU产品HD 4870X2。截止2009年11月17日，“天河一号”超级计算机在第34届TOP500榜单中排名第五，这也是中国超级计算机目前为止达到的最高排名成绩。

GPU通用计算的基础与周边

    在此之前，GPU系统在全球高性能计算机TOP500排行榜中最好的成绩是第29位，运算速度为77.48TFLOPS——东京大学的Tsubame超级计算机。构成这台计算机的主体是GPU，由170个NVIDIA Tesla S1070 机架式单元组成。东京工业大学全球科学资讯和计算中心总监Satoshi Matsuoka博士曾公开表示，他打算使用GPU在2010年打造出一台荣登世界最快榜单的计算机。

    GPU一直在促进游戏画面的进步，客观上造就了自身强大的性能，最终走上了和图形计算完全不相关的领域，并成为一颗新星。不要不相信你的眼睛，GPU通用计算这些年来的发展正所谓无心插柳柳成荫，强大的Shader着色器资源最终转化为大规模并行计算的流处理器。

    基于GPU通用计算的实例已经越来越多地出现在我们的生活中。在接下来的几年里，GPU将越来越多地被大型计算所采用。GPU拥有超高的计算密度和显存带宽，足以支持这种计算性能的增长，终将成为超级计算机中极其重要的动力源泉。读者或许很难想象手中的这块显卡搭载的GPU在超级计算领域中，现在已经成为高性能、低能耗并且是人们买得起的大规模并行处理器。

———————————————————————————

本文参考文献：

[1] 抛弃CPU 迎接 GPGPU计算新时代
[2] 从平民到皇帝 NVIDIA产品14年发展回顾
[3] 虚拟世界由此开始 追逐3D世界的脚步
[4] 3D游戏的盛宴：DirectX10深入剖析
[5] 16毫米攻防战 RADEON HD 4850测试报告
[6] GPU，颠覆的不仅仅是视界
[7] 改变翻天覆地 史上最全Fermi架构解读
[8] GPU高性能计算之CUDA