超越图形界限 AMD并行计算技术全面解析

表二 Vertex Shader顶点着色器单元的演进

产品：Radeon HD 4850 ATI 显示芯片

揭秘GPU高性能计算关键

    ● 揭秘GPU高性能计算关键

    高性能计算并不是纯数据吞吐，也不是纯计算密集型任务，它对计算机硬件拥有较为复杂的要求。所以单独提升单线程能力不能解决高性能并行计算需求，单纯堆积流处理器数量也无法适应未来的数据和指令环境。CPU和GPU都必须做出改变，但是我们明显能够感觉到GPU改变的代价小于CPU特别是X86架构的CPU。基本上每隔一年，GPU的架构体系就会发生一次转变，而每两代转变则代表计算能力的一次飞跃。

    有效地运用计算资源的财富要涉及到多个重要目标。首先必须合理组织计算资源，使得重要的数据和指令类型获得较高的加速比。同时大量提供计算单元还远远不够；必须实现高效的通信、高效的线程管理，充足的寄存器与前端资源……这样才有可能让流处理器尽可能地被数据填充而不浪费。我们将GPU高性能计算的关键分为以下几个部分来分析：

典型的CPU内部功能单元

    1、高效的计算方法

    GPU核心上可以放下上百个计算单元。为了计算的目的架构设计师必须最佳利用晶体管的关键是使致力于计算的硬件最大化，并且允许多个计算单元通过并行同时操作，而且保证各个计算单元以最大效率操作。

    虽然现在的半导体制程技术允许在单个芯片内放置大量晶体管以提升单核心性能或提升并行度，但资源不是无限的。我们可以广义地将晶体管的用途划分为3类：控制类（这些晶体管用于指挥操作）；数据通路（Datapath，这些硬件用来执行计算）；存储类（这些硬件用于存放数据）。

    在数据通路之内，可以允许在相同时间的并发操作。这种技术被称为并行性。我们可以构想几个方式以利用并行性和允许同时执行。复杂的任务比如图形处理，一般由几项连续的任务组成，当运行这些应用时，我们能够在不同的数据上同时运行几个这样的任务（任务并行性）。在一个阶段之内，如果在几个数据元素上执行一个任务，我们能够利用数据并行性同时对数据求值。而在一个数据元素的复杂求值之内，能够同时求值几个简单操作（指令并行性）。

Fermi架构GPU内部功能单元

    2、高效的通信方法

    GPU芯片外的存储器速度总是无法跟上GPU算术能力的增长幅度，所以作为一颗高性能处理器，GPU必须要想办法突破这道“存储器墙”，必须尽量减少芯片外通信以节能带宽降低延迟。为了逼近终极目标“消灭片外通信”，也就是尽量只在芯片内部进行数据通信，芯片外通信只用于获取或者保存真正的全局数据。

    在GPU内部加入Cache是一种有效的方式：最近使用的数据的副本可以由存储器传递到Cache中并根据替换协议不断更改。Cache由于对晶体管消耗较大，缓存协议难以实现，一直是GPU设计的重要障碍之一。比如在GPU上经过几代尝试已经成熟的Texture cache可以存放纹理，又如NVIDIA在G80架构中加入的Shared Memory和AMD在RV770架构加入的LDS（Local Data Share）。这个共享寄存器位于每个流处理器单元内部的所有运算单元中，它在通用计算时负责共享数据和临时挂起线程。容量足够大的共享缓存可以在运算时提高线程的挂起能力，还有很多东西比如乱序，分支等等都会受益于Cache的加入。

产品：Radeon HD 4850 ATI 显示芯片

CPU与GPU的区别和发展方向

    ● CPU与GPU的区别和发展方向

    GPU作为今天的高性能处理器在设计方面已经和以往的图形流水线有着不同的目标，它已经开始瞄准通用计算程序。一般来讲，这类程序相对于图形运算的并行度不是很整齐，甚至并行度有所下降，需要较为复杂的控制和较低的性能目标。

    CPU编程模型一般是串行的，在它们的应用程序中不会充分地利用数据并行性。CPU硬件反应了这种编程模型：在常见的情况中，CPU在同一时刻只处理一个数据，不利用数据并行性。而最近几年的SSE和最新的AVX指令集提高了数据并行执行能力，但是CPU所利用的并行程度还是远小于GPU。

    并行硬件在CPU数据通路中较不流行的一个原因是设计者把更多的晶体管用于控制硬件。CPU程序比GPU程序所要求的控制要复杂很多，多以CPU的晶体管和连线有很大一部分用于实现复杂的控制功能，如分支预测和乱序执行。结果CPU的核心只有很少一部分用于运算。由于CPU的目标是通用程序，所以它们不为特殊功能包含专门的硬件。而GPU可以为特殊任务实现专用硬件结构，这些固定功能单元远比通用可编程方案提供的效率高的多。我们可以从上一页的两张图片中看出CPU和GPU对晶体管的使用。

    最后，CPU内存系统被优化为极小的延迟而不是GPU内存系统瞄准的最大吞吐量。由于缺乏并行性，CPU程序必须尽快返回内存以继续前进。结果，CPU内存系统包含几级Cache以最小化延迟。然而Cache对很多数据类型是无效的，包括图形输入和只访问一次的数据。对于图形流水线，为所有元素最大化吞吐量而不是为所有元素最小化延迟，会提升内存系统的使用率和高性能计算的整体实现。

    每代新硬件对于GPU厂商来说都是一个挑战：他们如何有效地使用附加的晶体管资源来增加性能和功能？新的晶体管增量将致力于增加性能，但是架构师必须清醒地认识到这些晶体管该如何给运算单元、控制单元和存储单元分配以达到最佳效能。如果不能平衡这种压力，或者对未来的应用分析导致整个设计思路发生偏差，那么对于下一代GPU产品将是很严重的打击。

    GPU的功耗增长同样是可怕的问题，2003年上市的GeForce FX 5800 Ultra是第一款遇到功耗问题的GPU，或者说业界第一次感受到功耗问题的严重性。此后的大芯片设计还有Radeon X1900和DirectX 10时代的大部分芯片。ITRS从2003年开始大家力度关注功耗对于芯片设计的影响，而2009年的报告已经将逻辑器件的按比例缩小引起的漏电、短沟效应、材料适应性等问题列为半导体设计面临的严峻考验。而GPU作为数倍超越摩尔定律发展的大型芯片，其表现更加令人担忧。

几何与渲染代表了GPU的两大功能区

    在可编程性方面，虽然近几年的GPU设计已经足够多的照顾到了并行计算领域的需求，但是GPU的可编程性仍然较弱。从数量上说，统一渲染着色器（Unified Shader）和固定功能单元（Fixed Function）是GPU的两个主要部分，而大部分固定功能单元是无法可编程利用的。从深度来来说，虽然我们在NVIDIA新开发的Fermi架构中看到了统一定址和全能缓存等设计，但是GPU所能够涉及到的并行计算程序仍然需要使用专门的API和较为低级的语言开发，程序员对于运用GPU的缓存和其他特性仍然显得手足无措，更何况还要避免分支的出现和适应复杂的GPU存储体系。

    从发展历程来看，GPU已经包括了原先属于CPU的功能。早期的消费级图形硬件在图形处理器上甚至无法执行几何处理，今天已经能够借助固定功能单元来实现了。虽然GPU功能主要增加方向是图形流水线中的可编程性，但是GPU设计者仍然在把更多功能放在GPU上执行。尤其是今天的游戏需要大量的物理特效和人工智能计算或者图像后处理（Post Process）。这些计算任务在GPU上完成拥有更高的加速比，是相当有吸引力的。

    未来的高性能处理器市场将因为GPU的飞速发展变得更有看点，当GPU将越来越多原来在CPU上的应用转移到自己身上时，CPU也不会停滞不前。虽然它拥有较高的通用性，但是CPU的并行能力也在提升，这种提升不会停滞不前。未来CPU与GPU厂商的冲突将会愈演愈烈。计算机系统的资源分配是偏向CPU还是GPU？GPU是否会因为通用性的提高而替代CPU？还是CPU也变身为几百个核心的高能处理器来对抗GPU？这些令人兴奋的问题将会是未来处理器体系结构设计者面临的重要选择。

产品：Radeon HD 4850 ATI 显示芯片

如何将GPU功能单元映射为通用单元

    ● 如何将GPU功能单元映射为通用单元

　　基于GPU的计算从概念上讲很容易理解，并且现有多种高级语言和软件工具可以简化GPU的编程工作。但是开发人员必须首先了解GPU在图像绘制过程中是如何工作的，然后才能确定可用于计算的各个组件。为了着手把一般性的计算映射到GPU的专用硬件中，必须先确定GPU提供的各种计算资源，下面我们将简单了解GPU通用计算中各硬件系统的作用。以下资料由英国NVIDIA公司的开发工程师Mark Harris提供。

NVIDIA和ATI的GPU流处理器设计

　　可编程并行处理器：GPU有两类可编程处理器，即三角顶处理器和像素处理器。顶点处理器负责处理顶点数据流（由位置、颜色、标准向量和其它属性），它们是组成三维几何模型的元素。依据每个顶点相对于其视点的位置，顶点处理器用顶点渐变程序对其转换。

    像素处理器将像素渐变程序用于处理每个输出像素以确定其最后的颜色。顶点处理器和像素处理器是完全可编程的，可以对四个不同的数值同时执行一条指令。这是因为图形的基本要素或者是位置（X、Y、Z、W）或者是颜色（红、绿、蓝、alpha）。

ATI最为喜欢的SIMD结构流处理器

　　光栅处理器：在顶点处理器转换完顶点之后，每三个一组的顶点就用来计算一个三角形。从这个三角形出发，光栅处理器生成一个像素流。该光栅处理器的功能非常专一，就是表现这些三角形，因而不是用户可编程的，但可将它看成是一个地址内插器和一个数据放大器（因为它根据几个三角顶就可生成许多像素）。

    纹理单元：顶点处理器和像素处理器能以纹理（图像）的形式访问存储器。该纹理单元可被看成是一个只读存储器接口。当前的GPU可以将一个输出图像写到纹理结构存储器，而不是写到帧缓存器。这个纹理渲染功能是基本的，因为它是将GPU输出直接反馈到输入的唯一现有机制，这个过程无须返回到宿主处理器。纹理渲染可被看成是一个只写存储器接口。

本次Fermi架构显卡所使用的CUDA运算核心

　　数据类型：当涉及数据类型时，现有的GPU比CPU更受限制。它们只支持定点或浮点形式的实数。如果没有一些图形编程方面的知识，初涉GPU编程可能会感觉麻烦。在CPU和GPU之间做某些非常简单的类比是有益的。

　　GPU纹理 = CPU矩阵：GPU上的基本矩阵数据结构是纹理（图像）和顶点矩阵。在CPU上用到一个数据矩阵的地方，也就是在GPU上用到一个纹理的地方。

　　GPU渐变程序 = CPU内循环：在CPU中，一个循环可重复用于一个数据流（存在一个矩阵内）内的各个元素，用该循环体内的各条指令处理这些元素。在GPU中，类似的指令可写在一个渐变程序之内，并自动应用到相应数据流的所有元素上。在这个计算中并行处理的数量取决于该GPU中处理器的数量。

　　纹理渲染 = 反馈：为了在GPU中实现反馈，纹理渲染功能必须用来将一个碎片程序的结果写到存储器中，该存储器随后可用做未来其它程序的输入。

　　几何光栅 = 计算启动：为了启动GPU中的计算，只需画个简单的几何图形。顶点处理器将转换它，而光栅单元将决定它所涉及的输出缓存器中的像素值，并为每个元素产生一个碎片。由于表示一个矩阵的方形碎片流中的每个元素一般都要经过处理，因此在GPU编程中启动通用计算最常见的手段就是用一个方块。

产品：Radeon HD 4850 ATI 显示芯片

分支对GPU结构体系的挑战

    ● 分支对GPU结构体系的挑战

    分支和循环是最基本的流程控制，也是编程中最基本的概念。我们知道CPU是为单线程程序运行加速而设计的，GPU是为并行程序设计的。首先CPU是指令并行，只有指令间并行的架构才需要分支预测，而GPU是线程间并行，指令按顺序发射，没有分支预测。所以当GPU遇到分支问题时，性能会发生较大的变化，而且不同架构的性能变化幅度也不一样。

    GPU起初是为了3D渲染设计的，涉及到大量同类型平行数据计算，数据吞吐量很大，因此GPU内部包含了大量的核心（抑或叫处理单元）以满足这种需求；相反的，CPU设计侧重于通用应用，其中很大一部分晶体管用于逻辑控制单元和缓存，适用于繁琐的计算。例如CPU控制单元可以分支预测，推测执行，多重嵌套分支执行（if条件判断等等），而GPU计算的时候则将数据全部扔进着色器核心运算输出，GPU内没有流水线，因此无法实现乱序执行等技术，同时GPU的分支能力是靠线程挂起来实现的，换而言之是频繁的线程切换把分支延迟都给掩盖了。

    让我们通过一段简单的程序来了解分支的概念：

  If (a)
     b=f()
  else
     b=g()

一个典型的条件分支程序示意图

    CPU可以容易地基于布尔变量a来求f()或g()函数。这种分支的性能特征相对容易理解：CPU内有相对较长的流水线和专门的功能单元，因此CPU能够正确地预测是否会采用一个特定的分支。如果这个预测能够成功地完成，通常分支会导致较小的损失。

    而GPU没有这种功能单元，但是也可以进行分支运算的操作，而且分支在遇到不同结构的流处理器体系时表现的性能也是有很大差异的。在单指令多数据流（SIMD）的结构中，单一控制部件向每条流水线分派指令，同样的指令被所有处理部件同时执行。另外一种控制结构是多指令多数据流（MIMD），每条流水线都能够独立于其他流水线执行不同的程序。

    从GeForce 6800 Ultra开始，NVIDIA公司GPU内部的顶点着色器流水线使用MIMD方式控制，像素着色器流水线使用SIMD结构，而AMD则一直全部使用SIMD结构。MIMD能比较有效率地执行分支程序，而SIMD体系结构运行条件语句时会造成很低的资源利用率。不过SIMD需要硬件少，可以大量添加运算单元，这是一个优势。

在每一个VLIW Core之内都有一个分支单元

    GPU可以通过线程分配器+各种临时资源的挂起能力来完成动态的线程分配，一旦某线程当前无法完成就把它挂起而不用等着，等它可以被完成了再送去其他单元进行处理，这是周边资源充足之后可以很轻松实现的东西。GPU内部的每个处理单元都不会闲着，处理不来马上换下一个线程，但这不是标准的乱序执行。乱序要和流水线衔接的，使流水线没有空闲是其目的。GPU中每个SP都是一个1级流水线的东西，流水线只能满载。所以CPU的乱序执行技术是流水线防欠载的手段，而GPU则是处理单元防欠载。这种宏观上的动态的线程分配和挂起能力决定了GPU可以利用计算来掩盖存储进行分支操作。

产品：Radeon HD 4850 ATI 显示芯片

GPU与CPU将如何演绎融合与吞并

    ● GPU与CPU将如何演绎融合与吞并

    通用处理器（CPU）经过几十年发展，Intel、AMD脚步越来越慢，处理器性能提升越来越小。反观GPU潜力无限，性能提升空间巨大。CPU着重于通用运算，而GPU则对矩阵和并行运算更加在行，若是将这两者整合起来必定会带来处理器发展的新纪元。

    就一般通用处理器来说，在大规模并行处理方面性能远不如GPU。我们可以通过让GPU运行并行度高计算密集的程序，将GPU的优势发挥出来，使其性能得到大幅提高。从更深层次考虑，目前CPU性能提升遇到了各种各样的困难，除了难以攀升的核心频率之外，核心架构效率、核心数量都很难获得大幅提升。反观GPU就是一番不同的景象了，它的潜力还未被完全的挖掘，提升空间巨大。

    在这一部分我们着重分析3款跨时代的并行计算产品的特性和发展状况，而下一章节我们会深入分析其架构特点。

    首先要登场的是Larrabee芯片，这是一款由多个小型X86内核组成的并行计算处理器。它最早于2007年的秋季IDF提出，是Intel在X86架构与GPU类向量处理器架构之间做出精确衡量的产品。它的主要技术特色有X86架构核心、顺序执行单元和多核心技术与CSI总线等几大看点。Larrabee因为其可编程性优越，而特别被市场和用户所关注。

Intel对于未来计算趋势的认识

    Intel使用CPU经典原理和最新技术改良了传统GPU，使其集成了数目可观的X86核心，并采用顺序执行，同时辅以先进的CSI总线和高速存储系统，形成了Larrabee芯片概念。Larrabee芯片隶属于Tera-Scale项目，是一块融入的诸多先进技术的GPU。对于图形工业而言，Larrabee是一款具有革命意义的产品，它与常规的意义上的GPU存在理念上的差异，即Larrabee将通用计算性能放在优先位置。Intel高级副总裁Pat Gelsinger表示，Larrabee是一种可编程的多核心架构，采用顺序执行架构（CPU为乱序执行核架构），并使用经过调整的x86指令集，在运算性能上将达到万亿次浮点运算的级别。

    相对于传统领域，Fusion则是我们更关注的。早期的GPU是用类似OpenGL或Cg的图形API编程的，这些API很难且大多数开发人员也不熟悉。另外，由于GPU内部缓存远远小于CPU，它只能执行预定好的任务，并不能像CPU那样去执行自定义的任务。这个状况在NVIDIA和AMD的新产品上发生了很大转变，但GPU还是不能染指CPU的领域。基于这个原因，AMD认为NVIDIA不会马上成功，Intel在没有高端图形芯片时也不能威胁到自己，但面对未来应用，必须将CPU与GPU紧密结合，各取所长。

AMD对于Fusion APU融合架构的畅想

    2005年10月25日，在AMD收购ATI后，随即发表代号为Fusion(融合)的研发计划，Fusion预计将AMD的CPU与ATI的GPU整合在一起，同时也将北桥芯片也一并纳入。初期的Fusion将简单整合CPU与GPU到一个芯片中，最终产品CPU和GPU将彻底融合，互相使用其物理资源构成强大而特殊的逻辑芯片成为APU(Accelerated Processing Unit)。

    NVIDIA同样对并行计算市场充满期待并且在实践着自己的计划，今年推出的Fermi架构处理器就是其战略目标的重要一步。Fermi的众多特性，已经明明白白告诉用户，这不是仅为游戏或者图形运算设计的GPU，而是面向图形和通用计算综合考虑的成果。全局ECC设计、可读写缓存、更大的shared memory、甚至出现了分支预测概念……这次Fermi抛弃长期使用的“流处理器”称谓方式，更明确体现了NVIDIA的意图。

Fermi处理器架构要点

    代号GF100的Fermi设计方案在4年前确定下来并付诸行动，这时正值代号G80的Geforce 8800GTX做最后的出厂准备。G80凭借全新的MIMD（多指令流多数据流）统一着色器（又称流处理器）获得了业界的一致认同，同时被业界关注的还有G80的通用计算性能。NVIDIA的Tony Tamasi先生（NVIDIA高级副总裁，产品与技术总监）表示：“以前的G80架构是非常出色的图形处器。但Fermi则是一款图形处理同样出色的并行处理器。”从SIGGRAPH 2003大会首先提出GPU通用计算概念，到NVIDIA公司2007年推出CUDA平台，再到今天Fermi架构面向通用计算领域设计。越来越多的信号告诉我们，GPU通用计算是一片正在被打开的潜力巨大的市场。

产品：Radeon HD 4850 ATI 显示芯片

第四章：GPU内部计算实现细节

    ● 第四章：GPU内部计算实现细节

    从并行计算演变的角度来看，伴随着PC级微机的崛起和普及，多年来计算机图形的大部分应用发生了从工作站向微机的大转移，这种转移甚至发生在像虚拟现实、计算机仿真这样的实时（中、小规模）应用中。这一切的发生从很大程度上源自于图形处理硬件的发展和革新。近年来，随着图形处理器（GPU）性能的大幅度提高以及可编程特性的发展，人们首先开始将图形流水线的某些处理阶段以及某些图形算法从CPU向GPU转移。

    除了计算机图形学本身的应用，涉及到其他领域的计算，以至于通用计算近2～3年来成为GPU 的应用之一，并成为研究热点。GPU内部有众多参与图形计算的功能单元，正如我们在前文中看到的，其中大多数浮点单元由于具备可编程性而成为通用计算单元。在本章，我们将分析当前最受关注的几种GPU架构和这些架构中的晶体管分配差异和整数与浮点运算的实现情况。

单核心CPU，多核心CPU与异构计算发展阶段

    在SIGGRAPH 2003大会上，许多业界泰斗级人物发表了关于利用GPU进行各种运算的设想和实验模型。SIGGRAPH会议还特地安排了时间进行GPGPU的研讨交流。与此同时，DirectX 9 Shader Model 3.0时代，新的Shader Model在指令槽、流控制方面的显著增强使得对应GPU的可编程性能得到了大大的提升。GPGPU的研究由此进入快车道。2003年被认为是图形硬件被用来做通用计算的一个里程碑。大多数文献也认为GPU在2003年已经进入计算的主流．采用图形硬件来做通用计算的主要目的是为了加速，加速的动力来自这些新硬件所具有的以下主要优势：

    （1）一定的并行性：这一功能主要是通过多个渲染管道和RGBA 4个颜色通道同时计算来体现的，另外在一个时钟周期内可以同时获取2个甚至更多副纹理．顶点程序的多个渲染管道意味着一个时钟周期可以并行处理多个顶点，而对于像素程序同样如此．相对于并行机而言，图形卡提供的并行性虽然很弱，但它在十分廉价的基础上为很多应用提供了一个很好的并行方案，尤其是对于图形本身的应用来说。

    （2）高密集的运算：由于图形卡内部的内存接口位宽大于CPU上的位宽，如Radeon HD2900XT的内存位宽达512位，显然高于CPU上64或者双通道128位的位宽，这样整个计算的带宽大大提高．GPU相对于CPU来说，更适应传输大块的数据，虽然CPU上有Cache可以加速整个计算过程，但CPU上的Cache相对于图形卡显存来说太小，一般只有6MB左右，而现在的显存大多都在1024MB以上，最新的GPU中同样出现了768KB可读写缓存，由此可见一斑。

    （3）减少了GPU与CPU的数据通信：尤其是当整个应用针对图形生成的时候，不再需要在CPU与GPU之间进行多次数据交换，从而可以将CPU解放出来做其他的事情．这些优势使得GPU 比CPU更适用于流处理计算，因此GPU也被认为是一个SIMD的并行机或者流处理器，可以用于处理大规模数据集，使得应用得到加速。相比之下，CPU本质上是一个标量计算模型，而计算单元偏少，主要针对复杂控制和低延迟而非高带宽进行了若干优化。

X86架构CPU与GPU之间的异同

    现阶段我们看到了从R600到R800时代，ATI历经3年时间通过不断改进架构（放大规模与优化内部结构并重），获得了前所未有的浮点吞吐性能和业界最高的性能功耗比。同时我们通过NVIDIA设计的Fermi架构已经看到了GPU并行计算继续向前向更深入的领域发展，虽然第一代GF100核心由于受到了现阶段半导体工艺的限制并不十分完美，但是第二代GF104核心表现出色。

    Intel也抓紧一分一秒来推进自己的并行计算产品，几天前Intel对外发布了一款名为“Knights Ferry”的服务器处理器。该处理器使用了Intel当前最先进的32nm工艺技术，拥有数量庞大的32颗核心，主频也已经达到了较高的1.2GHz。据Intel总裁兼数据中心群组总经理Kirk Skaugen表示，“Knights Ferry”是目前Intel推出的最快处理器。通过我们对这款产品的分析得知，“Knights Ferry”正是就是束之高阁的Larrabee。

产品：Radeon HD 4850 ATI 显示芯片

GPU主要计算单元分布和职能

    ● GPU主要计算单元分布和职能

    为了把通用的计算映射在GPU的专用硬件上，我们应该首先熟悉GPU所提供的运算资源。在统一渲染架构提出之前，GPU内部有两种可编程处理器，分别是顶点处理器和像素处理器，在图形运算中我们将它们称为Pixel Shader（像素着色器）、Vertex Shader（顶点着色器）。由于目前ATI R600到R800架构一直在使用Pixel Shader（像素着色器）所代表的SIMD结构流处理器，而NVIDIA G80到GF100一直在使用Vertex Shader（顶点着色器）所代表的MIMD结构流处理器，所以我们借助一些图片来为大家拆分GPU着色器单元的原理。

    顶点处理器处理顶点流（由位置、颜色、法线向量和其他属性组成），这是组成多边形几何模型的元素。计算机图形一般用三角形网格来表示3D物体。顶点处理器应用一个顶点程序（也可以称为顶点着色器）根据相对摄像机的位置来转换每个顶点，然后每组3个顶点用来计算一个三角形，由此产生了片段流。

顶点如何表示三角形图元

    可以认为片段是“原始像素”，它包含的信息用来在最终图形中产生一个着色的像素，包括颜色、深度和在显存区内的目的地。像素处理器将一个片段处理器（也可以称作像素着色器）应用到流中的每个片段，用来计算每个像素的最终颜色。

    1、传统意义中的顶点处理器（MIMD结构）

    由于图形运算具备较高的并行度，所以GPU内部都有多个顶点处理器。这些处理器是完全可编程的，而且ATI和NVIDIA都选择了以MIMD并行的方式操作输入顶点。3D计算机图形基本图元是投射空间中的3D顶点，表示为一个四元组（x,y,z,w）的向量，四维的颜色存储为四元组（red,green,blue,alpha）的向量（通常缩写为R,G,B,A），其中Alpha一般表示透明的百分比。

    2、传统意义中的像素处理器（SIMD结构）

    和顶点处理器一样，GPU中也包含大量并行的像素处理器，这些处理器也是完全可编程的。像素处理器以SIMD的并行形式操作输入元素，并行地处理四维向量。像素处理器有能力获取来自纹理的数据，因此它们可以进行聚集。但是像素输出地址总是在像素处理之前，也就是说处理器不能改变像素的输出位置。因此像素处理器不能进行散布。

两种单元的组织形式

    这里所说的聚集（Gather）和散布（Scatter）是讨论在GPU上进行数据通信时提出的概念，它们是GPU两种主要的通信类型。聚集发生在当处理一个流元素时还需要其他流元素的信息，它聚集来自存储器其他部分的信息。另一方面散布发生在当处理一个流元素的时候把信息信息分布到其他流元素，它把信息“散布”到存储器的其他部分。

    现代GPU通用计算程序中，适应于SIMD结构流处理器的程序比MIMD结构要多，因此这种结构可以有效处理吞吐需求较量大的并行度较高的数据类型，但是一旦遇到分支等因素的影响，MIMD的衰减要明显小于SIMD结构，所以MIMD结构可以更好地使用复杂数据与指令结构。

    3、光栅器与纹理单元

    在顶点处理器转换顶点之后，每组3个顶点都用于计算一个三角形，从这个三角形产生一个片段的流。产生片段的工作由光栅器（ROP单元）完成，光栅器可以认为是一个地址插值器或者是一个数据放大器。光栅器的这些功能专用于渲染三角形，而且用户是不可编程的。

    像素处理器（TMU单元，由Texture Address 和Texture Filtering组成。翻译为：纹理定址单元和纹理拾取单元）可以以纹理的形式访问存储器。我们可以把纹理单元想象成一个只读的存储器接口，存储器读和写在GPU上是完全分开的。

产品：Radeon HD 4850 ATI 显示芯片

GPU内部通用计算代码运算过程

    ● GPU内部通用计算代码运算过程

    CPU与GPU在编程方面到底有哪些联系和区别，如何将原有CPU编程概念和GPU硬件概念相对应？相信这对于一位对GPU并不十分了解的程序员还是相当困难的，这一节我们通过对应传统的CPU计算概念和他们对应的GPU概念上做一些非常简单的类比来帮助用户理解这一点。

    GPU纹理=CPU数组：在GPU上的基本数据数组结构是纹理和顶点数组。对于GPGPU来说，SIMD结构的流处理器比MIMD结构流处理器更为易用同时拥有更高分值。在任何会在CPU上使用数据数组的地方，都能在GPU上使用纹理。

    GPU片段程序=CPU“内循环”：GPU的很多并行流处理器是它们的计算部件——它们在数据流上执行核计算。在CPU上，会使用一个循环来迭代流的元素，串行序列化地处理它们。在CPU的情况中循环内的指令是核。而在GPU上，在一个片段程序中写相似的指令，它们会被应用到流的所有元素。在这个计算过程中，并行数量取决于使用的GPU上有多少个流处理器，以及是否能够很好地利用GPU计算指令提供的四维向量结构的指令并行性。

    渲染到纹理=反馈：大多数计算在GPU内部被拆解为很多步，每一步都依赖前一步的输出。在CPU上这些反馈都是微不足道的，因为它的存储器模型是统一的，它的存储器可以在程序中的任何地方被读或者写。而GPU为了反馈，必须使用渲染到纹理这个过程，把片段程序的结果写入存储器，然后才可以把后面的程序输入。

    几何体光栅化=计算调用：为了执行一个程序，还应该知道该如何计算，而不止是数据表示、计算和反馈。为了计算调用，只需要绘制几何体。顶点处理器将会转换几何体，而光栅器将会决定它在输出缓冲区中覆盖了哪些像素，并为每一个像素产生一个片段。在GPGPU中，一般处理片段的矩形流中的每个元素，他们表现成一个栅格。因此在GPGPU中编程最常见的一个调用是一个四边形。

　　在绘制图像时，GPU首先接收宿主系统以三角顶点形式发送的几何数据。这些顶点数据由一个可编程的顶点处理器进行处理，该处理器可以完成几何变换、亮度计算等任何三角形计算。接下来，这些三角形由一个固定功能的光栅器转换成显示在屏幕上的单独“碎片（fragment）”。在屏幕显示之前，每个碎片都通过一个可编程的碎片处理器计算最终颜色值。

　　计算碎片颜色的运算一般包括集合向量数学操作以及从“纹理”中提取存储数据，“纹理”是一种存储表面材料颜色的位图。最终绘制的场景可以显示在输出设备上，或是从GPU的存储器重新复制到宿主处理器中。

两向量相加的简单Brook代码示例

　　图为执行两向量相加的简单Brook代码示例。Brook支持所有带附加流数据的C句法,流数据存储于GPU的存储器中，而核函数也在GPU上执行。可编程顶点处理器和碎片处理器提供了许多相同的功能和指令集。但是，大部分GPU编程人员只将碎片处理器用于通用计算任务，因为它通常提供更优的性能，而且可以直接输出到存储器。

　　利用碎片处理器进行计算的一个简单例子是对两个向量进行相加。首先，我们发布一个大三角形，其所包含的碎片数量和向量大小（容纳的元素）相同。产生的碎片通过碎片处理器进行处理，处理器以单指令多数据（SIMD）的并行方式执行代码。进行向量相加的代码从存储器中提取两个待加元素，并根据碎片的位置进行向量相加，同时为结果分配输出颜色。输出存储器保存了向量和，这个值在下一步计算中可以被任意使用。

　　可编程碎片处理器的ISA类似于DSP或Pentium SSE的指令集，由四路SIMD指令和寄存器组成。这些指令包括标准数学运算、存储器提取指令和几个专用图形指令。

产品：Radeon HD 4850 ATI 显示芯片

认识GPU浮点计算精度

    ● 认识GPU浮点计算精度

    DirectX 9.0时代提出的Shader Model 2.0最重要的一点改进是增加对浮点数据的处理功能，以前GPU只能对整数进行处理，改进后提高渲染精度，使最终处理的色彩格式达到电影级别。Shader Model 2.0时代突破了以前限制PC图形图象质量在数学上的精度障碍，它的每条渲染流水线都升级为128位浮点颜色，让游戏程序设计师们更容易更轻松的创造出更漂亮的效果，让程序员编程更容易。而从通用性方面理解，支持浮点运算让GPU已经具备了通用计算的基础，这一点是至关重要的。

    如果说DirectX 8中的Shader单元还是个简单尝试的话，DirectX 9中的Shader则成为了标准配置。除了版本升级到2.0外，DirectX 9中PS单元的渲染精度已达到浮点精度，传统的硬件T&L单元也被取消，在较低DirectX版本游戏运行时会使用VS单元模拟执行硬件T&L单元的功能。

浮点处理器能够统一执行多种任务

    后来统一渲染架构提出进一步提高了着色器的运算效率，Pixel Shader（像素着色器）、Vertex Shader（顶点着色器）和Geometry Shader（几何着色器），三种具体的硬件逻辑被整合为一个全功能的着色器Shader。程序员不必为了两种结构不同的着色器分别编写程序，GPU内部的可编程单元被抽象为浮点处理器（Floating Point Processor）。

    一个浮点数a由两个数m和e来表示：a = m × b^e。在任意一个这样的系统中，我们选择一个基数b（记数系统的基）和精度p（即使用多少位来存储）。m（即尾数）是形如±d.ddd...ddd的p位数（每一位是一个介于0到b-1之间的整数，包括0和b-1）。如果m的第一位是非0整数，m称作规格化的。有一些描述使用一个单独的符号位（s 代表+或者-）来表示正负，这样m必须是正的。e是指数。关于浮点数表示法，我们可以通过看下面的表达式来理解：

    Sign×1.matissa×2^{(exponent-bias)}

    我们可以将其套用在数143.5的表示上，这对应科学计数法的1.435×10²。科学计数法的二进制表示是1.00011111×2¹¹¹。因此底数被设为00011111（前导的1被省略），将指数偏移127来存储（由特定的浮点格式标准设置），也就是10000110。

    不同的浮点格式用不同的位数来表示底数和指数，例如IEEE754标准中，一个32位单精度浮点数有一个符号位、一个8位的指数和一个23位的底数。底数和指数占有的位数决定了我们可以多精确的表示一个数字。对于143.5用IEEE754可以精确表示，但是如果浮点位数过多如143.98375329，就只能被取到143.98375，因为底数只占23位。

    今天的GPU已经能够表示IEEE754标准提出的单精度32位和双精度64位浮点数。IEEE单精度格式具有24位有效数字，并总共占用32位。IEEE双精度格式具有53位有效数字精度，并总共占用64位。在这里基本浮点格式是固定格式，相对应的十进制有效数字分别为7位和17位。基本浮点格式对应的C/C++类型为float和double。

    但是在以前，确切说是DirectX 9.0时代伊始，GPU还是要通过一代一代的改进才能表示更精确的浮点数。在R420和NV40竞争的时代，在速度和画质选择上，ATI选择了延续FP24+SM2.0的DirectX解决方案，而NVIDIA选择了经历过NV30尝试后成熟的FP32+SM3.0的解决方案。所以我们可以通过当时的GPU硬件浮点精度来看他们表示数字的实际效果，在这里我们还是表达143.98375329：

    虽然在图形运算中32位单精度甚至是16位半精度已经完全足够使用，但是在面向通用计算设计的GPU中，由于需要的数据量巨大，往往只有在采用双精度甚至更高精度时才能获得可靠的结果，所以更为可靠的计算精度一直是GPU设计者不断追求的目标。但是精度提高意味着运算速度的下降，所以每一代GPU架构更新都意味着更大的寄存器和内部实现方式在高精度运算中能够获得更好的加速比。

产品：Radeon HD 4850 ATI 显示芯片

整数运算能力与未来融合架构

    ● 整数运算能力与未来融合架构

    在图形运算中，整数单元可以用来处理整数纹理过滤。纹理过滤包括两部分，一是抗失真，二是抗溢出。CPU一开始不会浮点运算，过去的CPU寄存器资源全部都是给整数单元。但是在整数运算方面，目前INT单元在通用计算中的效用不是非常明显，首先科学运算中涉及整数的场合本身就远没有浮点多，其次在这个基础上，CPU的整数一直都是很传统的保留项目。

    整数单元的构成并不是GPU的性能瓶颈，但是在GPU的运算性能中，整数能力也是非常重要的环节，如果设计者忽视了这一点，将在通用计算中给GPU带来严重性能短板。比如说在穷举算法为主的密码学中几乎没有浮点密码，整数运算能力直接影响到GPU的运算效率。

    OpenCL和DirectCompute两大API的推出让GPU并行计算的前途豁然开朗，此时ATI和NVIDIA在接口标准方面又重新站在了同一起跑线上。那么很显然AMD在目前GPU通用计算不能单独和NVIDIA抗衡的情况下，所选择的战略是借助于全新的API使得CPU强化整数GPU接管浮点。

Bulldozer核心架构

    AMD同时拥有CPU和GPU，而且NVIDIA和Intel都没有同时驾驭这两种差异度极高的产品线的能力，因此其未来发展规划非常值得大家思考。其下一代的高端CPU核心Bulldozer（推土机）最大的亮点就是每一颗核心拥有双倍的整数运算单元，每个单元4条并行流水线，整数和浮点为非对称设计。Bulldozer还将加入128-bit的SSE5指令集支持，达到更高的执行效率，估计还将会增加CPU寄存器数量，为单指令多数据流技术（SIMD）运算提供更多的空间。

    这种设计使得浮点计算的重任开始向GPU倾斜，未来的CPU将专注整数运算能力，而如果用户需要大量的并行浮点计算，可以选择使用外置的加速卡（GPU通用计算产品）来实现。

AMD异构运算平台

    在一个推土模块里面有两个独立的整数核心，每一个都拥有自己的指令、数据缓存，也就是scheduling/reordering逻辑单元。而且这两个整数单元的中的任何一个的吞吐能力都要强于Phenom II上现有的整数处理单元。Intel的Core构架无论整数或者浮点，都采用了统一的scheduler(调度)派发指令。而AMD的构架使用独立的整数和浮点scheduler。

    AMD认为CPU和GPU谁也不可能取代谁，双方是互补的关系，只有CPU和GPU协同运算，各自去处理最擅长的任务，才能发挥出计算机最强的效能。从CPU漫长的发展历程来看，它会延续一路不断整合其他功能单元的道路来整合GPU，但仅限中低端产品，而且这种整合不是吞并，而是提高CPU的浮点运算性能；GPU会取代CPU进行浮点运算，但它仍然需要CPU来运行操作系统并控制整个计算机。

    实际上自从2006年收购ATI以后，AMD便开始将更多精力放在一些特殊功能的电路元件上，尤其是图形处理技术。这是以前ATI的主业，ATI从R520架构开始提供的视频编码和解码技术非常出色。AMD很快在该部门中使用了所谓的“异构计算”（heterogeneous computing）技术。联系到AMD在8月16日推出全面支持OpenCL 1.1 的 ATI Stream软件开发包 (SDK) 2.2版，借助正在执行的Fusion的战略，AMD明年将首次在单芯片中实现异构计算技术。

产品：Radeon HD 4850 ATI 显示芯片

GPU存储体系特点与变化

    ● GPU存储体系特点与变化

    GPU存储体系是GPU的显著优势，当然从某一方面讲也是GPU的明显劣势。其优势是可以借助显卡PCB上焊接的GDDR3或者GDDR5显存，加上GPU内部充足的显存控制器资源获得CPU无法比拟的带宽，劣势是GPU没有足够大的Cache，并且存储体系构成与管理方式相对于CPU来说还是过于简单。

    相对于串行CPU的主存储器、Cache和寄存器，图形处理器具有他们自己的存储体系结构。然而，这个存储器体系结构是针对图形加速操作设计的，适合于流式编程模型，而不是通用串行的计算。而且图形API进一步将这个存储器限制成为只能使用图形专用的图元、如顶点、纹理和显存。

CPU与GPU存储体系简析

    上图演示了简单的CPU和GPU存储体系结构。GPU的存储器系统建立了现代计算机存储体系的一个分支。GPU和CPU类似，它也有自己的Cache和寄存器来加速计算中的数据访问。然而GPU自己的主存储器也有它自己的存储器空间——这意味着在程序运行之前，程序员必须明确地把数据复制写入GPU存储器。这个传输传统上是很多应用程序的一个瓶颈，但是新的PCI-Express总线标准可能使存储器在CPU和GPU之间共享数据在不远的未来变得更为可行。

    具体到显存带宽方面，当前桌面级顶级产品3通道DDR3-1333的峰值是32GB/s，实测中由于诸多因素带宽在20GB/s上下浮动。HD 5870 1024MB使用了8bit预取位带宽超高的GDDR5显存，内存总线数据传输率为150GB/s的总线带宽。而主流GPU普遍拥有40-60 GB/s显存带宽。存储器的超高带宽让巨大的浮点运算能力得以稳定吞吐，也为数据密集型任务的高效运行提供了保障。

AMD GPU存储体系（RV870）

    在Cache方面，为了适应更复杂的数据，在GPU内部加入Cache是一种有效的方式：最近使用的数据的副本可以由存储器传递到Cache中并根据替换协议不断更改。但是Cache由于对晶体管消耗较大，缓存协议难以实现，延迟难以控制，一直是GPU设计的重要障碍之一。

    又如NVIDIA在G80架构中加入的Shared Memory和AMD在RV770架构加入的LDS（Local Data Share）。这个共享寄存器位于每个流处理器单元内部的所有运算单元中，它在通用计算时负责共享数据和临时挂起线程。容量足够大的共享缓存可以在运算时提高线程的挂起能力，还有很多东西比如乱序，分支等等都会受益于Cache的加入。

产品：Radeon HD 4850 ATI 显示芯片

ATI GPU吞吐特性对比与分析

    ● ATI GPU吞吐特性对比与分析

    我们知道ATI现有的R800架构是由R600架构演变而来的，而R600又可以看作是支持DirectX10的Xenos处理器，同时Xenos最大的特色是采用了统一着色器单元架构，这是当时最为先进的GPU架构，所以现在的R800架构还是充满了浓重的传统渲染流处理器色彩，这种沿用至今的SIMD单元同一时间内执行一个线程，各SIMD单元都有自己的寄存器供SIMD内的执行单元共享。

    AMD从R600时代开始，其SIMD核心内的5D ALU采用VLIW技术，可以用一条指令完成对多个对数据的计算。图形Shader指令经过驱动的JIT（即时）编译器编译优化后，变成GPU能识别的机器码并被捆绑成长度数百位元的VLIW指令串包。VLIW指令包到达指令序列器后，会被动态重新安排，序列器会把不相依的指令捆绑成能够尽可能让SIMD单元并行执行的指令串，交给SIMD单元执行。

    VLIW的效率依赖于指令系统和编译器的效率。如果指令并行度较高，则这种流处理器组织结构会受益。如果并行度较差，编译器必须尽可能地寻找指令中的并行性并将其并接为合适的长指令，这样5D ALU中的计算单元就会尽可能地被利用起来不至于浪费。虽然NVIDIA的1D ALU不会遇到这种问题，但是1D ALU最大的问题就是调度器和发射端包括寄存器的晶体管消耗量太严重，理论浮点吞吐量无法获得提升。

开放性通用计算接口OPEN CL

    关于A卡和N卡在开放性的通用计算接口OPEN CL计算方面的性能差异，很多媒体进行过测试，但大家实际上一直在找一个合适的平台，在找一套合适的测试基准程序。目前，首款国人开发的支持GPU的OpenCL通用计算测试程序OpenCL General Purpose Computing Benchmark (简称GPC Benchmark OCL)已经公开并且升级到1.1版本。中关村在线显卡频道决定使用这款软件，对AMD和NVIDIA的架构特性做一些对比，以测试它们在哪些环境中能发挥出更好的理论性能。

    我们使用GPC Benchmark 1.1对当前ATI和NVIDIA顶级GPU做理论浮点运算能力测试，测试选择了最具代表性的浮点吞吐项目，分别是单精度加法、单精度乘法、单精度乘加、密码学SHA-1哈希加密。我们选择了10.3正式版驱动（AMD Radeon HD 5870）和256正式版驱动（NVIDIA GeForce GTX 480）测试平台如下：

GPC Benchmark 1.1吞吐项目测试结果

    除了底层性能的检测软件之外，我们还使用了SiSoftware Sandra 2010版软件来检测显卡所搭载的GPU理论浮点吞吐量。这个测试可以检测GPU的Shader单元运算能力，虽然它是面向通用计算程序设计的，但是在一些较为高端的对Shader负载较重的游戏中，Shader单元运算能力强的显卡可以有更强劲的发挥和更小的性能衰减。

SiSoftware Sandra 2010 GPGPU Processing项目浮点吞吐

    需要注意的是这里检测的仅是理论浮点值，实际运算环境中将会包含大量跳转嵌套分支等指令，只有运算器组织得当的GPU，才能有效避免理论值的大幅度衰减。测试对N卡和A卡则给予了可选择的接口支持，所以测试结果无论是对于NVIDIA还是AMD都比较公正。我们使用的版本号是16.36.2010，测试方法是进入程序后，选择界面中的Benchmark工具，然后选择GPGPU Processing项目。

产品：Radeon HD 4850 ATI 显示芯片

ATI GPU OPEN CL综合性能分析

    ● ATI GPU OPEN CL综合性能分析

    上一节我们使用两种软件考察了ATI GPU的吞吐特性，这个测试结果佐证了我们之前对于ATI GPU架构的相关分析，接下来我们将通过OpenCL通用计算测试程序OpenCL General Purpose Computing Benchmark (简称GPC Benchmark OCL)1.1版本全部项目来测试NVIDIA和ATI顶级单卡单芯性能，我们选择了10.3正式版驱动（AMD Radeon HD 5870）和256正式版驱动（NVIDIA GeForce GTX 480）。

    在测试之前有必要对本次测试项目做简单介绍：首款国人开发的支持GPU的OpenCL通用计算测试程序OpenCL General Purpose Computing Benchmark (简称GPCBenchMarkOCL)是由国内几名高性能计算从业人员和爱好者合作编写的，目的是为了评估在不同的OpenCL平台上一些基本算法和应用的性能。与目前流行的一些OpenCL、DirectCompute通用计算测试程序的不同在于，目前这些测试程序测试项目过于单一，基本上就是某一两种算法的性能测试，甚至干脆就是理论峰值计算性能的测试。

    而实际上，OpenCL计算设备包括GPU的计算性能是受非常多因素影响的，除了计算单元的频率和数量之外，还有计算单元架构、Global memory（显存）带宽、Local memory（GPU内的片上存储器，NVIDIA称为Shared memory，AMD称为Local Data Share）带宽和Bank conflict、存储器合并访问情况、存储器同步成本、缓存等各种因素。因此某些纸面计算性能非常高的GPU执行某些计算时性能却不一定好；又或者，某GPU在执行某种计算时虽然性能落后于另一架构的GPU，但是在执行另一种计算时性能反而超前。GPCBenchMarkOCL集合了高性能计算领域多种常见的基础算法和应用，能比较全面地评估GPU及其它OpenCL计算设备在通用计算应用中的性能。

GPCBenchMarkOCL软件界面

    目前GPCBenchMarkOCL的测试项目包括：

    1、Global Memory带宽（读、写、拷贝以及PCI-E总线带宽） - 主要考察不同传输尺寸下各种访存操作的性能

    2、Local Memory带宽（带宽和Bank conflict） - 分析Local memory带宽与数据类型、Bank conflict的关系

    3、32位整数性能（加法、乘法、乘加和位运算） - 分析处理器32位整数处理性能

    4、单精度浮点性能（加法、乘法、乘加和特殊函数如sqrt、sin等） - 分析处理器单精度浮点数处理性能

    5、双精度浮点性能（加法、乘法、乘加和特殊函数如sqrt、sin等） - 分析处理器双精度浮点数处理性能

    6、常用计算（单精度和双精度浮点的大矩阵乘法、大矩阵转置、归约、DCT8x8） - 分析处理器在进行一些常用矩阵与信号处理运算中的表现

    7、图像处理（亮度直方图、2维卷积、降噪、双立方插值缩放） - 分析处理器在进行一些常用图像处理中的表现

    8、密码学（目前只有SHA-1 Hash Loop，以后将加入盒型加密和彩虹表） - 分析处理器在密码学应用中的性能。

    在GPCBenchMarkOCL中，所有测试都会在CPU和GPU（包括其它OpenCL设备）上运行并给出性能结果，不过CPU上运行的并非OpenCL代码而是用常规C语言实现的并行算法（会调度全部的CPU核）。而GPU上运行的OpenCL代码经过试验能正确运行在NVIDIA GTX285和AMD HD5870上。各算法的OpenCL实现有部分修改自NVIDIA和AMD的SDK，部分是由相关从业人员和爱好者提供的。

    由于NVIDIA和AMD的GPU架构上有很大区别，对于某些算法也许能专门针对NVIDIA或AMD的GPU架构写出非常难看的比较极端优化的OpenCL代码，但考虑编程难度、程序的可读性和普遍意义，GPCBenchMarkOCL只使用了一般的GPU编程优化方法做了简单优化（例如使用Local memory暂存数据、利用合并访问规则等），并且在不同的OpenCL计算设备上也是运行相同的OpenCL代码来进行测试。这保证了GPCBenchMarkOCL是目前比较容易找到的较为干净的测试软件，它可以真实反映硬件特性对不同数据类型的适应程度，这一点最重要。

    GPCBenchMarkOCL支持AMD RV770及Evergreen（R800）系列，以及NVIDIA G8x、G9x、GT200、GT21x、GF100等GPU的OpenCL平台。我们选用的测试平台同上一节。

GPCBenchMarkOCL所有项目测试结果

    分析上图得到的测试数据我们可知，在纯吞吐环境中，AMD延续了R600架构以来的特性，其浮点吞吐量的优势得以体现。特别是浮点运算（单精度）测试中，HD5870压制了强大的Fermi架构GTX480。在密码学测试中，因为很少牵扯到计算层面，GPU只是不断随即生成数据然后去试探，所以A卡理论吞吐量高的特性再次得到体现。

    但是只要涉及到常规数学方法测试，这种实际运算环境中将会包含大量跳转嵌套分支等指令，只有运算器组织得当的GPU，才能有效避免理论值的大幅度衰减。A卡因为其架构设计原因，大幅度落后于Fermi架构。

    其中HD5870落后最为明显的图像处理，包括亮度直方图绘制、2维卷积（锐化）、快速非局部均值法降噪、图片缩放（双立方滤波）。这项测试主要考虑GPU的全局存储器和纹理访问能力，同时局部存储器原子操作也占到一定比重，所以架构较新的Fermi系列产品表现优异。

GPCBenchMarkOCL测试总评

    我们将涉及存储器的测试归类到存储总评，密码学和单双精度浮点乘加归类到吞吐总评，图像处理和单双精度图形处理归类到计算总评，得到以上测试结果。这个结果可以非常直观地告诉我们在浮点吞吐中，R800由于其SIMD核心内的5D ALU采用VLIW技术，所以遇到规范的数据类型时可以表现出近乎满载的效率，而NVIDIA从G80到GF100芯片都面临吞吐量受制于流处理器结构的影响。

    但是一旦牵扯到包含大量跳转嵌套分支等指令的常规数学方法测试，NVIDIA对ALU阵列的组织形式优化立刻体现出优势，此时AMD的VLIW Cores无法满载运行，每一时刻都有大量运算单元空闲。

    另一个值得注意的地方就是NVIDIA GPU在局部存储器和全局存储器测试中表现优异，特别是全局存储器在197-257的驱动升级中提升了将近50%，这充分反映了GPU加入通用Cache的重要性。这里的局部存储器是寄存器到cache或者shared memory，全局存储器是cache或者shared memory到显存。我们估计NVIDIA优化了Cache的命中率。cache的命中来自对内存系列也就是显存的命中，所以GPU的整体效率会受益于Cache单元的不断优化。

产品：Radeon HD 4850 ATI 显示芯片

先进混合架构之Larrabee展望

    ● 先进混合架构之Larrabee展望

    早在1998年2月，Intel发布了和Real3D合作设计的i740/i752独立显卡，虽然该产品在当时性能没有达到领先，但是凭借强大的推广与Intel自身的大厂优势，确实让其独立显卡红极一时。但由于各大竞争对手的3D显卡性能遥遥领先，加上Intel忙于自己的平台化策略，风光一时的i740/i752成为Intel独立显卡的“绝唱”。
 
    相隔十多年，Intel在平台化战略中取得了巨大成功，Intel在集成显卡市场的占有率超过了50％，从810/815系列到845/865系列，再到G41/H55系列主板芯片组，Intel的集成显卡战略所向披靡。Larrabee计划正是在此背景下提出，它将向世人证明Intel拥有开发高端独立显卡的能力，同时巩固市场占有率，改变人们对其显卡视为“鸡肋”的看法。同时Larrabee还肩负开拓GPU通用计算市场的重任，Intel希望这款GPU能够有效抵御NVIIDA和AMD对于并行计算市场的侵蚀。

Larrabee属于单芯片TFLOPS级别运算项目

    Intel使用CPU经典原理和最新技术改良了传统GPU，使其集成了数目可观的X86核心，并采用顺序执行，同时辅以先进的CSI总线和高速存储系统，形成了Larrabee芯片概念。Larrabee芯片隶属于Tera-Scale项目，是一块融入的诸多先进技术的GPU。对于图形工业而言，Larrabee是一款具有革命意义的产品，它与常规的意义上的GPU存在理念上的差异，即Larrabee将通用计算性能放在优先位置。Intel高级副总裁Pat Gelsinger表示，Larrabee是一种可编程的多核心架构，采用顺序执行架构（CPU为乱序执行核架构），并使用经过调整的x86指令集，在运算性能上将达到万亿次浮点运算的级别。

    Intel之所以会这样设计Larrabee硬件架构，出于以下几个方面的考虑，或者说Larrabee有以下几项显著特点：

    1、X86架构核心：GPU在可编程方面的劣势恰好是CPU的优势，GPU不断追求的可编程性对于CPU则非常容易。CPU只要采用相应的指令集结构就可以支持采用该指令集编写的所有程序，而不必理会用户的软件使用环境。

Larrabee使用X86架构作为根基

    如图Larrabee芯片架构。当然，相对于GPU提供完美的可编程性正是X86架构的特性。Intel的X86架构通常被称作IA架构，它主要由存储控制部分、前端解码器部分、执行单元部分构成。所有基于CISC的代码都将经过解码器并翻译为类似RISC的样式，高效的译码系统会保证CPU接收到自己完全可以执行的RISC风格代码，有利于简化处理器执行流水线的设计，而且在提高性能的同时能确保兼容性。

    Larrabee使用X86架构一方面由于Intel多年的技术积累可以轻松驾驭芯片的逻辑设计，另一方面我们也要看到Intel已经将目光放在更长远的通用计算领域，它要通过完美的可编程性来达到比竞争对手更优秀的兼容性，更大程度上拓展通用计算的应用范围。相较于 GPGPU（甚至是自家的 80 核处理器，也不是采用 X86 架构发展的）目前多数的软件工程师仍不熟悉如何将 GPU 应用在多任务处理及平行运算上，Larrabee将在普及大规模并行运算上占有很大优势。

    2、顺序执行单元：Larrabee所使用的X86架构不同于目前CPU的重要区别是顺序执行。在很早以前的顺序执行CPU中，当装载指令队列发生等待时，处理器不能将队列后方处于等待的指令优先装载并执行，一直等待到堵塞结束。平均而言约30%的指令会发生一定时间的堵塞，这种执行方式叫做顺序执行，显然降低了执行单元的效率。乱序执行在1995年的Pentium Pro处理器上首先实现，它可以最大限度利用资源，这种设计一直沿用至今，Core微架构可以说实现了目前最高水准的乱序执行。

传统CPU采用晶体管消耗较大的乱序执行单元

    而这次Intel在Larrabee设计中重新引入顺序单元，是有充分理由的。顺序执行让一条线程中的各个指令根据其原有顺序逐一执行，这样芯片内部就完全无需加入用于指令分析和运算结果合成的逻辑，从而极大地减少晶体管使用量。而效率低下的问题使得业界一致认为乱序执行要强于顺序执行。但最近几年，随着高频率和多线程技术的不断发展，许多厂商认为顺序执行的单线程性能低下优势已经可以通过增加线程和提高频率来弥补，反而晶体管使用过量会造成发热和功耗很难控制。

    Intel根据对比得到，乱序执行内核需要至少50平方毫米的面积，最少37.5W功耗。而使用了顺序执行，单个内核面积只有10平方毫米，功耗也下降到6.25W。在Intel的实验芯片上，使用顺序执行与VLIW指令集，在10平方毫米的面积上可同时运行4条线程和16个512bit向量，最终达到128 GFLOPS的浮点运算性能。面对Tera-Scale项目要求的TFLOPS性能目标，在顺序执行的X86核心思想下，只需多个核心即可完成。

    但是业界对于Larrabee这颗芯片的观点还是众说纷纭：AMD指出如果Larrabee处理器的通用性是基于适合流处理器而进行设计的话，那么其图形性能将不足以使其成为一款专业的GPU产品，另外就是我们还必须考虑到其图形处理器性能也不会很高。

    有一种观点认为X86架构限制了CPU性能的发展，但是所谓限制不能光看硬件。如果这套架构能给编程者提供统一完善的可操作性强的编译环境和在这个环境下相对充沛的资源，那这个构架即不是效率最高的构架，但却是目前环境下唯一理想的构架。

    也有评论家认为X86的指令集通用性会更好一些，但是并不适合于并行处理。而对于AMD公司的Fusion则是将X86的CPU与GPU核心进行合并，这样CPU可用于一般数据处理，而GPU核心可以进行并行数据处理，从而可以实现最优化处理。简单的说就是AMD保持了X86 CPU和GPU各自的特征。这样避免了过大的新技术开发投入，现有软件也能够更好地使用其Fusion处理器资源。

    NVIDIA也有自己的打算，该公司也没有明确表示将来是否在GPU产品上加入对X86指令集的支持，这也是NVIDIA公司与另外两家CPU生产厂商间的关键差异。NVIDIA表示其没有X86核心绝不能算作是弱点，NVIDIA相信自己所选择的发展方向，其Tesla计划正在加紧推进，目前在高性能计算领域已经打开市场。同时NVIDIA正在进行据并行处理最佳指令集的研发，计划进一步扩充GPU的性能，这一代的Fermi架构GF100芯片已经轻松达到1TeraFLOPS的单精度浮点运算性能，双精度浮点的衰减也控制在单精度浮点性能的1/2。

产品：Radeon HD 4850 ATI 显示芯片

概念型融合架构之Fusion APU展望

    ● 概念型融合架构之Fusion APU展望

    在2006年10月25日，AMD完成对ATi的收购后就公布了“Fusion”架构，并预计在2009年底或2010年发布，成为K10微架构的后继者。Fusion架构同时也是Torrenza统一加速计算平台的一部分，配合FireStream流处理器进行协同运算。Fusion架构预计内置一颗中低端GPU，这样这款CPU就可以独立完成PC系统内的各项工作，这就是AMD提出的APU（Accelerated Processing Units）概念。

Fusion架构logo

    AMD Fusion是AMD与ATI合并后推出的一项新产品的产品代号，它结合了现时的处理器和绘图内核，在处理器进行图像和三维（3D）运算。AMD Fusion的硅芯片上有两个独立的内核，一个负责处理器，另一个负责绘图内核，两个内核而不是融合在一起。处理器有自己独立的缓冲存储器，绘图内核部分同样如此。两个内核会通过CrossBar互相连接。此外，Fusion亦会集成存储器控制器。Fusion中的各个组件之间使用HyperTransport连接，使各个组件连接成一个整体。处理器和绘图内核可以直接访问存储器，但绘图内核没有独立的显示存储器。南桥不会集成在Fusion芯片中。

APU相对于CPU和GPU的特性

    APU融合有很多种方向可以发展，既可以把低端显卡整合进CPU，又可以通过CPU的L3让GPU与CPU的联系更加紧密。最终，SP可以被慢慢的剥离出来单独使用，既可以加强FPU，又可以干一些指令集干的事情，或者说达到一些指令集操作才能达到的结果，比如更大的运算能力。

    在AMD现阶段无法开发出效率极高的指令集时，用硬件单元来补足执行效率的不足是非常明智的选择，Fusion架构的代表APU就是这种思路下的产物。毕竟开发指令集需要对硬件架构做出优化，寄存器和相关资源都需要进一步放大，这也需要增量晶体管来辅助。而整合GPU则意味着AMD可以把ATI GPU中的流处理器单元直接变为浮点运算器（FPU）。这样的整合会相对简单，同时Intel和NVIDIA由于技术上的缺失都无法涉足。

    从上图我们可以获知，APU将芯片内的不同物理单元抽象成两个逻辑部分，分别是串行计算单元和并行计算单元。我们知道这分别是传统CPU和GPU 的两大特性。APU使用一颗类似SoC概念的芯片设计，让不同层面的用户在低端市场上同样能够获取到“异构计算”（heterogeneous computing）能力，这是对于独立CPU+独立GPU计算的重要补充。

产品：Radeon HD 4850 ATI 显示芯片

GPU进化架构之Fermi分析

    ● GPU进化架构之Fermi分析

    GT200发布时其宣传口号是所谓的Gaming Beyond和Computing Beyond，这个宣传口号第一次鲜明地体现了NVIDIA的GPU设计方向发生了明显变化。GPU Computing概念的提出，说明了GPU身份已经转变为一颗通用计算处理器。同时NVIDIA需要为开拓GPU通用计算市场而做出一些设计方面的变化。

    而不久前发布的Fermi架构GTX400系列显卡，正是这一概念的深刻体现。代号GF100的Fermi设计方案在4年前确定下来并付诸行动，这时正值代号G80的Geforce 8800GTX做最后的出厂准备。G80凭借全新的MIMD（多指令流多数据流）统一着色器（又称流处理器）获得了业界的一致认同，同时被业界关注的还有G80的通用计算性能。

    NVIDIA的Tony Tamasi先生（NVIDIA高级副总裁，产品与技术总监）表示：“以前的G80架构是非常出色的图形处器。但Fermi则是一款图形处理同样出色的并行处理器。”

    这句话揭示了Fermi的与众不同，它已经不再面向图形领域设计了，因为更广阔的通用计算市场在等待它。Fermi将为通用计算市场带来前所未有的变革，图形性能和游戏被提及已经越来越少。

NVIDIA公司在不断强调并行计算的重要性

    从NVIDIA处理器架构的发展来看，Tamasi先生的话意思很清楚。回顾历史我们可以发现NVIDIA最近几年间，大规模改进图形处理架构设计的是GeForce 6000（NV40）系列，之后就是GeForce 8000（G80）和GeForce GTX 200（GT200），最后就是Fermi。

    “CUDA Cores”是Fermi最基础的运算单元，将它的历史向上追溯首先是G80时代的统一着色单元（Unified Shader Model），我们在G80和GT200时代将它统称为流处理器（Stream Processor），再向上追溯可知，这个单元将Vertex Shader（顶点着色器）和Pixel Shader（像素着色器）合并而成。

    理论上说“CUDA Cores”只是起了一个好听的名字，让人们更看重GPU通用计算的作用，实际上我们在图形领域还是将它视为普通的流处理器。但这背后透露出NVIDIA公司的另一种计划——面向并行计算领域设计一颗芯片，并使其具备图形运算能力，这颗芯片由众多的“CUDA Cores”组成，运算速度主要由“CUDA Cores”的数量和频率决定。

    在没有了解Fermi的核心构成之前，很多人“CUDA Cores”概念嗤之以鼻，认为这是NVIDIA公司的营销策略，就像HD5870所拥有的1600个流处理器一样，实际上是320个SIMD单元。两家公司确实打了不少口水仗，无数玩家也跟着它们提出的概念升级了自己的显卡。不过这次Fermi改变名称和设计方向，是有备而来的。

    NVIDIA这次敢提出图形性能和通用计算并重，说明GPU设计的重点和难点都在通用计算方面而非图形。因为一颗已经演化了十年的GPU肯定能做好自己的老本行图形计算，但是要做通用计算，需要更强大的线程管理能力，更强大的仲裁机制，丰富的共享cache和寄存器资源以及充足的发射端……如果做不好这些东西，GPU永远都是PC中的配角，永远都是一颗流处理器。这些表面上看这些部件是极占晶体管的东西，更可怕的是设计这些部件需要太多科研成本和时间。

    Impress Watch网站知名IT评论人後藤弘茂称NVIDIA全新Fermi架构，是以处理器为目标进行设计的。因为你在Fermi身上可以看到以前GPU上从来没有的东西，包括更多的指令双发射、统一的L2全局缓存、64KB的可配置式L1或者Shared Memory、大量的原子操作单元等等。

产品：Radeon HD 4850 ATI 显示芯片

第五章：ATI GPU通用计算实例

    ● 第五章：ATI GPU通用计算实例分析

    前四章我们分析了GPU并行计算的技术基础和不同架构之间的性能差异。我们特别对ATI GPU从R300到R600的沿革和R600到现在R800的优化做了分析，让大家明白ATI GPU架构在哪些方面有出人意料的表现，哪些方面则表现地落后于竞争对手。在本章，我们将使用较小的篇幅来展示目前GPU并行计算编程方面的新进展，特别是GPU并行编程API的相关发展情况。

    让我们把时间调回到2003年，当时正值Shader Model 2时代。随着GPU计算能力的不断增长，一场GPU革命的时机也成熟了。Shader模型的不断发展使得GPU已经从由若干专用的固定功能单元（Fixed Function Unit）组成的专用并行处理器，进化为了以通用计算资源为主，固定功能单元为辅的架构，这一架构的出现奠定了GPGPU的发展基础。

SIGGRAPH 2003大会开始深入研究GPU通用计算

    当时在圣迭戈举行的SIGGRAPH 2003大会上，许多业界泰斗级人物发表了关于利用GPU进行各种运算的设想和实验模型。SIGGRAPH会议还特地安排了时间进行GPGPU的研讨交流。在2004年9月份，剑桥大学的BionicFx课题组便宣布在NVIDIA的GeforceFX 5900产品中实现了专业的实时音频处理功能，并且准备进行商业化的运作，对其产品进行销售，给音乐创作者带来实惠。

    在随后的一段时间，GPGPU进入了深入研究阶段，但是由于编程语言架构和编程环境都难以通用，该领域的发展能力受到广泛质疑。就在人们认为GPGPU的研究即将偃旗息鼓的时候，ATI在2006年8月惊人地宣布即将联手斯坦福大学在其Folding@Home项目中提供对ATI Radeon X1900的支持。在显卡加入Folding@Home项目后，科研进展速度被成倍提升，人们第一次感受到了GPU的运算威力。

    毫无疑问，在GPGPU研究上，ATI跨出了极具意义的一步。同时将GPGPU的应用领域和普及程度推向高潮。随后NVIDIA凭借GeForce 8800GTX这款业界首个DirectX 10 GPU，在GPU通用计算方面实现了大步跨越，特别是CUDA概念的提出（该工具集的核心是一个C语言编译器），在新的通用计算领域后来居上。

未来科学和工程的关键在于并行计算

    GPU在很多领域的研究中已经开始发挥作用。支持DirectX 10显卡的首次出现是一个分水岭：过去只能处理像素或者只能处理顶点的专门功能处理单元被通用的统一着色器架构(Unified Shader Architecture)取代了，开发人员可以更轻松的对统一着色器进行控制。以AMD R600和NVIDIA G80为代表的DirectX10时代GPU能够提供了超越以往任何GPU的能力：它们拥有数百个功能单元，能够处理很多过去只能在CPU上运行的并行问题。

    GPGPU将应用范围扩展到了图形之外，无论是科研教育、财务计算，还是在工业领域，GPGPU都得到了广泛的使用，关于它的科研成果和新应用模式也层出不穷。许许多多令人鼓舞的结果已经表明：将GPU用于解决数据并行计算问题可以明显提高系统的运行速度。本章我们会对目前炙手可热的GPU并行编程API做简单介绍，同时向用户推荐几种基于ATI GPU产品的通用计算项目，他们基于开放式的BOINC平台或者形成独立的开放式平台，我们可以通过下载软件来参与这些项目体验GPU通用计算带给业界的变革。

产品：Radeon HD 4850 ATI 显示芯片

ATI Stream技术发展与现状

    ● ATI Stream技术发展与现状

    ATI Stream技术是一套完整的硬件和软件解决方案，这个概念最初在2005年依据R580核心的流处理加速卡提出。随后ATI被AMD收购，异构计算概念被越来越多的提及，Stream技术被定义为能够使AMD图形处理器（GPU）与系统的CPU协同工作，加速处理图形和视频以及其他大量应用。该技术使更加平衡的平台能够以前所未有的速度运行要求苛刻的计算任务，为最终用户提供更出色的应用体验。

两家GPU厂商提出的通用计算解决方案

    无论是NVIDIA还是AMD，都正在与领先的第三方行业合作伙伴和全球范围的学术机构一起，建立完整的GPU计算生态系统。AMD系统通过Stream技术能够提供实现AMD低成本应用加速所必需的性能、应用、软件和工具。我们也不得不意识到两家公司在计算机专业领域的影响力是不可估量的，因为它们能通过GPU提供更好的并行计算加速比。

ATI Stream技术软件环境

    Brook+是AMD出的显卡编程语言，它和NVIDIA提出的CUDA C是对应的。只不过CUDA的基础是C和C++，而brook+是汇编。brook+环境下写程序不是那么容易的，毕竟它属于低级语言，但是那是程序员和推广的问题，一旦写出来了效率通常都很高的。所以说汇编是底层语言，效率很高但是兼容性和简易型较差。

    ATI Stream技术定义程序可以被分为两种，也就是图中的库，以及第三方代码。库可以直接转化成brook+，第三方代码则需要通过stream编译一下。编译好的东西可以直接丢给CPU或者GPU算。其中绿色的是计算抽象层规则。这张图片说明ATI GPU可以通过计算抽象层规则直接运行程序，也可以通过OCL来支持应用程序，也就是说OCL只是其中一种选择。实际上AMD倒向OCL，应该也有打算让自己以第一的身份接近OCL制定者并影响对方甚至施压的意思。CUDA和Stream都是编译环境，而OpenCL跟DirectX都是API。

Brook+语言元素

    从特性方面分析，Stream是基于一种传统的编程方式，Stream主要包括CAL与Brook+。CAL是一套指令集，可以用汇编语言的方式来开发软件，虽然我们汇编方式开发软件的话，对搞计算的人来说不大现实，让他们用汇编语言来说的话可能确实是一种折磨，但是这种方式更为接近硬件，合理优化可以大幅度提升运算效率。Brook+是斯坦福大学开发的，它是类似于C语言的东西，是把底层GPGPU的计算方式类似于C的这种语言，这里要说明的是Brook+不是C语言而是类C语言，语法和C语言比较类似。

Stream技术GPU硬件基础

    从R600到R800时代，的每个流处理单元都包含5路超标量体系结构着色处理器，单时钟周期可以最多处理5个标量乘加指令，其中一路着色处理器负责处理超越指令（比如Sin、Cos、Log、Exp等等）。我们看下图就可以明白，5个黄色的长方形就是5路着色处理器，其中较大的一个就是可以处理超越指令的着色处理器。流处理单元可以达成32-bit浮点精度，支持整数和逐位操作，图中紫色的长方形“分支执行单元”则负责进行流控制和条件运算。

产品：Radeon HD 4850 ATI 显示芯片

OPEN CL接口技术与异构运算

    ● OPEN CL接口技术与异构运算

    2010年8月16日，AMD宣布推出全面支持OpenCL 1.1的ATI Stream软件开发包(SDK)2.2版，新版本的SDK为开发人员提供开发强大的新一代应用软件所需要的工具。这一版本的最大意义在于它表明了AMD在不断追求与开放性应用程序接口OpenCL的兼容，同时AMD再通过OpenCL快速提升其在业行内的影响力，毕竟借助这一标准，AMD和NVIDIA站在了统一起跑线上，OpenCL接口对于一个技术与标准的追随者来说是千载难逢的机会。

著名的开发组织Khronos发布了OpenCL（Open Computing Language）

    在Open CL发布之前，AMD/ATI支持BrookGPU模式，并有了升级版本的SDK Brook+。虽然Brook+可以实现GP-GPU计算，但是整个行业已经意识到需要出台某种标准。作为图形芯片的两大巨头，NVIDIA拥有自己的CUDA架构，AMD有自己的Stream架构，同时本次他们又是OpenCL的支持者。在OpenCL标准发布之后，AMD和NVIDIA立即表态，宣布即将采用OpenCL 1.0编程规范。AMD正在不断将合适的编译器和运行库整合进免费的ATI Stream软件开发包（SDK），作为OpenCL的创始人之一，AMD一直以来都极力推崇OpenCL，并在2009年上半年开发出ATI Stream SDK的开发者版本，实现对OpenCL 1.0的支持，如今ATI Stream软件开发包(SDK)2.2版的发布进一步支持这一标准向前推进。

OpenCL标准的支持者

    OpenCL对开发者、业界人员和消费者来说都是一个非常好的API，它可以使得开发者很容易的开发出跨平台的GPU计算程序，充分利用GPU强大的计算能力然后应用在各种领域。同时OpenCL对于异构运算的支持也开始明朗化。

OpenCL标准所提倡的CPU-GPU异构计算

    我们知道CPU和GPU各有所长，一般而言CPU擅长处理不规则数据结构和不可预测的存取模式，以及递归算法、分支密集型代码和单线程程序。这类程序任务拥有复杂的指令调度、循环、分支、逻辑判断以及执行等步骤。例如，操作系统、文字处理、交互性应用的除错、通用计算、系统控制和虚拟化技术等系统软件和通用应用程序等等。而GPU擅于处理规则数据结构和可预测存取模式。例如，光影处理、3D 坐标变换、油气勘探、金融分析、医疗成像、有限元、基因分析和地理信息系统以及科学计算等方面的应用。

AMD GPU在OpenCL下的存储体系

    尽管在不少方面GPU表现优异，但在一段时间内，还会维持CPU与GPU各自发展的态势，它们可以继续在各自擅长的领域发挥作用，而未来的演进方向是相互取长补短，走向融合，而OpenCL正是它们融合与并行发展的连接桥梁。从CPU角度来讲，为了提高处理能力，以前是多线程，目前是多核，将来的发展方向是众核。

    OpenCL的标准很大程度上决定了它的未来。获得整个计算机/视频硬件行业的支持也将起到帮助作用。从独立软件开发商的角度来看，OpenCL是通向混合（GPU/CPU）计算的大门。任何涉足高性能计算领域的人都会告诉你，在非标准的API上投入资金和时间是一项具有风险的业务，而OpenCL显然具备更大的潜力。

ATI Stream在Open CL下编程模型

    CPU正向不断增加吞吐量和提高能效性的方向发展；而从GPU角度来讲，其可编程性能本来是在芯片内部固化的程序，然后发展到局部可编程，最后是完全可编程。也就是说，GPU是在提高所处理的吞吐量的同时，向通用处理的方向发展。作为一直在标准推广方面相对落后的AMD，本次借助OpenCL刚好可以实现更深层次的异构运算，其高端CPU甚至是未来整数性能极强的CPU会在OpenCL接口的帮助下，和高端GPU产品在异构模式下共处。而低端市场的APU产品，也会受益于OpenCL接口而支持更多应用，释放CPU和GPU的计算特性。

ATI Stream硬件通过Open CL获得了更为专业的支持

    在今年6月，CAPS荣幸宣布其基于指令的混合编译器HMPP最新2.3版本已发布，内含OpenCL代码生成器。HMPP编译器集成了支持NVIDIA CUDA和OpenCL的强大数据并行后端，可极大缩短开发时间。OpenCL版HMPP完整支持AMD和NVIDIA GPU计算处理器，从而为广大混合计算应用开发者提供了广泛的程序开发支持。

产品：Radeon HD 4850 ATI 显示芯片

Havok引擎与CPU+GPU异构运算

    ● Havok引擎与CPU+GPU异构运算

    目前在游戏中应用最广的物理效果有粒子、流体、软体、关节和布料五大类，借助这些效果，我们的图形世界将会变得更加真实细致。从游戏发展的轨迹来看，大家都在力求一种“现实”的效果，从最1994年Doom Ⅱ那种粗糙的3D效果到2008年的Crysis，游戏的3D效果和光影效果都有了长足的进步。如何让游戏表现出更真实的一面，放在大家面前的有两条路。第一条就是增加特效，如DX8、DX9、DX10，这样的特效更多表现的是一种“静态”的效果。而另一条路则是增加如爆炸、布料摆动、关节运动等“动态”方面的真实效果。

    物理运算有两大特点，第一是高并行度，第二是高运算密度，这两大特点刚好符合我们之前所分析的并行计算结构，所以从物理效果提出之时，人们就在寻找加速比更高的硬件解决方案来进行物理运算。AGEIA公司在GDC2005游戏开发者大会上推出了物理处理器PPU（Physics Processing Unit），被称为05年度图形领域的重大技术创新。这种芯片可以通过其内部的大量并行浮点处理器来运算物理特效，解放任务繁重的CPU。不过PPU的劣势就是需要附加运算卡才能实现，功能较为单一，整体实现成本方面也没有做到最优。

物理引擎发展的挑战与应对

    随后使用GPU进行物理加速走进了人们的视野，GPU天生拥有较高的并行度，同时其内部可编程浮点单元能够执行物理运算。同时随着GPU内部结构不断完善，调度器、发射端和寄存器资源已经能够支撑GPU进行损失较小的上下文切换，这是GPU在执行图像渲染的同时进行物理加速工作的前提。而NVIDIA和AMD也都选择了相应的物理加速引擎为自己服务。

    和现在广为人知的PhysX物理引擎相对的是AMD选择的Havok物理引擎，这是业界知名度最高的拥有广泛游戏资源支持的物理引擎。Havok发展到2005年的时候，已经可以在微软的视窗操作系统、Xbox与Xbox360，任天堂的GameCube与Wii、索尼的PS2、PS3与PSP、苹果电脑的Mac OS X、Linux等操作系统或游戏主机上使用。此游戏引擎是用C语言／C++语言所撰写而成。

AMD与Havok物理引擎始终保持密切合作

    2006年，Havok物理引擎在基于CPU系统上获得众多支持的时候终于决定转向GPU系统，Havok FX引擎应运而生。Havok FX将物理运算分为特效和游戏运算，特效运算（如爆炸时的烟雾）将会由GPU的Shader Model 3.0来进行运算，进而减轻CPU的负担。而游戏物理运算则仍然由CPU处理。

    但是随着Havok被Intel收购，基于GPU的物理引擎开发几乎陷入停滞。因为Intel当时的CPU发展思路已经转向了提高并行度，同时Intel程序中充满分支和循环嵌套的物理特效在GPU上难以完成，所以Intel让更多物理效果在CPU上运行。但是后期的GPU发展远超Intel预料，所以后期Havok还是和AMD不断合作谋求在GPU带来的更高加速比。

借助OpenCL接口Havok引擎开始异构计算

    在GDC09展览中，演示中的Havok引擎使用了ATI的显示核心作为加速。由于引擎是基于OpenCL架构进行开发，所以处理器和显示核心都可以为其进行计算。基于GPU的Havok引擎发展，意味着AMD提倡多年的异构计算模式终于在更多领域找到了用武之地。虽然目前Havok引擎在GPU上的游戏数量少之又少，但是Havok引擎在CPU支持方面垄断了绝大部分游戏的物理加速接口。同时随着更多的CPU-GPU异构模式Demo推出，物理运算加速比相比纯GPU模式将会更好。

产品：Radeon HD 4850 ATI 显示芯片

BOINC平台充沛的ATI GPU加速项目

    ● BOINC平台充沛的ATI GPU加速项目

    如果你使用ATI显卡，不必去寻找那些高深的专业计算程序去体验GPU并行计算的魅力。体会ATI GPU的强大运算能力，只需加入BOINC平台就可以获得大量项目支持。从并行计算的分类层级来看，BOINC平台计算项目属于最高层级“集群或分布式计算”（Cluster/Distributed parallel）。

    BOINC的中文全称是伯克利开放式网络计算平台（Berkeley Open Infrastructure for Network Computing），他能够把许多不同的分布式计算项目联系起来统一管理。并对计算机资源进行统一分配。BOINC目前已经成熟，多个项目已经成功运行于BOINC平台之上，如SETI@home、LHC@home、Rosetta@Home 、World Community Grid世界公共网格等。

BOINC分布式计算平台

    MilkyWay@home是一个基于 BOINC 平台的分布式运算项目。项目试图精确构建银河系附近星流的三维动态模型。与 SETI@home 和 Einstein@home 相比较，MilkyWay@home 同样把探索星际空间作为项目目标。项目的另一个目标是开发并优化分布式计算的算法。该项目在今年年初已经汇聚了超过1PetaFlops运算能力，运算速度超过了世界上第二快的超级计算机，该项目在推出后不久就提供了支持ATI显卡的运算程序。

    除了在计算机科学和天文学研究的重要发现外，研究人员表示，该项目对于公众的科学发现也作出了重要进展。自项目开始至今，来自 169 个国家超过 45000 名的志愿者捐献了计算能力，目前项目活跃的用户约有1.7万。除了志愿者外，伦斯勒其他学科及院外的机构也参与该项目。其中包括伦斯勒的研究生 Matthew Newby，Anthony Waters，and Nathan Cole 还有 SETI@home的创始者David Anderson，这项研究的资金主要由国家科学基金会（NSF）提供，还有 IBM，ATI 和 NVIDIA捐献的设备。

MilkyWay@home项目模拟（配图来自“科学松鼠会”《银河之伴，汝居何方》）

    MilkyWay@home这个项目折射到计算机硬件方面，实际上就是像素对比，是对比进化算法得来的银河系演进图与真实拍得的照片的差异。它是按照进化算法先验算一个银河系在某时间断面的图，然后那这个图跟拍摄的实际照片进行对比。Milkyway@home虽然是研究天体的项目，但这种研究算法天生具有遗传算法的特性，其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；Milkyway@home提供的ATI显卡计算任务具有内在的隐并行性和更好的全局寻优能力，这个项目里更多的也不是分支嵌套，而是把算好的结果跟已知的观测结果进行比对，这样ATI GPU架构吞吐量巨大的优势再一次体现了。

    另一个活跃在BOINC平台上的支持GPU计算的项目是Collatz Conjecture，这是一个利用联网计算机进行数学方面研究，特别是测试又称为3X+1或者HOTPO（取半或乘三加一）的考拉兹猜想的研究项目。该项目的运算目的很简单，变量只有一个n，如果它是奇数，则对它乘3再加1，如果它是偶数，则对它除以2，如此循环，最终都能够得到1。这个项目的研究目标就是寻找最大的质数。

    该项目的主程序分支出现在初始段，而且所有的线程的分支几乎都是统一的，所以对于分支能力的考验是比较少的，反而它能够使几乎所有线程都同步进行这个相对简单的吞吐过程。这就决定了该项目上ATI GPU的运算速度要比NVIDIA GPU快，因为ATI所提供的硬件结构更适应于这种数据结构。

Radeon HD5770显卡正在运行DNETC@home项目的ATI加速任务

    BOINC平台同样有一些密码学项目可以发挥ATI GPU的浮点加乘优势，比如在近期提供了GPU运算支持的DNETC@home项目。DNETC@HOME 是 distributed.net 在 BOINC 平台的封装器，用于使其平台的项目能够运行于 BOINC 平台上。Distributed.net 创立于1997年。2002年10月7日，以破解加密术而著称的 Distributed.net 宣布，在经过全球33.1万名电脑高手共同参与，苦心研究了4年之后，他们已于2002年9月中旬破解了以研究加密算法而著称的美国RSA数据安全实验室开发的64位密匙——RC5-64密匙。目前正在进行的是RC5-72密匙。

    目前DNETC@home项目运行的是 RC5-72（试图攻破 RC5 的 72 位密钥）。值得一提的是项目没有提供 CPU 的计算程序，因此要参加项目必须使用显卡才能进行计算。

    我们在第四章第六和第七节已经通过GPC Benchmark软件分析了ATI GPU在密码学计算中的优势。在DNETC@home项目这类密码学计算中，无论是加密还是解密都很少牵扯到计算层面，GPU只是不断随即生成数据然后去试探，决定运算结果的基本上只有开关（运算器）数量，而不是运算器组织结构，所以A卡理论吞吐量高的特性再次得到体现。

产品：Radeon HD 4850 ATI 显示芯片

最具影响力的Folding@home项目

    ● 最具影响力的Folding@home项目

　　Folding@home是一个研究蛋白质折叠，误折，聚合及由此引起的相关疾病的分布式计算项目。我们使用联网式的计算方式和大量的分布式计算能力来模拟蛋白质折叠的过程，并指引我们近期对由折叠引起的疾病的一系列研究，找到相关疾病的发病原因和治疗方法。

　　Folding@home能了解蛋白质折叠、误折以及相关的疾病。目前进行中的研究有：癌症、阿兹海默症（老年失智症）、亨廷顿病、成骨不全症、帕金森氏症、核糖体与抗生素。

不同硬件为Folding@home项目提供的运算能力

　　您可以在斯坦福大学官方网页上下载并运行客户端程序，随着更多志愿者的计算机加入，此项目计算的速度就越快，就会计算出蛋白质在更长时间内的折叠，距离科学家找到最终答案也就越来越近。如果蛋白质没有正确地折叠将会使人得一些病症：如阿兹海默氏症(Alzheimers)、囊肿纤维化（Cystic fibrosis）、疯牛病(Mad Cow, BSE)等, 甚至许多癌症的起因都是蛋白质的非正常折叠。

    Folding@home所研究的是人类最基本的特定致病过程中蛋白质分子的折叠运动。项目的核心原理在于求解任务目标分子中每一个原子在边界条件限制下由肽键和长程力等作用所导致的运动方程，进而达到实现模拟任务目标分子折叠运动的目的。每一个原子背后都附庸这若干个方程，每一个方程都可以转换成一组简单的向量指令。同时由于长程力的影响，条件分支也随处可见，Folding@home在GPU使用量上也要大于图形编程。

在分子动力学领域广泛使用的GROMACS引擎

    由于针对不同的系统其代码进行了高度优化，GROMACS是目前最快的分子动力学模拟软件。此外，由于支持不同的分子力场以及按照GPL协议发行，GROMACS拥有很高的可定制性。GROMACS目前最新版本为4.07，可以到官方网站下载并自行编译。GROMACS支持并行/网格计算扩展，可灵活搭配MPI规范的并行运算接口，如MPICH、MPICH2、MPILAM、DeoinMPI等。国内也有很多分子动力专业人员同样使用GROMACS做研究，而且几乎是全部，GROMACS几乎成为模拟蛋白质折叠领域内的标准。

　　2006年9月底，ATI宣布了通用计算GPGPU架构，并得到了斯坦福大学Folding@Home项目的大力支持，加入了人类健康研究。2007年3月22日，PS3正式加入史丹佛大学分布式运算研究计划，至今已有超过百万名 PS3 玩家注册参与。NVIDIA于2008年6月宣布旗下基于G80及以上核心的显卡产品都支持该项目的通用计算，更是对分布式计算的重要贡献。

Radeon HD4870显卡正在运行Folding@home项目

　　Folding@home在自身定位明确、成功发展的基础下，通过斯坦福大学的大力推广，已经获得了全世界广泛认同。而近期PS3和GPU的参与更是将Folding@home的运算能力推向高峰。值得一提的是NVIDIA在2008年6月果断宣布加入Folding@home项目，至今已经为该项目提供了超过2 PFlops运算能力。

    目前Folding@Home已经成为全世界最有影响力和公信力的项目，同时是各大厂商和机构鼎力支持的项目，当然它毫无疑问地拥有最广大的志愿者团队——截止2010年4月18日，全球共计1,396,683人参与该项目，最近的统计显示志愿者贡献的总运算能力已经达到了5PFlops，远超现在全世界最快的超级计算机IBM Roadrunner（最高性能1.026PFlops）。

    该项目在中国拥有约2000多名参与者，其中最强大的China Folding@Home Power（Folding@Home中国力量，团队编号3213）团队已经拥有2585人，最近活跃用户200人以上，目前贡献计算量排名世界第47位，团队整体运算能力约为50到100TFLOPS。

产品：Radeon HD 4850 ATI 显示芯片

GPU架构对于其他实例的适应性

    ● GPU架构对于其他实例的适应性

    前文提到的几种GPU计算项目，都是一些非常直接具体的科学计算项目，它们是用户直接体会GPU计算的最简单途径。除此之外，还有大量实例可以在GPU上完成运算，特别是ATI提供的这种硬件架构可以在一些特殊运算中获得极高的加速比。

    比如对于那些很难解决或者不可能精确求解的问题，蒙特卡洛算法提供了一种近似的数值解决方法。蒙特卡洛仿真与生俱来的特征就是多次独立重复实验的使用，每次独立实验都有某些随机数驱动。根据大数定律，组合的实验次数越多，最后得到的平均答案就越接近于真实的答案。每次重复实验天生就具有较强的并行特征，而且它们通常由密集数操作组成，因此GPU几乎为蒙特卡洛仿真提供了一个完美的平台。

使用蒙特卡洛算法在正方形内计算π

    使用蒙特卡洛算法解决问题的一个简单例子是计算π的值。这需要首先绘制出一个正方形，然后绘制它的内切圆。如果圆的半径是r，圆的面积就是πr2，而外接正方形的面积就是4r2。如果可以计算出圆面积和正方形面积之间的比例系数p，就可以计算π了。使用蒙特卡洛算法在正方形内均匀地生成n个独立的随机点，假设这些点中有k个位于园内，则p≈k/n，既π≈4k/n。点数分布越多，π的值精度就越高，当n=2×104及2×105时得到的近似值分别为3.1492和3.1435。

    很明显这种计算π的方法效率很低，因为它的精度增长率很低（精度通常和实验次数的平方根成正比），而且比标准重复方法效率低了很多。然而它却说明了蒙特卡洛算法为何如此盛行的原因：1、该方法通常不是问题应对的精确解决方法，很容易理解它的工作原理。2、只要运算资源充沛，该方法通常容易实现，障碍只是随机数生成。3、蒙特卡洛算法天生就是并行的。其中最后一点正说明了蒙特卡洛算法很容易在网络集群中的多个节点上运行，或者在一个CPU或者GPU内的多个处理器上运行，该算法通用性极强，比如它允许我们为很多没有分析型方案的金融模型寻找解决方案。

    第二个要介绍的例子是使用GPU进行Nbody仿真。它在数值上近似地表示一个多体系统的演化过程，该系统中的一个体（Body）都持续地与所有其他的体相互作用。一个相似的例子是天体物理学仿真，在该仿真中，每个体代表一个星系或者一个独立运行的星系，各个体之间通过万有引力相互吸引，如图所示。在很多其他计算机科学问题中也会用到N-body仿真，例如蛋白质折叠就用到Nbody仿真计算静电荷范德华力。其他使用Nbody仿真的例子还有湍流流场仿真与全局光照计算等计算机图形学中的问题。

DirectX 11 SDK Nbody Gravity测试项目

    在NVIDIA最初G80架构的Geforce 8800GTX GPU上计算每秒100多亿个引力系统的性能，这个成绩是一个经过高度优化的CPU实现的性能的50多倍。Nbody仿真问题的研究贯穿了整个计算科学的历史。在20世纪80年代，研究人员引进了分层和网格类型的算法，成功降低了计算复杂度。自从出现了并行计算机，Nbody仿真的并行化也开始被研究了。同时从CPU到GPU的现有研究成果不仅仅是为了降低运算的功耗，还可以降低分层度，节省远域计算的时间。

    N Body Gravity测试具备两个显著的特点，首先是高并行度，该测试拥有大量相互碰撞的粒子，粒子之间会产生复杂而又数量较多的力量变化。同时该测试拥有较高的运算密度，GPU在处理此类问题时可以有效展现其强大的并行运算能力。

利用开源的杀毒软件ClamAV来基于GPU进行病毒检测

    GPU还可以作为一个高速过滤器，来检验计算机病毒，这一原理和MilkyWay@home项目的像素对比有异曲同工之处。作为一个并行数据处理器，GPU擅长于处理那些具有常规的、固定大小的输入输出数据集合的算法任务。因为通过让CPU处理变长的和串行的任务，而GPU处理并行度较高的任务，可以最大限度地利用GPU进行病毒检测。GPU可以使用很少的字节来确定是否可能与数据库中的某个特征匹配，然后GPU再确认所有的匹配。

产品：Radeon HD 4850 ATI 显示芯片

全文总结与未来架构展望

    ● 全文总结与未来架构展望

    作为本世纪初计算机行业的最大变革，GPU所能处理的任务已经远超图形界限。通过全文分析，相信用户已经了解到了AMD在并行计算技术方面的发展历程和现状，无论是通过Stream技术将GPU用于高性能并行计算领域，还是通过计算机内的CPU-GPU异构模式来完成更多任务，AMD都在努力为用户提供更全面效率更高的解决方案。

    关于未来硬件和应用环境的适用方面，Intel是从CPU往中间走，NVIDIA是从GPU往中间走，AMD则是直接空降到了中间。Intel的CPU产品所代表的是极强的逻辑控制包括分支循环等能力和单线程处理能力，ATI和NVIDIA的GPU产品代表的是极强的数据吞吐和并行任务能力。在这两者中间，是目前高性能计算和未来的图形计算所需求的应用，也是AMD想通过CPU-GPU异构计算和Fusion所达到的目标——更为强大的分支仲裁能力和更高的并行度。让我们共同期待在CPU和GPU技术领域长期蛰伏的AMD能借助融合之势回到巅峰状态。

CPU和GPU都在演变过程中

    回到我们现在所处的编程环境来考虑，Fusion所提出的融合概念是一条非常好的解决途径。从绝对性能角度来考虑，AMD目前没有最好的CPU，ATI又没有最好的GPU，但是它可能将来会有最好的运算解决方案。而在Intel这边Larrabee还没有放弃，反而加速了。尤其是看到了Fermi之后，Intel更加确信自己的路并没有错。

    但是目前的CPU加GPU分离式异构结构并不是万灵药，它需要更复杂的节点设置和控制，还有存储以及更加特异的任务拆解方式。而融合刚好可以很大幅度的消减异构带来的影响，融合不光是成本，还有整个系统的复杂度都可以得到有效降低。当然确实想要真正融合的话，必须要有对应的指令集。

    从经济学角度讲，AMD这种直接放流处理器单元进入CPU逻辑的方法相对于开发新的指令集来的更快。AMD所提出的融合的确是个很好的方向，它能够绕开控制型结构，直接给核心提供现成的运算单元。使用这种简易直接的融合方式可以在高性能计算和并行计算领域为AMD赢得一块领地，而长远考虑仍然需要优秀的指令集和更为深层次的融合方式。

    融合与异构或许都能够受惠于Intel提出的全新AVX指令集。这种指令集可大大提高浮点、媒体和处理器密集型程序的性能，重点在于AVX从当前的128bit向量指令增加到256bit的向量指令。作为Sandybridge架构中的一个重要属性，AVX指令集可以大幅提升处理器的浮点运算功能，或许也能成为不同硬件逻辑融合的接口。

    今后一段时间内，CPU+GPU的异构计算结构将引领处理器的发展方向，这也成为下一代超级计算的发展方向，而融合还需要不断改进和成熟。目前设计GPU+CPU架构平台的指导思想是：让CPU的更多资源用于缓存，GPU的更多资源用于数据计算。把两者放在一起，不但可以减小在传输带宽上的花销，还可以让CPU和GPU这两个PC中运算速度最快的部件互为辅助。

    在文章末尾特别感谢艾维硕科技媒体公关经理，朱亮先生。从我策划这篇文章开始，他就为本文提供了重要的参考资料支持，文中有很多准确辅助内容的配图正是来自这些资料。

    本文参考与引用文献：

[1] 《定分止争-细研GPU架构流程工作原理》
[2] 《高性能运算之CUDA》 第一章 GPU通用计算
[3] 《高性能并行计算》 并行计算机发展历程
[4] 《Introduction to Parallel Computing》What is Parallel Computing
[5] 《Introduction to Parallel Computing》Flynn's Classical Taxonomy
[6] 《流处理器缘何差6倍 A/N GPU架构解析》
[7] 《ATI Radeon™ HD 5800 Series Graphics》
[8] 《图形硬件与GPU体系结构》
[9] 《DirectX支配游戏 历代GPU架构全解析》
[10] 《GPUs - Graphics Processing Units》Introduction
[11]《ATI Xenos: XBOX360 GPU》
[12]《GPU精粹2》 第29章 高性能计算的关键
[13]《GPU精粹2》 第32章 了解浮点
[14]《GPU精粹2》 第31章 把计算概念映射到GPU
[15]《ATI Stream Computing User Guide》
[16]《AMD Fusion™ Family of APUs: Enabling a Superior Immersive PC Experience》
[17]《基于图形处理器(GPU)的通用计算》
[18]《GPU Computing: Past, Present and Future with ATI Stream Technology》
[19]《Havok FX Next Gen Physics on ATI GPUs》
[20]《通用计算核动力：OpenCL技术解析》
[21]《GPU精粹3》 第31章 使用CUDA进行快速N-body仿真
[22]《GPU精粹3》 第35章 使用GPU进行病毒特征的快速匹配
[23]《GPU精粹3》 第37章 使用CUDA进行高效的随机数生成及应用