极线程分发处理器

来自ATI的Shader Model3——RADEON X1000系列技术分析

http://review.gzeasy.com/ 【转载】 2005年10月08日 13:50 评论

RADEON X1000系Pixel Shader结构——极线程分发处理器

在介绍RADEON X1000系Pixel Shader的线程技术之前，我们有必要先看看NVIDIA一年多前开始实作的SM3 GPU——GeForce 6800是长得怎样的。

按照NVIDIA在IEEE（国际电气和电子工程师协会）Hotchips 16会议上发表的论文，在GeForce 6800中，为了隐藏在显存中查找纹理所消耗的数百个时钟周期，在每个Pixel Shader（像素着色器）中都维持着供数以百计同时运作的Threading的状态（线程）(To hide the latency of texture lookups that fetch from external memory, each fragment processor maintains state for hundreds of in-flight threads)：

上图就是在该论文中的GeForce 6800体系架构图，图中的Shader thread dispatch就是GeForce 6800的着色器线程分发器。

屏幕上的顶点、像素都是非常好的并行化处理对象，因此在GPU本身就是一个非常典型的多线程化处理器，每个顶点、每个像素都可以看作是一个线程（Thread）。在GeForce 6800的Vertex Shader中，每个VS都有三个Thread同时运行，而在Pixel Shader这一级则是更加庞大。

ATI在RADEON X1000系的产品中提出了Ultra-Threading Dispatch Processor的概念，其样式也是有点类似于GeForce 6800的概念，所不同的是ATI更愿意大方地公开了其设计的一些技术参数。

Ultra-Threading Dispatch Processor（极多线程分发处理器）

按照ATI的白皮书介绍，在R520（RADEON X1800）的Pixel Shader Engine（像素着色器引擎）中包含了一个中枢分发单元（central dispatch unit，CDU），这个CDU能够为一个Pixel Shader Processor Array（像素着色处理器矩阵）分发高达512个线程。这些像素着色处理器被按照4个一组的方式绑在一组，每个这样的组被称做Quad Pixel Shader Cores（四方像素着色器内核）。各个内核都是彼此相对自立的处理单元能够处理一个2x2的像素块。这种QUAD的设计其实是自R300就引入的，在NVIDIA的GF6、GF7上也都是类似的单元组成配置方式。

一旦CDU觉知到某个QUAD处于闲置状态的时候，就会马上递交一个新的线程供其执行，这样的情况多数发生QUAD在等待数据或者完成了任务的时候。根据ATI的介绍，这样的设计可以让X1800的Pixel Shader内核维持超过90%的利用率。

为了维持高效的线程切换，ATI给X1800设计了一个大规模的、能同时读写（多端口）、高带宽的通用寄存器堆，所有的连接总线都是FP32位宽，确保Pixel Shader在任何时候都能高效地完成FP32精度计算。

ATI的Ultra-Threading设计还能够提高Pixel Shader 3.0动态分支的性能。动态分支被认为是Pixel Shader 3.0的重要新特性，可以让Pixel Shader根据计算出来的数值来跑不同的分支或者循环。如果正确使用的话，动态分支能显著地提高性能。

例如在使用shadow map的时候，如果要对阴影作边缘柔和取样，使用动态分支可以在遇到不需要作取样的像素例如的时候就跳过去，以节省大量的pixel shader计算资源。

在上图中，我们只需要对右下方遮罩中的白色区域作柔和阴影取样，而黑色的部分就可以省略掉这个柔和阴影取样步骤（这张图片左上、右上、左下三个部分都是用来算出右下方的遮罩）。和找出遮罩的动作相比，柔和阴影取样的性能开销要高得多，这样使用动态分支剔除无需计算阴影取样的像素就很划算了。

但是需要注意的是，目前GPU的Pixel Shader都是采用传统的SIMD架构，动态分支的运作往往会破坏掉程序的并行性，使得动态分支带来的益处被掩盖掉。

我们前面提到，包括R520、NV40、G70等在内的shader model 3.0 GPU都是采用QUAD组（4个pixel shader一组）搭配方式，同一个QUAD内同一个周期只能跑同一类指令，以简化控制电路。例如QUAD内的4个像素都跑add指令，那就很舒服了，Quad只需要一个周期搞定这四个像素。

但是如果这4个像素各自要跑不是同一类指令，而分别是像素A跑add指令、像素B跑mul指令、像素C跑madd指令、像素D跑sub指令的话，那么这个QUAD就需要4个周期才能完成这4个像素的处理，变成了类似SISD的样子了，性能下降到1/4，这是单周期多数据处理器跑分支的天生问题。如下：

周期	SIMD子单元1	SIMD子单元2	SIMD子单元3	SIMD子单元4
1	add	nop (空操作,资源浪费掉了)	nop	nop
2	nop	mul	nop	nop
3	nop	nop	madd	nop
4	nop	nop	nop	sub

我们在介绍NVIDIA NV40/G70的时候就提到，Vertex Shader属于MIMD体系（多指令多数据流，虽然ALU也是SIMD，但是各ALU能独立跑不同的VS指令。NV40有6个VS，一共6个4D ALU和6个1D ALU，能够分别跑12条不同的VS指令），分支指令的开销几乎可以看成是免费的，执行效率非常高，但是其Pixel Shader的动态分支执行还是属于比较初始的阶段。

在执行动态分支上情况也是类似，如果QUAD内有两个Pixel（像素）跑的分支是一样，这个QUAD就可以看作成一个SI2D（单指令双数据流）的SIMD单元。出现SI2D的情况，理论上就意味着这个QUAD的效能降低50%。

一般来说，像阴影边缘柔和的动态分支，也就是两条分支而已（在阴影边缘内不需要取样和在阴影边缘外需要取样）。

上图所说的是指ATI X1000在跑分支程序的时候，能够把屏幕分成很多个4X4的小块来分别处理，在这样小的一个像素块里碰到两条不同的分支的机会就非常小，降低了出现SI2D的机会。

而NVIDIA在其开发指南中表示：

“in order for it to work optimally, branches should be fairly coherent (for example, over regions of roughly 30 x 30 pixels).”

这段话的意思就是，由于NV40、G70的分支指令开销较大，如果想在NV40、G70上高效地执行动态分支，最好是屏幕上比较大的一块像素来执行，例如30X30。而且在这个30X30的像素块内要尽量确保都是跑同一个分支，如果像素块内有其它分支，那么这一整个像素块的处理速度都会下降。

ATI还特别提到了自己的分支单元没有占用ALU时间，在分支开销上要比传统架构低不少：

上图其实分别是NVIDIA GeForce 6800和ATI X1800的动态分支指令之一的开销比较，对应NVIDIA的编程手册，可以看出ATI所举的例子就是最花时间的“If /else / endif”指令。大家可以看到，如果跑同样的两条分支，在执行if/end/endif分支指令的时候，“传统架构”需要花20个周期才能完全跑完，而ATI的X1000系只需要14个周期。