GPU大百科全书第三章:像素处理那点事儿

产品：GeForce GTX 560 nVIDIA 显示芯片

五光十色的新世界

产品：GeForce GTX 560 nVIDIA 显示芯片

像素的精彩

产品：Radeon HD 6870 AMD 显示芯片

凡事总有第一次嘛

　　第一代完全符合DirectX 8要求的图形构架均采用可编程单元来替代固定指令渲染管线，算术单元的引进成了这些构架共同的特征，它们都通过支持INT16及FX12数据格式的combine单元来执行对像素RGBA数据的运算处理。使用可编程的具备直接执行能力的算术运算单元来代替固定指令处理像素，这让程序员得以实现许多过去根本无法想象的特殊视觉效果，通过直接使用数学关系来对应图形，真实的表面光照效果、界面半反射、散射以及折射等等视觉效果让人们彻底摆脱了单纯alpha贴图的乏味。可编程shader program，尤其是Pixel Shader的出现，标志着人类正式进入了游戏应用向电影特效进军的时代。

产品：GeForce GTX 550Ti nVIDIA 显示芯片

跑！阿甘！快跑！

　　Pixel Shader2.0相对于前代最大的不同来自精度，在Pixel Shader2.0中微软第一次引入了FP24/32浮点数据作为颜色处理的基本精度，而执行这些数据的硬件也从combine转变成了功能更加强大的mini ALU。更加精确的浮点型数据让RGBA数值具备了充足的准确性，这对于最终效果的准确表达起到了决定性的作用。另外，Pixel Shader2.0还提供了更大的指令数，让程序有了比第一代Pixel Shader更好的执行效率。在Pixel Shader2.0的帮助下，程序员就好像治好了近视一样，第一次达到了正确的控制像素以及控制正确的像素的程度，3D图形终于完成了从“美妙”到“栩栩如生”的转变。

产品：Radeon HD 6850 AMD 显示芯片

打开真实世界的大门

　　得益于微软英明的指挥和领导，支持Shader Modle3.0的图形构架拥有了远比之前构架更多的寄存器资源、接近无限长度的指令执行能力以及灵活的控制操作方式，因此也就具备了远比之前构架更高的执行效率。程序员们获得了比先前所有版本都多得多的自由度，他们终于可以在支持Shader Modle3.0的硬件中近乎于不受约束的尽情堆砌指令，来实现越来越接近于现实的色彩和效果了。

产品：GeForce GTX 460 nVIDIA 显示芯片

从像素向计算的跨越

被MRT以及Shader拖累的彩虹六号

　　正当程序员为自己一次又一次的看到自由的曙光，却又一次又一次的被打回到各种束缚中而黯然落泪时，一只手轻轻地递过来一张纸巾，程序员用纸巾擦拭着眼泪，却发现纸巾下面盖着一个金光灿灿的新API——DirectX 10。程序员惊讶的半张着嘴巴，正准备说些什么的时候，微软微笑着用它特有的浑厚嗓音说：“不用问了，我叫雷锋！”

　　DirectX 10以及其所带来的Shader Modle4.0可以说为图形界翻开了全新的篇章，它创造性的引入了Unified Shader的概念，将传统的Vertex Shader和Pixel Shader从软件和硬件层面上予以统一，shader programs内部不再需要严格按照格式来区分Vertex/Geometry/Pixel。软件变了，硬件也要跟着改，所以对于支持Shader Modle4.0的硬件来说，其执行shader programs的单元也从过去的分立式固定功能变成了更加强大完整且完全统一的通用ALU。因为ALU可以对全部shader进行无差别吞吐，整个硬件的执行效率第一次在理论上达到了100%。　

　　Shader Modle4.0对像素来说有着极其重要的意义，它不仅通过统一ALU吞吐提升了硬件的执行效率，更让程序员们可以更加随心所欲的使用效率更高的指令。传统的DirectX 9硬件中的shader格式是非常固定的，Vertex Shader指令天生就是4D（X,Y,Z,A），而Pixel Shader指令因为硬件单元设计通常都是对应RGBA的3D+1D 结构的缘故，一般情况下也会写成4D。这导致了DirectX 9环境下的Pixel Shader指令无论属于何种应用，哪怕仅包含一条Z-buffer或者一条texture load，也要在指令结构上找齐成4D格式。这种格式的刻板要求极大的限制了程序员对shader尤其是Pixel Shader的发挥。在Shader Modle4.0环境下，统一且无限制的指令格式要求以及直接面向底层ALU的特点让程序员可以大胆的直接使用更加灵活的1D、2D指令以及各种算数函数，而不用担心任何来自硬件方面的限制，这让Shader Modle4.0的效率和灵活度提升到了一个新的高度。

　　与此同时，由于对最底层运算单元的直接开放，人们忽然发现原来GPU里竟然蕴藏着如此丰富的运算资源。常规GPU用来处理shader的大规模并行ALU，本身可以轻松的拥有数倍甚至数十倍于CPU的吞吐能力，通过Shader Modle4.0面向ALU的开放，现在程序员们可以通过编程手段将这些原本用于处理像素效果的运算单元拿出来进行数学计算。像素处理，终于开始了自己从图形向计算的跨越。

产品：GeForce GTX 570 nVIDIA 显示芯片

从计算到图形的回归

　　有矛盾就要被解决，有困难就要找雷锋。于是在程序员们（这次还包括了大量非图形界的程序员）凄楚的目光注视下，微软再次拿出了解决上一个版本问题的全新版本——DirectX 11以及Shader Modle5.0。在Shader Modle5.0中，微软引入了两个重要的概念：并行kernel及Compute Shader，前者通过引入kernel并行执行的形式来解决ALU利用率的问题，而后者则通过打破几何关联性的方式将ALU的运算能力真正释放了出来。

Compute Shader实现的1000光源场景　　

　　并行kernel的作用和意义非常直白，就如同字面意思一样，并行kernel通过把不同的kernel以并行队列的方式发送给GPU，达到提升其处理效率的目的。相对于并行kernel来说，Shader Modle5.0引入的Compute Shader要重要得多。取消了几何关联的Compute Shader是史上第一个完全开放的数学指令型shader，Compute Shader可以透过并行管理方便的实现数据共享，可以透过树结构和延迟操作快速执行任意过程，虽然丧失了几何关联所带来的各种自动功能让Compute Shader看上去与大多数图形过程绝缘了，但事实却恰恰相反。Compute Shader的出现，不仅没有进一步的将通用计算和图形计算割裂开，反倒直接打破了传统的界限和束缚，将图形和通用计算彻底联系在了一起。有了Compute Shader，显卡的通用计算能力不仅可以以最直接的数学形态被释放出来以帮助需要计算量的领域，而且还能很方便的直接被用于特效的处理，使其成为图形计算能力，ALU在经历了Shader Modle4.0短暂的运算能力分离之后，终于在Shader Modle5.0完成了回归和升华。

产品：Radeon HD 6790 AMD 显示芯片

像素的沉重灵魂

　　折腾完这么一大堆的方程、变量和指令之后，你终于完成了一个像素在一个点光源照射之下的颜色变化。如果是multi-pass render pipeline，这个像素也许就算是弄完了，要是赶上multi-light single pass render，后面还有长长的其他光源以及多光源符合效应等一大堆过程在等着呢。

全局光照场景演示　　

　　一个像素尚且如此，我们的屏幕中存在着2304000个像素（1920X1200），即便假设其中只有1/4需要处理，那也有576000个像素，即便所有这些像素都只被一个点光源照耀着，而且全部没有其他的交互作用关系，我们也要把上面那些步骤整体重复576000次才算完，这其中的运算量到底有多大，诸位可以想象一下。而如果对效果的要求很高，比如说将漫散反射定义成新光源，那么每个像素所要处理的运算量都将因为光源的激增而急剧加大，即便加入光照探针之类的手段，这巨大的运算量依旧会给现有的常规硬件带来很大的压力。而实际的游戏应用中，我们面对的效果显然不止漫散反射光源这么点而已，大量的像素间的交互作用一样要被处理，这种种处理需求加在一起，就构成了像素沉重的灵魂。

　　现在，你应该明白为什么微软带着大家忙活了十来年，也没搞定刷漆这么个简单的活了吧。

产品：GeForce GTX 580 nVIDIA 显示芯片

像素到效果的桥梁

　　接下来，硬件流水线如果要执行这些指令，就必须让其拥有符合流水线特征的身份，于是以1个像素为单位，这些指令被转换成了Thread（线程）。要实现某种特效，显然不太可能只改变一个像素，于是一堆像素的改变就变成了若干Thread的集团，为了方便硬件进行吞吐，若干Thread会合并成为CTA（线程块），它对应硬件能够执行的最小粒度，也就是NVIDIA的warp或者AMD的wavefront。若干CTA又可以组合成一个Block，这是方便程序员进行发放管理而设定的最小Thread单位。一个最小GPU执行单元比如SM可以面对若干个Block，当一个Block里的所有CTA都被执行完之后，SM就会寻找其他未被执行的Block，被划分在一起可以由同一个SM完成吞吐的Block，被称作Grid。

　　最后，很多特效都是基于全屏基础的，换句话说，屏幕内会出现大量需要更改的像素，这些像素更改所对应的全部过程就是一个kernel，这个kernel，就是由所有Grid组合成的集合。

　　你觉得有些头晕？没关系，我换个可以帮助理解的方式——因为我们要理解的是像素到画面之间的递进关系，所以我们只看像素即可。要实现特效，所要改变的最基本单位首先是像素，一个改变的最终结果对应一个像素任务（Thread）；出于提高GPU的像素吞吐效率的考量，若干个像素会被组合成一个整体集团被ALU团簇执行（CTA）；既然方便了硬件，程序员也要得到便利，所以我们又设定了一个程序员方便管理的最小单元，里面包含了若干被组合在一起的像素集团（Block）；一个ALU团簇一次能够面对若干个这样的像素集团，他们也可以被称作一个更高级的集合体（Grid）；最后，当屏幕内所有的这种最高级待改变像素集合体被执行完毕之后（kernel），特效就呈现在我们眼前了。

产品：Radeon HD 6970 AMD 显示芯片

表面的把戏

　　我们在前面对shader modle的回顾中提到过，在DirectX 10以前，这部分运算操作由专门的含有combine或者mini ALU的Pixel Shader单元来完成，而DirectX 10之后，则可以简单的理解成由ALU直接完成。接下来，就让我们轻松一下，来看看对表面的处理流程究竟是怎样的吧。

　　当经过光栅化的模型投影，或者说图元出现在流水线之后，材质单元会根据程序的要求对图元进行区域划分定位，然后从材质库中寻找对应表面区域的材质，将其拾取出来贴到已经2D化的模型平面对应的区域内。与此同时，ALU则要根据程序的要求，对不同的像素区域中的纹理进行对应的操作，比如光照探针侦测、光线关系判断等等。需要注意的是这里的所谓光线关系并非仅仅是明暗之类光照度以及光照角度那么简单，这其中还包括半漫反散射以及折射之类光线传递关系的效果。在完成上述关系的判断之后，ALU会按照结果执行程序包含的描述这些关系的对应方程，并最终经过对方程的运算得到某个像素正确的颜色数值。最后，处理完的结果将被传送至ROP单元，它会将处理好的像素与已经存在的基本材质进行混合，然后就可以输出我们能够看到的最终效果了。

　　不难发现，对物体表面效果的处理并非shader/ALU一己之力完成，它实际上是与纹理单元共同完成的。尽管shader/ALU完成了其中最重要最复杂，同时也是最为考验运算能力的环节，最终的表现结果都是由ALU决定的，但整个过程无法离开纹理单元以及材质的参与，这是为什么呢？

产品：Radeon HD 6990 AMD 显示芯片

像素离不开纹理

　　答案很简单——因为现在的ALU根本没有那个本事面对直接生成像素所带来的运算量。

　　我们在本文中反复强调过，像素的处理过程从本质上来说并不复杂，其巨大的执行难度并不来自步骤的繁琐，而是来源于对大量像素进行数学关系运算所导致的运算量，这10年来针对shader反复的折腾其实也只是因为人们对执行单元能够更加高效的处理数学关系的渴求。在以前的文章中我们曾经面对过类似的问题，当方程的数量达到一定级别之后，对于运算单元的压迫将让任何本来看上去很和谐优雅的方程式变得丑陋无比。而随着程序员和用户对效果要求的不断提升，对于像素处理的方程总量在未来将呈现出明显的只增不减的态势。更加复杂真实的光照模型，更加多变且逼近现实的光线传递效果，甚至包括更多像素透明度遮蔽所带来的混合，这些都让目前的ALU单元承受着巨大的压力。在这种情况下，要让ALU去独立生成全新的像素，为ALU添加一个近乎于100%增幅、甚至比这个还要大得多的像素处理压力，显然是不现实的。

材质操作可以大幅减轻像素处理的负担　　

　　为了减轻这种压力，人们历经10年，不断地压榨着半导体工艺的极限，以期能够在GPU内部塞下更多的运算单元；不断地改进着运算单元集合的逻辑关系，以期能够让它们尽可能高效率甚至全功率的运作起来；不断地开发着如Compute Shader之类能够尽可能多的以灵活的运作手段和更加贴近纯数学的应用方式来解决问题的方法，以此来进一步提升ALU在处理过程中的效率，并进一步压榨ALU的价值。对于材质的操作，也是这些努力中的一部分。预先烘焙好的材质可以带来大量已经具备基本效果关系的像素，这些操作上相对廉价的像素中会有相当一部分不需要被处理，直接使用材质可以大大减轻ALU单元的负担，让已经不堪重负的ALU得到喘息。

　　所以，在我们可见的未来中，对于shader的处理依旧只能跟材质操作紧密的联系起来，Direct Pixel这种东西，相对来说还是一个遥远的梦想。

产品：GeForce GTX560Ti nVIDIA 显示芯片

下一章是……番外篇？

　　对像素的处理，本质上就是对色彩相关的方程的处理，这种处理的背后又附庸着大规模的数学运算和大量的指令执行，所以像素对于硬件的逻辑结构设计，存在着极高的要求。不同的逻辑结构对于庞大数学运算和指令的吞吐以及处理能力，显然是存在差距的。每一家硬件厂商对于数学以及效率的理解都不相同，设计出来的硬件也存在着极大的差异。

　　另外，我们的活雷锋大商人微软同学非常顽皮，虽然他带领着大家不断的改进着像素的世界，但爱耍小性子的他有时候会跟这位小同学走得近一些，有时候又会和那位小朋友玩的好一点，这就导致了微软在新API规则制定时或多或少的倾向性，以及大家对每一代API意义及精髓理解方面的差异。

　　好了，有差异，就会有分歧，有分歧，就会有争执，当争执最终达到了商业竞争的你死我活以后，战争也就爆发了。

　　自shader出现至今，围绕着Pixel Shader以及相关单元设计方面的激烈竞争，可以说是人类IC史上最为灿烂的一场大碰撞，这10年间ATI/AMD与NVIDIA的此消彼长，不仅带来了甚至已经事实上打破摩尔定律的技术进步，更我们上演了一幕又一幕惊心动魄又异彩纷呈的战争大戏。宣传战、精度战、谍报战、工艺战、芯片策略战、产能战……相信经历过的人都会觉得，这10年间发生在Pixel Shader以及相关单元身上的种种奇遇，绝对可以写成一部相当跌宕起伏的小说或者剧本了。

　　在下一章的GPU大百科全书中，我们将继续关于像素的未讲完的故事。这个特别准备的番外篇最终会让你明白，究竟是怎样巨大的差异，能够让一个处理像素的单元的设计工作迸发出如此耀眼的火花，这火花又是多么的夺目璀璨。敬请期待吧。