初识高性能并行计算

    ● 初识高性能并行计算

    并行计算是指同时对多个任务或多条指令、或对多个数据项进行处理。完成此项处理的计算机系统称为并行计算机系统，它是将多个处理器（可以几个、几十个、几千个、几万个等）通过网络连接以一定的方式有序地组织起来（一定的连接方式涉及网络的互联拓扑、通信协议等，而有序的组织则涉及操作系统、中间件软件等）。

简单认识并行计算编程

    并行计算的主要目的：一是为了提供比传统计算机快的计算速度；二是解决传统计算机无法解决的问题。同时科学与工程计算对并行计算的需求是十分广泛的，但所有的应用可概括为三个方面：

    1、计算密集型（Compute-Intensive）

    这一类型的应用问题主要集中在大型科学工程计算与数值模拟（气象预报、地球物理勘探等）。

    2、数据密集型 (Data-Intensive)

    Internet的发展，为我们提供了大量的数据资源，但有效地利用这些资源，需要进行大量地处理，且对计算机的要求也相当高，这些应用包括数字图书馆、数据仓库、数据挖掘、计算可视化。

    3、网络密集型 (Network-Intensive)

    通过网络进行远距离信息交互，来完成用传统方法不同的一些应用问题。如协同工作、遥控与远程医疗诊断等。

并行度极高的RV870拥有1600个流处理器

    GPU所擅长应对的并行计算问题，正是我们之前提到的计算密集型（Compute-Intensive）问题。因为GPU内部大量充斥着ALU运算单元阵列，这种单元应对并行度高运算密度大的问题比CPU获取的加速比要高很多倍。

理解串行运算与并行运算

    通过上图我们可以较为容易地理解串行运算和并行运算之间的关系。传统的串行编写软件具备以下几个特点：要运行在一个单一的具有单一中央处理器（CPU）的计算机上；一个问题分解成一系列离散的指令；指令必须一个接着一个执行；只有一条指令可以在任何时刻执行。

    而并行计算则改进了很多重要细节：要使用多个处理器运行；一个问题可以分解成可同时解决的离散指令；每个部分进一步细分为一系列指示；每个部分的问题可以同时在不同处理器上执行。