高性能计算 培训班

DoubleX

第三章  Linux 机群
    本章介绍在微机环境中配置、安装 MPI 并行环境。为方便叙述，这里仅给出最简单的配置方法
  而暂不考虑其它问题，如网络性能、网络安全等等。
    本章叙述的方法以 RedHat–9 Linux 为例，如果使用其它 Linux 系统在一些细节上会略有差异。
     引言
  • Linux 机群系统己成为最流行的高性能计算平台，在高性能计算机中占有越来越大的比重 • 系统规模可从单机、少数几台联网的微机直到包括上千个结点的大规模并行系统  • 既可作为廉价的并行程序调试环境，也可设计成真正的高性能并行机  • 普及并行计算必不可少的工具  • 用于高性能计算的机群系统在结构上、使用的软件工具上通常有别于用于提供网络、数据库服务的机群 (后者亦称为服务器集群)
  • 参考资料: 用关键字 “cluster howto” 在网上搜索相关材料 . . .<
构建 Linux 机群的要素
§3.2
  • 单台或联网的多台微机或服务器
  • Linux 系统: RedHat, Debian, SuSE, Mandrake, . . .
  • (可选) 高速内联网络: 千兆以太网，             Myrinet, QsNet, Dolphin SCI , Infiniband , . . .
  • 编译系统: gcc/g++/g77, PGI , Intel , . . .
  • MPI 系统: MPICH , LAM-MPI , . . .
  • 网络文件系统: NFS, PVFS , Lustre . . .
  • 资源管理与作业调度: PBS , Condor , LSF , . . .
  • 数学库:
    BLAS MKL, ATLAS , Kazushige Goto’s BLAS (推荐)
    FFTW http://www.fftw.org/
    LAPACK http://www.netlib.org/lapack/
    ScaLAPACK http://www.netlib.org/scalapack/
    ...
  • 其它工具:
    PETSc http://www-unix.mcs.anl.gov/petsc/petsc-2/
    UG http://cox.iwr.uni-heidelberg.de/~ug/

几种典型的 Linux 机群结构
§3.3
       单台微机
§3.3.1
  • 可以有一个或多个处理器
  • 安装 Linux 系统, C、  Fortran 编译器, 以及 MPICH 或 LAM-MPI
  • 模拟并行: 一个处理器上运行多个进程或线程
  • 真实并行: 多个处理器上运行多个进程或线程
  • 通过共享内存或 TCP/IP 进行通信
       由几台日常使用的微机构成的机群
§3.3.2
  • 通常连接在同一个局域网, 通信通过网络进行
  • 安装 Linux, 编译环境, MPICH 或 LAM-MPI
  • 为方便使用, 最好设立一个共享的目录 (NFS), 以及一个 NIS 或 LDAP 服务器
       专用并行机群
§3.3.3
    指专门建造的用于并行计算的机群。
    通常单独形成一个局域网，再通过一个网关连接到 Internet
  •
    通常使用内部 IP 地址 (如 192.168.0.x), 对外部而言只有网关是可见的
  •
    可根据需要设立一至数台服务器，分别承担网关、时钟同步 (NTP)、NIS/LDAP、网络文件系统
  •
          资源管理、    用户登录、作业调度等服务
    (NFS)、
    通过 IP 伪装 (IP Masquerading) 或网络地址转换 (NAT , Network Address Translation) 使得内部
  •
    结点能够直接访问 Internet (ipchains 或 iptables)
    利用LVS (Linux Virtual Server) 将外部用户分配到登录结点
  •
    大型机群通常采用安装在机柜中的机架式或刀片式服务器，并有专门配备的 UPS 及空调
  •
    几个机群实例: CRack, LSSC–I , LSSC–II
本帖转自52mc论坛