PDF《吉林大学高性能计算中心》

吉林大学高性能计算中心 机群用户手册 V2015 Hmyu 2015/12/18 JLUHPCC 机群用户手册 v2015 -1- Build by Hmyu

一、 系统硬件信息 截至

2014 年3月, 中心整体计算能力 50TFlops, 存储能力 272TB.

中心的高性能计算平台具有高性能、高密度、绿色节能等优点.系统 规模根据校内用户调研结果按需而定,综合平衡各项性能,具有很高 的性价比和适用性. 吉林大学高性能计算平台 计算能力 60TFlops 计算节点

150 片双子刀片:每刀片含两台独立的计算节点,每节点配 置2颗Intel Xeon X5650 CPU,24GB ECC 内存

10 片双子刀片:每刀片含两台独立的计算节点,每节点配 置2颗Intel Xeon X5650 CPU,48GB ECC 内存

40 片独立刀片:每刀片一个计算节点,配置

2 颗Intel Xeon E5-2692V2,64GB ECC 内存

8 片独立刀片:每刀片一个计算节点,配置

2 颗Intel Xeon E5-2650,32GB ECC 内存(曙光)

2 台胖节点: 每节点含

4 颗Intel Xeon E7520 CPU,96GB ECC 内存,8*1T SATA 硬盘

4 台胖节点: 每节点含

4 颗Intel Xeon E7-8837 CPU, 96GB ECC 内存,8*1T SATA 硬盘 登录节点

6 台登录节点, 每节点

2 颗Intel Xeon X5650 CPU, 24GB ECC 内存 CPU 核数

5088 核 磁盘总容量 272TB 计算网络 Mellanox QDR Infiniband(40Gb) 操作系统 RedHat Linux AS 5.5+6.3 x86_64 版本 文件系统 LUSTRE 并行文件系统 1.8.5+2.3 作业调度系统 Platform LSF HPC

7 Update

6 JLUHPCC 机群用户手册 v2015 -2- Build by Hmyu

二、 系统环境设置 1. 环境变量设置脚本 环境变量设置脚本的用途是告诉系统相关的应用程序及程序依 赖的 lib 文件(.a 或.so)所在的位置. /data1/env 下的预定义环境变量脚本 文件名 用途 environments Intel

11 的编译器和 MKL 以及 Intel MPI3.2.2 的环境变量设置 intel4 Intel

11 的编译器和 MKL 以及 Intel MPI4.0.3 的环境变量设置 gnu47 GNU4.7.3 编译器环境变量设置 gnu48 GNU4.8.2 编译器环境变量设置 icompiler11 Intel 的编译器 11.1.072,只含编译器环境变量设置 icompiler13 Intel 的编译器 13.1.1,含编译器环境变量设置和 MKL 13.1.1 的环 境变量设置 openmpi1.6_gnu OpenMPI1.6.5+GNU compiler4.8.2,编译器和 MPI 环境变量设置 openmpi1.6_intel OpenMPI1.6.5+Intel compiler13.1.1,编译器和 MPI 环境变量设置 openmpi1.8_intel OpenMPI1.8+Intel compiler13.1.1,编译器和 MPI 环境变量设置 mpich3.1 MPICH3.1+Intel compiler13.1.1,编译器和 MPI 环境变量设置 impi3.2 Intel MPI 版本 3.2.2.006 impi4.0 Intel MPI 版本 4.0.3.008 impi4.1 Intel MPI 版本 4.1.1.036 mkl10 Intel MKL 版本 10.0.3.020 mkl11 Intel MKL 版本 11.1.072 mkl13 Intel MKL 版本 13.1.1 fftw3.3.4 数学库 FFTW 版本 3.3.4,编译时需要的环境变量设置,含单双精度 cmake2.8 cmake2.8.12.2 的环境变量设置脚本 2. 编译器设置 当需要部署应用程序的时候,推荐使用源码包在本地编译部署, 这样优化等级比较高的时候应用程序的执行效率会比较高. 而且可以 方便的修改编译参数和源码的代码. 主流的 C/C++编译器包括 MicroSoft 的CL、GNU 的gcc、Intel 的icc、PGI 的pgcc 及Codegear 的bcc(原来属于 Borland 公司) . Windows 上使用最多的自然是 cl,而在更广阔的平台上,gcc 则是 C/C++编译器的首选.大多数情况下,x86_64 服务器使用 intel 编译 器会获得更好的数值计算速度. 高版本的编译器校验会更严格, 因此有些时候用最新版本编译器 JLUHPCC 机群用户手册 v2015 -3- Build by Hmyu 出现大量语法错误的源码包尝试换一个较低版本的很可能会编译成 功.一般而言,应用程序使用的编程规范会滞后于编译器的更新.因 此如果不是追求新版本软件的新特性支持, 不要盲目追求高版本软件. 编译环境 CC CXX F77 FC GNU 4.1.2 gcc g++ gfortran gfortran GNU 4.4.0 gcc44 g++44 gfortran44 gfortran44 GNU 4.7.3 gcc g++ gfortran gfortran GNU 4.8.2 gcc g++ gfortran gfortran Intel All Version icc icpc ifort ifort OpenMPI All Version mpicc mpicxx mpif77 mpif90 MPICH3.1 mpicc mpicxx mpif77 mpif90 红色标记的版本在使用之前需要设置环境变量. eg.source /data1/env/gnu48 某些时候需要设置不同的编译器,intel 编译器使用不同版本之 前需要 source 一下对应的环境变量文件,gnu4.1 和4.4 编译器直接 部署到 login 节点的/usr/bin 下,因此直接引用即可,但是不同的 版本有不同版本的后缀. 例如: ./configure CC=gcc44 CXX=g++44 F77=gfortran44 FC=gfortran44 3. 数学库 注意设置 LD_LIBRARY_PATH 和PATH. PATH 设置可执行文件的搜索路径. LD_LIBRARY_PATH 设置静态库和动态库的搜索路径..a .so 据厂商测试, 最新版本的 intel mkl 的效率超过 gotoblas2 和lapack. 数学库 位置 Fftw3.0.1 /data1/soft/libs/fftw-3.0.1 Fftw3.1.2 /data1/soft/fftw3.1.2 Fftw3.2.2 /data1/soft/fftw.3.2.2 Fftw3.3.4 /data1/soft/fftw3.3.4 Gotoblas2 /data1/soft/gotoblas2-1.1.3 子目录为编译器版本 Lapack3.4.2 /data1/soft/lapack/3.4.2 子目录为编译器版本 Lapack3.5.0 /data1/soft/lapack/3.5.0 子目录为编译器版本 mkl10.0.3.020 /data1/intel/mkl/10.0.3.020 mkl11.1.072 /data1/intel/CoMPIler/11.1/072/mkl mkl13.1.1 /data1/intel/composer_xe_2013.3.163/mkl 子目录首字母:i=Intel g=GNU JLUHPCC 机群用户手册 v2015 -4- Build by Hmyu