189 8069 5689
先申明哈，内容是复制博友的。希望对你有帮助！linux集群中MPI的并行计算环境的简单配置
创新互联专注于三元企业网站建设,响应式网站,商城开发。三元网站建设公司,为三元等地区提供建站服务。全流程定制制作，专业设计，全程项目跟踪，创新互联专业和态度为您提供的服务
MPI的安装及简单测试
MPI有多种实现版本，如Argonne国家实验室开发的MPICH，Edinburgh开发的CHIMP以及Ohio State University开发的LAM/MPI。其中MPICH是一种最重要的MPI实现，它可以从网上免费获得Linux和Windows版本。它的开发和MPI规范的制定是同步的，因此最能反映MPI的变化和发展，MPICH由此成为实现MPI的最成熟和最广泛使用的版本。本文安装的MPI软版本为MPICH-1.2.6。
安装步骤：
1、从网上下载MPICH压缩包（mpich.tar.gz）
2、解压：# tar zxvf mpich.tar.gz
3、进入解压后的目录： # cd mpich-1.2.6
4、配置： # ./configure –prefix=/usr/local/mpich
其中/usr/local/mpich为软件所安装的目录
5、编译 # make
6、安装 # make install
7、配置该软件的用户搜索路径
Root 用户下：修改/etc/profile 加入
PATH=$PATH:/usr/local/mpich/bin
MANPATH=$MANPATH:/usr/local/mpich/man
Export PATH MANPATH
普通用户下：修改~/.bash_profile 加入
export PATH=$PATH:/usr/local/mpich/bin
8、修改/usr/local/mpich/share/machines.LINUX文件，加入集群中可以用来做并行计算的主机名(八节点集群为例)
加入的内容为：
server
pc1
pc2
pc3
pc4
pc5
pc6
pc7
9、MPI环境的简单测试
在服务器节点上，以mpich 自带的计算PI值的并行计算程序cpi对所搭建的集群环境做简单的测试。
步骤：
在/usr/local/mpich/example目录下
1 编译 # make cpi
2 启动并行计算 # mpirun –np N cpi (其中N 为节点机的个数)
可以看到PI值及误差和计算时间，说明环境搭建基本成功。至此，所组建的MPI集群基本成功。
存储NAS 文件操作
df -h查看空间使用情况
警惕超大 nohup.out
任务提交
任务提交前
qhost--查看集群负载状态
qsub / qsub-sge.pl--提交任务
qstat--查看任务状态
qdel / qmod--任务控制
任务查看
qhost -j---列出所有用户在每个节点上的任务
qhost -q---列出每个节点上每个队列的任务数
qhost -u username---列出某个用户在每个节点上的任务
提交命令
qsub -cwd -q queue.q test.sh
qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh
任务查看2
qstat -u username---查看某个用户的任务
qstat -u *,---查看所有用户的任务
qstat –j jobs_ID---查看某个任务的详细信息
查看.e和.o文件
.e：错误信息
.o：标准输出
任务控制
qdel jobID---删除某个任务
qdel -u username---删除某个用户的所有任务
qmod -s jobID--挂起某个任务
qmod -us jobID---继续运行某个挂起的任务
按任务占用内存大小选择相应的队列
查看队列 qstat -g c
QUEUE
PE.q--并行
cloud.q--云平台
general.q--96G节点
middle.q--96G节点
great.q--大内存节点
plus.q--大内存节点
single.q--Trinity组装
single._p.q---Trinity组装（占用内存较大）
TOP监视
编辑于 2017-04-21
姓名：张昊楠 学号：21021210691
存储NAS 文件操作
df -h查看空间使用情况
警惕超大 nohup.out
ls 当前路径下的文件列表
pwd 查看当前路径
cd 进入某个文件夹
任务提交
任务提交前
qhost--查看集群负载状态
qsub / qsub-sge.pl--提交任务
qstat--查看任务状态
qdel / qmod--任务控制
任务查看
qhost -j---列出所有用户在每个节点上的任务
qhost -q---列出每个节点上每个队列的任务数
qhost -u username---列出某个用户在每个节点上的任务
提交命令
qsub -cwd -q queue.q test.sh
qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh
任务查看2
qstat -u username---查看某个用户的任务
qstat -u *,---查看所有用户的任务
qstat –j jobs_ID---查看某个任务的详细信息
查看.e和.o文件
.e：错误信息
.o：标准输出
任务控制
qdel jobID---删除某个任务
qdel -u username---删除某个用户的所有任务
qmod -s jobID--挂起某个任务
qmod -us jobID---继续运行某个挂起的任务
按任务占用内存大小选择相应的队列
查看队列 qstat -g c
QUEUE
PE.q--并行
cloud.q--云平台
general.q--96G节点
middle.q--96G节点
great.q--大内存节点
plus.q--大内存节点
single.q--Trinity组装
single._p.q---Trinity组装（占用内存较大）
1.2.并行技术
这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。
2.使用MPICH构建一个四节点的集群系统
这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。
2.1 所需设备
1).4台采用Pentium II处理器的PC机，每台配
置64M内存，2GB以上的硬盘，和EIDE接口的光盘驱动器。
2).5块100M快速以太网卡，如SMC 9332 EtherPower 10/100(其中四块卡用于连接集群中的结点，另外一块用于将集群中的其中的一个节点与其它网络连接。)
3).5根足够连接集群系统中每个节点的，使用5类非屏蔽双绞线制作的RJ45缆线
4).1个快速以太网(100BASE-Tx)的集线器或交换机
5).1张Linux安装盘
2.2 构建说明
对计算机硬件不熟的人，实施以下这些构建步骤会感到吃力。如果是这样，请找一些有经验的专业人士寻求帮助。
1. 准备好要使用的采用Pentium II处理器的PC机。确信所有的PC机都还没有接上电源，打开PC机的机箱，在准备与网络上的其它设备连接的PC机上安装上两块快速以太网卡，在其它的 PC机上安装上一块快速以太网卡。当然别忘了要加上附加的内存。确定完成后盖上机箱，接上电源。
2. 使用4根RJ45线缆将四台PC机连到快速以太网的集线器或交换机上。使用剩下的1根RJ45线将额外的以太网卡(用于与其它网络相连的那块，这样机构就可以用上集群)连接到机构的局域网上(假定你的机构局域网也是快速以太网)，然后打开电源。
3. 使用LINUX安装盘在每一台PC机上安装。请确信在LINUX系统中安装了C编译器和C的LIB库。当你配置TCP/IP时，建议你为四台PC分别指定为192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一台PC为你的服务器节点(拥有两块网卡的那台)。在这个服务器节点上的那块与机构局域网相连的网卡，你应该为其指定一个与机构局域网吻合的IP地址。
4.当所有PC都装好Linux系统后，编辑每台机器的/etc/hosts文件，让其包含以下几行：
192.168.1.1 node1 server
192.168.1.2 node2
192.168.1.3 node3
192.168.1.4 node4
编辑每台机器的/etc/hosts.equiv文件，使其包含以下几行：
node1
node2
node3
node4
$p#
以下的这些配置是为了让其能使用MPICH’s p4策略去执行分布式的并行处理应用。
1. 在服务器节点
，建一个/mirror目录，并将其配置成为NFS服务器，并在/etc/exports文件中增加一行：
/mirror node1(rw) node2(rw) node3(rw) node4(rw)
2. 在其他节点上，也建一个/mirror目录，关在/etc/fstab文件中增加一行：
server:/mirror /mirror nfs rw,bg,soft 0 0
3. /mirror这个目录从服务器上输出，装载在各个客户端，以便在各个节点间进行软件任务的分发。
4. 在服务器节点上，安装MPICH。MPICH的文档可在
5.任何一个集群用户(你必须在每一个节点新建一个相同的用户)，必须在/mirror目录下建一个属于它的子目录，如 /mirror/username，用来存放MPI程序和共享数据文件。这种情况，用户仅仅需要在服务器节点上编译MPI程序，然后将编译后的程序拷贝到在/mirror目录下属于它的的子目录中，然后从他在/mirror目录下属于它的的子目录下使用p4 MPI策略运行MPI程序。
2.3 MPICH安装指南
1.如果你有gunzip，就d下载mpich.tar.gz，要不然就下载mpich.tar.Z。你可以到下载，也可以使用匿名FTP到的pub/mpi目录拿。(如果你觉得这个东西太大，你可以到pub/mpi/mpisplit中取分隔成块的几个小包，然后用cat命令将它们合并)
2.解压：gunzip ;c mpich.tar.gz tar xovf-(或zcat mpich.tar.Z tar xovf-)
3.进入mpich目录
4.执行：./configure为MPICH选择一套适合你的实际软硬件环境的参数组，如果你对这些默认选择的参数不满意，可以自己进行配置(具体参见MPICH的配置文档)。最好选择一个指定的目录来安装和配置MPICH，例如：
./configure -prefix=/usr/local/mpich-1.2.0
5.执行：make make.log 这会花一段较长的时间，不同的硬件环境花的时间也就不同，可能从10分钟到1个小时，甚至更多。
6.(可选)在工作站网络，或是一台单独的工作站，编辑mpich/util/machines/machines.xxx(xxx是MPICH对你机器体系结构取的名称，你能很容易的认出来)以反映你工作站的当地主机名。你完全可以跳过这一步。在集群中，这一步不需要。
7.(可选)编译、运行一个简单的测试程序：
cd examples/basic
make cpi
ln ;s ../../bin/mpirun mpirun
./mpirun ;np 4 cpi
此时，你就在你的系统上运行了一个MPI程序。
8.(可选)构建MPICH其余的环境，为ch_p4策略使
用安全的服务会使得任何启动速度加快，你可以执行以下命令构建：
make serv_p4
(serv_p4是一个较新的P4安全服务的版本，它包含在MPICH 1.2.0版中)，nupshot程序是upshot程序的一个更快版本，但他需要tk 3.6版的源代码。如果你有这个包，你就用以下命令可以构建它：
make nupshot
9.(可选)如果你想将MPICH安装到一个公用的地方让其它人使用它，你可以执行：
make install 或 bin/mpiinstall
你可以使用-prefix选项指定MPICH安装目录。安装后将生成include、lib、bin、sbin、www和man目录以及一个小小的示例目录，
到此你可以通告所有的用户如何编译、执行一个MPI程序。
如果您维护多个Linux服务器，则有时您希望在所有服务器上运行相同的命令。例如，您可能希望安装/升级软件包，修补内核以及更新配置等。如果您必须登录到每个服务器并手动运行相同的命令，那将是一项繁琐的工作。
这篇文章是关于一个管理工具，它允许您一次在许多不同的机器上运行相同的命令。
通过ClusterSSH，您可以同时在多个主机上进行相同的更改。它提供了一个特殊的控制台界面，您在控制台中输入的任何内容都会自动发送到任意数量的主机。
在Linux上安装ClusterSSH
在Ubuntu，Debian或Linux Mint上安装ClusterSSH：
$ sudo apt-get install clusterssh
要在CentOS或RHEL上安装ClusterSSH，首先需要设置EPEL存储库，然后运行以下命令。
$ sudo yum install clusterssh
要在Fedora上安装ClusterSSH，只需运行：
$ sudo yum install clusterssh
配置ClusterSSH
安装后，第一步是定义要在其上运行命令的主机群集。为此，请按如下方式创建系统范围的ClusterSSH配置文件。
$ sudo vi / etc / clusters
clusters = my_cluster my_cluster2
my_cluster = host1 host2 host3 host4
my_cluster2 = host5 host6
如果您需要特定于用户的ClusterSSH配置，只需使用〜/ .csshrc而不是/ etc / clusters。在上面的示例配置中，我定义了两个集群：“my_cluster”由四个主机组成，“my_cluster2”包含两个主机。群集是您要登录并运行命令的一组主机。
当您使用任何用户定义的群集启动ClusterSSH时，它将使用ssh登录到群集中的各个主机，并在主机上运行任何用户类型的命令。
启动ClusterSSH
要启动ClusterSSH，请按如下方式运行cssh命令。
$ cssh -l dev my_cluster
在上文中，“dev”是群集中所有主机的登录ID，“my_cluster”是群集名称。
如果需要，可以指定单个主机名而不是群集名。
$ cssh -l dev host1 host2 host3
一旦CSSH执行命令时，它会弹出用于单个主机的XTerm窗口，以及标记的一个小窗口“CSSH [2]”，其是ClusterSSH控制台窗口。无论您在控制台窗口中输入什么，都将同时出现在各个主机的XTerm窗口中。基本上，您可以通过单一控制台窗口控制所有XTerm窗口。
如果要将某些命令运行到特定的XTerm窗口，只需将焦点切换到Xterm窗口，然后像往常一样键入命令。
以下屏幕截图显示了ClusterSSH的运行情况，其中群集中有五个主机，左上角的控制台窗口是您应该键入要在所有五个主机上运行的命令的位置。
转自 嘉为教育-rhce认证_rhce培训_linux培训_linux认证_linux考证