<div>Hello:</div>
<div>&nbsp;</div>
<div>I have a problem about running jobs on multiple nodes (n&gt;1)</div>
<div>&nbsp;</div>
<div>when I use qsub -l nodes=2:ppn=2 for testing, </div>
<div>but it just select 2 cpus&nbsp;in one node instead of choosing 2 cpus per node, which is total 4 cpus to run</div>
<div>&nbsp;</div>
<div>my test script is :</div>
<div>#=========================</div>
<div>cd $PBS_O_WORKDIR</div>
<div>NPROCS=`wc -l &lt; $PBS_NODEFILE`<br>echo $NPROCS<br>cat $PBS_NODEFILE<br>echo &quot;....&quot;<br>/opt/openmpi/bin/mpirun -np $NPROCS -machinefile $PBS_NODEFILE hostname</div>
<div>#=========================</div>
<div>if this works properly, it should produce the output like this:</div>
<div>#==============</div>
<div>4</div>
<div>venus</div>
<div>venus</div>
<div>node2</div>
<div>node2</div>
<div>...</div>
<div>venus</div>
<div>venus</div>
<div>node2</div>
<div>node2</div>
<div>#==========</div>
<div>&nbsp;</div>
<div>however, the output is </div>
<div>#========</div>
<div>2<br>venus<br>venus<br>....<br>venus<br>venus</div>
<div>#=========</div>
<div>&nbsp;</div>
<div>and my pbsnodes output is </div>
<div>
<p><a href="mailto:sol@venus:~$">sol@venus:~$</a> pbsnodes<br>venus<br>&nbsp;&nbsp;&nbsp;&nbsp; state = free<br>&nbsp;&nbsp;&nbsp;&nbsp; np = 7<br>&nbsp;&nbsp;&nbsp;&nbsp; ntype = cluster<br>&nbsp;&nbsp;&nbsp;&nbsp; status = opsys=linux,uname=Linux venus 2.6.22-2-amd64 #1 SMP Thu Aug 30 23:43:59 UTC 2007 x86_64,sessions=3588 27920,nsessions=2,nusers=1,idletime=390,totmem=48636244kb,availmem=48281432kb,physmem=33013072kb,ncpus=8,loadave=
0.00,netload=426820530,state=free,jobs=,varattr=,rectime=1194834426</p>
<p>node1<br>&nbsp;&nbsp;&nbsp;&nbsp; state = down<br>&nbsp;&nbsp;&nbsp;&nbsp; np = 8<br>&nbsp;&nbsp;&nbsp;&nbsp; ntype = cluster<br>&nbsp;&nbsp;&nbsp;&nbsp; status = opsys=linux,uname=Linux node1 2.6.22-2-amd64 #1 SMP Thu Aug 30 23:43:59 UTC 2007 x86_64,sessions=4486,nsessions=1,nusers=1,idletime=281,totmem=49013744kb,availmem=31803536kb,physmem=33013044kb,ncpus=8,loadave=
5.79,netload=113284598,state=free,jobs=,varattr=,rectime=1194629635</p>
<p>node2<br>&nbsp;&nbsp;&nbsp;&nbsp; state = free<br>&nbsp;&nbsp;&nbsp;&nbsp; np = 8<br>&nbsp;&nbsp;&nbsp;&nbsp; ntype = cluster<br>&nbsp;&nbsp;&nbsp;&nbsp; status = opsys=linux,uname=Linux node2 2.6.22-2-amd64 #1 SMP Thu Aug 30 23:43:59 UTC 2007 x86_64,sessions=? 15201,nsessions=? 15201,nusers=0,idletime=1208,totmem=49013744kb,availmem=48817340kb,physmem=33013044kb,ncpus=8,loadave=
0.00,netload=60742509,state=free,jobs=,varattr=,rectime=1194834438</p>
<p>node3<br>&nbsp;&nbsp;&nbsp;&nbsp; state = free<br>&nbsp;&nbsp;&nbsp;&nbsp; np = 8<br>&nbsp;&nbsp;&nbsp;&nbsp; ntype = cluster<br>&nbsp;&nbsp;&nbsp;&nbsp; status = opsys=linux,uname=Linux node3 2.6.22-2-amd64 #1 SMP Thu Aug 30 23:43:59 UTC 2007 x86_64,sessions=4993,nsessions=1,nusers=1,idletime=387,totmem=33013044kb,availmem=32828948kb,physmem=33013044kb,ncpus=8,loadave=
0.00,netload=57023444,state=free,jobs=,varattr=,rectime=1194834401</p>
<p>venus and node2 and node3 are free..</p>
<p>How can I solve this problem ?</p>
<p>Thanks for help...</p>
<p>Chien-Pin Chou</p></div>