<font face="verdana,sans-serif">Hi Gus,</font><div><font face="verdana,sans-serif"><br></font></div><div><font face="verdana,sans-serif">Thanks for your reply, with your advise I build openMPI.</font></div><div><font face="verdana,sans-serif">I have  standard nodes list as</font></div>

<div><font face="verdana,sans-serif">node01 np=4</font></div><div><font face="verdana,sans-serif"><br></font></div><div><font face="verdana,sans-serif">Thanks</font></div><div><font face="verdana,sans-serif">Govind<br></font><br>

<div class="gmail_quote">On 15 June 2010 17:20, Gus Correa <span dir="ltr">&lt;<a href="mailto:gus@ldeo.columbia.edu">gus@ldeo.columbia.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">

Hi Govind<br>
<br>
What is the content of your Torque nodes file?<br>
(located at /var/torque/server_priv/nodes or equivalent)<br>
It should list all nodes and the number of processors/cores on each,<br>
Something like this:<br>
<br>
node01 np=2<br>
node02 np=8<br>
...<br>
node47 np=4<br>
...<br>
<br>
Maybe I asked you this before in the OpenMPI list, not sure.<br>
<br>
I hope this helps,<br>
Gus Correa<br>
---------------------------------------------------------------------<br>
Gustavo Correa<br>
Lamont-Doherty Earth Observatory - Columbia University<br>
Palisades, NY, 10964-8000 - USA<br>
---------------------------------------------------------------------<br>
<div><div></div><div class="h5"><br>
<br>
Govind wrote:<br>
&gt; Hi,<br>
&gt;<br>
&gt; I have am openmpi build with tm support<br>
&gt; When i run the mpi job requesting for two nodes and 4 core it run only<br>
&gt; on single node.<br>
&gt;<br>
&gt;  &gt;cat mpipbs-script.sh<br>
&gt; #PBS -N mpipbs-script<br>
&gt; #PBS -q short<br>
&gt; ### Number of nodes: resources per node<br>
&gt; ### (4 cores/node, so ppn=4 is ALL resources on the node)<br>
&gt; #PBS -l nodes=2:ppn=4<br>
&gt; echo `cat $PBS_NODEFILE`<br>
&gt; NPROCS=`wc -l &lt; $PBS_NODEFILE`<br>
&gt; echo This job has allocated $NPROCS processors<br>
&gt; /opt/openmpi-1.4.2/bin/mpirun /scratch0/gsongara/mpitest/hello<br>
&gt;<br>
&gt; It   show only one node here is the output<br>
&gt; ===============<br>
&gt; node47.beowulf.cluster node47.beowulf.cluster node47.beowulf.cluster<br>
&gt; node47.beowulf.cluster<br>
&gt; This job has allocated 4 processors<br>
&gt; Hello World! from process 1 out of 4 on node47.beowulf.cluster<br>
&gt; Hello World! from process 2 out of 4 on node47.beowulf.cluster<br>
&gt; Hello World! from process 3 out of 4 on node47.beowulf.cluster<br>
&gt; Hello World! from process 0 out of 4 on node47.beowulf.cluster<br>
&gt; ===============<br>
&gt;<br>
&gt; torque config<br>
&gt; set queue short resources_max.nodes = 4<br>
&gt; set queue short resources_default.nodes = 1<br>
&gt; set server resources_default.neednodes = 1<br>
&gt; set server resources_default.nodect = 1<br>
&gt; set server resources_default.nodes = 1<br>
&gt;<br>
&gt; I also trying adding this parameter to maui as advised in some  old<br>
&gt; thread but does not help<br>
&gt; JOBNODEMATCHPOLICY     EXACTNODE<br>
&gt; ENABLEMULTINODEJOBS   TRUE<br>
&gt; NODEACCESSPOLICY         SHARED<br>
&gt;<br>
&gt;<br>
&gt; Can someone please advise if i missing anything here.<br>
&gt;<br>
&gt; Regards<br>
&gt; Govind<br>
&gt;<br>
&gt;<br>
</div></div>&gt; ------------------------------------------------------------------------<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; torqueusers mailing list<br>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br>
_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</blockquote></div><br></div>