<HTML><BODY>      
    Sure, I will want to stick to the exact same nodes. In my case I don't need to worry about free slots on the nodes I am specifying exclusive usage with -W x=&quot;NACCESSPOLICY:SINGLEJOB&quot;.<BR>
I actually oversubscribe the cores as some processes have very little to do, that is part of the performance optimisation I want to retain<BR>
<BR>
Thanks again<BR>
tiago<BR>
<BR>
&gt; -----Original Message-----<BR>
&gt; From: <a href="mailto:torqueusers-bounces@supercluster.org">torqueusers-bounces@supercluster.org</a> [mailto:torqueusers- <BR>
&gt; bounces@supercluster.org] On Behalf Of Michel B&eacute;land<BR>
&gt; Sent: 20 February 2014 13:10<BR>
&gt; To: <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> <BR>
&gt; Subject: Re: [torqueusers] qsub and mpiexec -f machinefile<BR>
&gt; <BR>
&gt; Tiago Silva (Cefas) wrote:<BR>
&gt; <BR>
&gt; &gt; Thanks, this seems promising. Before I try building with openmpi, if<BR>
&gt; I<BR>
&gt; &gt; parse PBS_NODEFILE to produce my own machinefile for mpiexec, for<BR>
&gt; &gt; instance following my previous example:<BR>
&gt; &gt;<BR>
&gt; &gt; n100<BR>
&gt; &gt; n100<BR>
&gt; &gt; n101<BR>
&gt; &gt; n101<BR>
&gt; &gt; n101<BR>
&gt; &gt; n101<BR>
&gt; &gt;<BR>
&gt; &gt; won't mpiexec start mpi processes with ranks 0-1 onto n100 and with<BR>
&gt; &gt; rank 2-5 on n101? That what I think it does when I don't use qsub.<BR>
&gt; <BR>
&gt; Yes, but you should not change the nodes inside the $PBS_NODEFILE. You<BR>
&gt; can change the order but do not delete machines and add new ones,<BR>
&gt; otherwise your MPI code will try to run on nodes belonging to other<BR>
&gt; jobs.<BR>
&gt; <BR>
&gt; If you want to have exactly the nodes above, you can ask for -<BR>
&gt; lnodes=n100:ppn=2+n101:ppn=4. If you only want two cores on the first<BR>
&gt; node and four on the second but the specific nodes are irrelevant, you<BR>
&gt; can ask for -lnodes=1:ppn=2+1:ppn=4 instead.<BR>
&gt; <BR>
&gt; Michel B&eacute;land<BR>
&gt; Calcul Qu&eacute;bec<BR>
&gt; <BR>
&gt; _______________________________________________<BR>
&gt; torqueusers mailing list<BR>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> <BR>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a> <BR>

    <BR>
    <BR>
   <span style="font-family:Arial; Font-size:8.0pt">

<br><br>
<div style="border-top: 1px solid #000000; width: 90%; font: 9pt 'Trebuchet MS', Arial, Helvetica, sans-serif;">This email and any attachments are intended for the named recipient only. Its unauthorised use, distribution, disclosure, storage or copying is not permitted. If you have received it in error, please destroy all copies and notify the sender. In messages of a non-business nature, the views and opinions expressed are the author's own and do not necessarily reflect those of Cefas. Communications on Cefasí computer systems may be monitored and/or recorded to secure the effective operation of the system and for other lawful purposes.</div>
<br><br>

  </span>
 </BODY></HTML>