<div dir="ltr">For others who are interested, the guidance at <a href="http://docs.adaptivecomputing.com/torque/Content/topics/11-troubleshooting/faq.htm#qsubNotAllow">http://docs.adaptivecomputing.com/torque/Content/topics/11-troubleshooting/faq.htm#qsubNotAllow</a> resolves my particular issue, so thanks Michel!</div>
<div class="gmail_extra"><br><br><div class="gmail_quote">On 7 February 2013 21:40, Gus Correa <span dir="ltr">&lt;<a href="mailto:gus@ldeo.columbia.edu" target="_blank">gus@ldeo.columbia.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi Andrew<br>
<br>
I never got much luck with procs=YZ,<br>
which is likely to be the syntax that matches what you want to do.<br>
Maui (the scheduler I use) seems not to understand that<br>
syntax very well.<br>
<br>
I wouldn&#39;t rely completely on the Torque documentation.<br>
It has good guidelines, but may have mistakes in the details.<br>
Trial and error may be the way to check what works for you.<br>
I wonder if the error message you see may come<br>
from different interpretations given to the word &quot;node&quot;<br>
by the torque server (pbs_server) and the scheduler (which<br>
maybe Maui, pbs_sched or perhaps Moab).<br>
<br>
If you want also to control to which nodes<br>
(and sockets and cores) each MPI *process* is sent to,<br>
I suggest that you build OpenMPI with Torque support.<br>
OpenMPI when built with Torque support<br>
will use the nodes and processors assigned<br>
by Torque to that job,<br>
but you can still decide how the sockets and<br>
cores are distributed among the various MPI processes,<br>
through switches to mpiexec such as --bynode, --bysocket,<br>
--bycore, or even finer control through their &quot;rankfiles&quot;.<br>
<div class="im"><br>
I hope this helps,<br>
Gus Correa<br>
<br>
</div><div class="im">On 02/07/2013 03:54 PM, Andrew Dawson wrote:<br>
&gt; Hi Gus,<br>
&gt;<br>
&gt; Yes I can do that. What I would like to do is be able to have users<br>
&gt; request the number of CPUs for an MPI job and not have to care how these<br>
&gt; CPUs are distributed across physical nodes. If I do<br>
&gt;<br>
&gt; #PBS -l nodes=1:ppn=8<br>
&gt;<br>
&gt; then this will mean the job has to wait until there are 8 CPUs on one<br>
&gt; physical node before starting, correct?<br>
&gt;<br>
&gt;  From the torque documentation, it seems to say I can do:<br>
&gt;<br>
&gt; #PBS -l nodes=8<br>
&gt;<br>
&gt; and this will be interpreted as 8 CPUs rather than 8 physical nodes.<br>
&gt; This is what I want. Unfortunately I get the error message at submission<br>
&gt; time saying there are not enough resources to fulfill this request, even<br>
&gt; though there are 33 CPUs in the system. If on my system I do<br>
&gt;<br>
&gt; #PBS -l nodes=5<br>
&gt;<br>
&gt; then my MPI job gets sent to 5 CPUs, not necessarily on the same<br>
&gt; physical node, which is great and exactly what I want. I would therefore<br>
&gt; expect this to work for larger numbers but it seems that at submission<br>
&gt; time the request is checked against the number of physical nodes rather<br>
&gt; than virtual processors, meaning I cannot do this! It is quite frustrating.<br>
&gt;<br>
&gt; Please ask if there is further clarification I can make.<br>
&gt;<br>
&gt; Andrew<br>
&gt;<br>
&gt;<br>
&gt; On 7 February 2013 19:28, Gus Correa &lt;<a href="mailto:gus@ldeo.columbia.edu">gus@ldeo.columbia.edu</a><br>
</div><div class="im">&gt; &lt;mailto:<a href="mailto:gus@ldeo.columbia.edu">gus@ldeo.columbia.edu</a>&gt;&gt; wrote:<br>
&gt;<br>
&gt;     Hi Andrew<br>
&gt;<br>
&gt;     Not sure I understood what exactly you want to do,<br>
&gt;     but have you tried this?<br>
&gt;<br>
&gt;     #PBS -l nodes=1:ppn=8<br>
&gt;<br>
&gt;<br>
&gt;     It will request one node with 8 processors.<br>
&gt;<br>
&gt;     I hope this helps,<br>
&gt;     Gus Correa<br>
&gt;<br>
&gt;     On 02/07/2013 11:38 AM, Andrew Dawson wrote:<br>
&gt;      &gt; Nodes file looks like this:<br>
&gt;      &gt;<br>
&gt;      &gt; cirrus np=1<br>
&gt;      &gt; cirrus1 np=8<br>
&gt;      &gt; cirrus2 np=8<br>
&gt;      &gt; cirrus3 np=8<br>
&gt;      &gt; cirrus4 np=8<br>
&gt;      &gt;<br>
&gt;      &gt; On 7 Feb 2013 16:25, &quot;Ricardo Román Brenes&quot;<br>
&gt;     &lt;<a href="mailto:roman.ricardo@gmail.com">roman.ricardo@gmail.com</a> &lt;mailto:<a href="mailto:roman.ricardo@gmail.com">roman.ricardo@gmail.com</a>&gt;<br>
</div>&gt;      &gt; &lt;mailto:<a href="mailto:roman.ricardo@gmail.com">roman.ricardo@gmail.com</a><br>
<div class="im">&gt;     &lt;mailto:<a href="mailto:roman.ricardo@gmail.com">roman.ricardo@gmail.com</a>&gt;&gt;&gt; wrote:<br>
&gt;      &gt;<br>
&gt;      &gt;     hi!<br>
&gt;      &gt;<br>
&gt;      &gt;     How does your node config file looks like?<br>
&gt;      &gt;<br>
&gt;      &gt;     On Thu, Feb 7, 2013 at 3:10 AM, Andrew Dawson<br>
&gt;     &lt;<a href="mailto:dawson@atm.ox.ac.uk">dawson@atm.ox.ac.uk</a> &lt;mailto:<a href="mailto:dawson@atm.ox.ac.uk">dawson@atm.ox.ac.uk</a>&gt;<br>
</div><div><div class="h5">&gt;      &gt; &lt;mailto:<a href="mailto:dawson@atm.ox.ac.uk">dawson@atm.ox.ac.uk</a> &lt;mailto:<a href="mailto:dawson@atm.ox.ac.uk">dawson@atm.ox.ac.uk</a>&gt;&gt;&gt; wrote:<br>
&gt;      &gt;<br>
&gt;      &gt;         Hi all,<br>
&gt;      &gt;<br>
&gt;      &gt;         I&#39;m configuring a recent torque/maui installation and I&#39;m<br>
&gt;     having<br>
&gt;      &gt;         trouble with submitting MPI jobs. I would like for MPI<br>
&gt;     jobs to<br>
&gt;      &gt;         specify the number of processors they require and have those<br>
&gt;      &gt;         come from any available physical machine, the users shouldn&#39;t<br>
&gt;      &gt;         need to specify processors per node etc.<br>
&gt;      &gt;<br>
&gt;      &gt;         The torque manual says that the nodes option is mapped to<br>
&gt;      &gt;         virtual processors, so for example:<br>
&gt;      &gt;<br>
&gt;      &gt;              #PBS -l nodes=8<br>
&gt;      &gt;<br>
&gt;      &gt;         should request 8 virtual processors. The problem I&#39;m<br>
&gt;     having is<br>
&gt;      &gt;         that our cluster currently has only 5 physical machines<br>
&gt;     (nodes),<br>
&gt;      &gt;         and setting nodes to anything greater than 5 gives the error:<br>
&gt;      &gt;<br>
&gt;      &gt;              qsub: Job exceeds queue resource limits MSG=cannot<br>
&gt;     locate<br>
&gt;      &gt;         feasible nodes (nodes file is empty or all systems are busy)<br>
&gt;      &gt;<br>
&gt;      &gt;         I&#39;m confused by this, we have 33 virtual processors available<br>
&gt;      &gt;         across the 5 nodes (4 8-core machines and one single<br>
&gt;     core) so my<br>
&gt;      &gt;         interpretation of the manual is that I should be able to<br>
&gt;     request<br>
&gt;      &gt;         8 nodes, since these should be understood as virtual<br>
&gt;     processors?<br>
&gt;      &gt;         Am I doing something wrong?<br>
&gt;      &gt;<br>
&gt;      &gt;         I tried setting<br>
&gt;      &gt;<br>
&gt;      &gt;         #PBS -l procs=8<br>
&gt;      &gt;<br>
&gt;      &gt;         but that doesn&#39;t seem to do anything, MPI stops due to having<br>
&gt;      &gt;         only 1 worker available (single core allocated to the job).<br>
&gt;      &gt;<br>
&gt;      &gt;         Thanks,<br>
&gt;      &gt;         Andrew<br>
&gt;      &gt;<br>
&gt;      &gt;         p.s.<br>
&gt;      &gt;<br>
&gt;      &gt;         The queue I&#39;m submitting jobs to is defined as:<br>
&gt;      &gt;<br>
&gt;      &gt;         create queue normal<br>
&gt;      &gt;         set queue normal queue_type = Execution<br>
&gt;      &gt;         set queue normal resources_min.cput = 12:00:00<br>
&gt;      &gt;         set queue normal resources_default.cput = 24:00:00<br>
&gt;      &gt;         set queue normal disallowed_types = interactive<br>
&gt;      &gt;         set queue normal enabled = True<br>
&gt;      &gt;         set queue normal started = True<br>
&gt;      &gt;<br>
&gt;      &gt;         and we are using torque version 2.5.12 and we are using maui<br>
&gt;      &gt;         3.3.1 for scheduling<br>
&gt;      &gt;<br>
&gt;      &gt;<br>
&gt;      &gt;         _______________________________________________<br>
&gt;      &gt;         torqueusers mailing list<br>
&gt;      &gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt;     &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
</div></div>&gt;     &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<div class="im">&gt;     &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;&gt;<br>
&gt;      &gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;      &gt;<br>
&gt;      &gt;<br>
&gt;      &gt;<br>
&gt;      &gt;     _______________________________________________<br>
&gt;      &gt;     torqueusers mailing list<br>
&gt;      &gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt;     &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
</div>&gt;     &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<div class="im">&gt;     &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;&gt;<br>
&gt;      &gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;      &gt;<br>
&gt;      &gt;<br>
&gt;      &gt;<br>
&gt;      &gt; _______________________________________________<br>
&gt;      &gt; torqueusers mailing list<br>
&gt;      &gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
&gt;      &gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;<br>
&gt;     _______________________________________________<br>
&gt;     torqueusers mailing list<br>
</div>&gt;     <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
<div class="im">&gt;     <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Dr Andrew Dawson<br>
&gt; Atmospheric, Oceanic &amp; Planetary Physics<br>
&gt; Clarendon Laboratory<br>
&gt; Parks Road<br>
&gt; Oxford OX1 3PU, UK<br>
&gt; Tel: <a href="tel:%2B44%20%280%291865%20282438" value="+441865282438">+44 (0)1865 282438</a><br>
</div>&gt; Email: <a href="mailto:dawson@atm.ox.ac.uk">dawson@atm.ox.ac.uk</a> &lt;mailto:<a href="mailto:dawson@atm.ox.ac.uk">dawson@atm.ox.ac.uk</a>&gt;<br>
&gt; Web Site: <a href="http://www2.physics.ox.ac.uk/contacts/people/dawson" target="_blank">http://www2.physics.ox.ac.uk/contacts/people/dawson</a><br>
&gt;<br>
&gt;<br>
<div class="HOEnZb"><div class="h5">&gt; _______________________________________________<br>
&gt; torqueusers mailing list<br>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br>
_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br>Dr Andrew Dawson<br>Atmospheric, Oceanic &amp; Planetary Physics<br>Clarendon Laboratory<br>Parks Road<br>Oxford OX1 3PU, UK<br>Tel: +44 (0)1865 282438<br>
Email: <a href="mailto:dawson@atm.ox.ac.uk" target="_blank">dawson@atm.ox.ac.uk</a><div>Web Site: <a href="http://www2.physics.ox.ac.uk/contacts/people/dawson" target="_blank">http://www2.physics.ox.ac.uk/contacts/people/dawson</a></div>

</div>