<div dir="ltr">Hi Gus,<div><br></div><div style>Yes I can do that. What I would like to do is be able to have users request the number of CPUs for an MPI job and not have to care how these CPUs are distributed across physical nodes. If I do</div>
<div style><br></div><div style>#PBS -l nodes=1:ppn=8</div><div style><br></div><div style>then this will mean the job has to wait until there are 8 CPUs on one physical node before starting, correct?</div><div style><br>
</div><div style>From the torque documentation, it seems to say I can do:</div><div style><br></div><div style>#PBS -l nodes=8</div><div style><br></div><div style>and this will be interpreted as 8 CPUs rather than 8 physical nodes. This is what I want. Unfortunately I get the error message at submission time saying there are not enough resources to fulfill this request, even though there are 33 CPUs in the system. If on my system I do</div>
<div style><br></div><div style>#PBS -l nodes=5</div><div style><br></div><div style>then my MPI job gets sent to 5 CPUs, not necessarily on the same physical node, which is great and exactly what I want. I would therefore expect this to work for larger numbers but it seems that at submission time the request is checked against the number of physical nodes rather than virtual processors, meaning I cannot do this! It is quite frustrating.</div>
<div style><br></div><div style>Please ask if there is further clarification I can make.</div><div style><br></div><div style>Andrew</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On 7 February 2013 19:28, Gus Correa <span dir="ltr">&lt;<a href="mailto:gus@ldeo.columbia.edu" target="_blank">gus@ldeo.columbia.edu</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Andrew<br>
<br>
Not sure I understood what exactly you want to do,<br>
but have you tried this?<br>
<br>
#PBS -l nodes=1:ppn=8<br>
<br>
<br>
It will request one node with 8 processors.<br>
<br>
I hope this helps,<br>
Gus Correa<br>
<div class="im"><br>
On 02/07/2013 11:38 AM, Andrew Dawson wrote:<br>
&gt; Nodes file looks like this:<br>
&gt;<br>
&gt; cirrus np=1<br>
&gt; cirrus1 np=8<br>
&gt; cirrus2 np=8<br>
&gt; cirrus3 np=8<br>
&gt; cirrus4 np=8<br>
&gt;<br>
&gt; On 7 Feb 2013 16:25, &quot;Ricardo Román Brenes&quot; &lt;<a href="mailto:roman.ricardo@gmail.com">roman.ricardo@gmail.com</a><br>
</div><div class="im">&gt; &lt;mailto:<a href="mailto:roman.ricardo@gmail.com">roman.ricardo@gmail.com</a>&gt;&gt; wrote:<br>
&gt;<br>
&gt;     hi!<br>
&gt;<br>
&gt;     How does your node config file looks like?<br>
&gt;<br>
&gt;     On Thu, Feb 7, 2013 at 3:10 AM, Andrew Dawson &lt;<a href="mailto:dawson@atm.ox.ac.uk">dawson@atm.ox.ac.uk</a><br>
</div><div><div class="h5">&gt;     &lt;mailto:<a href="mailto:dawson@atm.ox.ac.uk">dawson@atm.ox.ac.uk</a>&gt;&gt; wrote:<br>
&gt;<br>
&gt;         Hi all,<br>
&gt;<br>
&gt;         I&#39;m configuring a recent torque/maui installation and I&#39;m having<br>
&gt;         trouble with submitting MPI jobs. I would like for MPI jobs to<br>
&gt;         specify the number of processors they require and have those<br>
&gt;         come from any available physical machine, the users shouldn&#39;t<br>
&gt;         need to specify processors per node etc.<br>
&gt;<br>
&gt;         The torque manual says that the nodes option is mapped to<br>
&gt;         virtual processors, so for example:<br>
&gt;<br>
&gt;              #PBS -l nodes=8<br>
&gt;<br>
&gt;         should request 8 virtual processors. The problem I&#39;m having is<br>
&gt;         that our cluster currently has only 5 physical machines (nodes),<br>
&gt;         and setting nodes to anything greater than 5 gives the error:<br>
&gt;<br>
&gt;              qsub: Job exceeds queue resource limits MSG=cannot locate<br>
&gt;         feasible nodes (nodes file is empty or all systems are busy)<br>
&gt;<br>
&gt;         I&#39;m confused by this, we have 33 virtual processors available<br>
&gt;         across the 5 nodes (4 8-core machines and one single core) so my<br>
&gt;         interpretation of the manual is that I should be able to request<br>
&gt;         8 nodes, since these should be understood as virtual processors?<br>
&gt;         Am I doing something wrong?<br>
&gt;<br>
&gt;         I tried setting<br>
&gt;<br>
&gt;         #PBS -l procs=8<br>
&gt;<br>
&gt;         but that doesn&#39;t seem to do anything, MPI stops due to having<br>
&gt;         only 1 worker available (single core allocated to the job).<br>
&gt;<br>
&gt;         Thanks,<br>
&gt;         Andrew<br>
&gt;<br>
&gt;         p.s.<br>
&gt;<br>
&gt;         The queue I&#39;m submitting jobs to is defined as:<br>
&gt;<br>
&gt;         create queue normal<br>
&gt;         set queue normal queue_type = Execution<br>
&gt;         set queue normal resources_min.cput = 12:00:00<br>
&gt;         set queue normal resources_default.cput = 24:00:00<br>
&gt;         set queue normal disallowed_types = interactive<br>
&gt;         set queue normal enabled = True<br>
&gt;         set queue normal started = True<br>
&gt;<br>
&gt;         and we are using torque version 2.5.12 and we are using maui<br>
&gt;         3.3.1 for scheduling<br>
&gt;<br>
&gt;<br>
&gt;         _______________________________________________<br>
&gt;         torqueusers mailing list<br>
</div></div>&gt;         <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
<div class="im">&gt;         <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;     _______________________________________________<br>
&gt;     torqueusers mailing list<br>
</div>&gt;     <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
<div class="HOEnZb"><div class="h5">&gt;     <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; torqueusers mailing list<br>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br>
_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br>Dr Andrew Dawson<br>Atmospheric, Oceanic &amp; Planetary Physics<br>Clarendon Laboratory<br>Parks Road<br>Oxford OX1 3PU, UK<br>Tel: +44 (0)1865 282438<br>
Email: <a href="mailto:dawson@atm.ox.ac.uk" target="_blank">dawson@atm.ox.ac.uk</a><div>Web Site: <a href="http://www2.physics.ox.ac.uk/contacts/people/dawson" target="_blank">http://www2.physics.ox.ac.uk/contacts/people/dawson</a></div>

</div>