When I set the queue both with nodect and nodes like this:<div><div><i>create queue team1</i></div><div><i>set queue team1 queue_type = Execution</i></div><div><i>set queue team1 resources_max.nodect = 2</i></div><div><i>set queue team1 resources_max.nodes = 2</i></div>
<div><i>set queue team1 keep_completed = 2592000</i></div><div><i>set queue team1 enabled = True</i></div><div><i>set queue team1 started = True</i></div><div><br></div><div>I can also submit large jobs and all the nodes used by the running jobs exceed the resources_max.nodect or resources_max.nodes (here are both 2).</div>
<div>I submit the jobs 4 times like this:</div><div><i>echo &quot;sleep 100&quot; | qsub -l nodes=1:ppn=4 -q team1</i></div><div><i><br></i></div><div>And qstat shows the command like this:</div><div><div><i>1661.vkvm161057            STDIN            shubao.sx              0 <span style="background-color:rgb(255,0,0)">R </span>team1          </i></div>
<div><i>1662.vkvm161057            STDIN            shubao.sx              0 <span style="background-color:rgb(255,0,0)">R </span>team1          </i></div><div><i>1663.vkvm161057            STDIN            shubao.sx              0 <span style="background-color:rgb(255,0,0)">R </span>team1          </i></div>
<div><i>1664.vkvm161057            STDIN            shubao.sx              0 <span style="background-color:rgb(255,0,0)">R </span>team1 </i></div></div><div><br></div><div>I use torque 4.1.3 and maui 3.3.1.</div><br><div class="gmail_quote">
On Sun, Jan 27, 2013 at 3:11 AM, Gustavo Correa <span dir="ltr">&lt;<a href="mailto:gus@ldeo.columbia.edu" target="_blank">gus@ldeo.columbia.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
I misundertood Shixing&#39;s original question.<br>
I though he wanted to prevent each job to exceed a certain number of nodes,<br>
but what he wants to apply the limit to the sum of all jobs in the queue, correct?<br>
<br>
Burkhard is right.<br>
&quot;nodect&quot; intent seems to be to limit the number of nodes used by all jobs in a specific queue,<br>
whereas  AFAIK &quot;nodes&quot; limits the number of nodes each job can request when submitted to<br>
a specific queue, right?<br>
<br>
Things may have changed in recent versions, but &quot;nodes&quot; , with the<br>
interpretation above, works for me in Torque 2.4.11, with Maui 3.2.6p21.<br>
<br>
However, &quot;nodect&quot;, with the interpretation above, doesn&#39;t work for me,<br>
as Shixing also noted, even if I add &quot;ppn=8&quot; to my qsub command,<br>
to request all processors in my nodes, and try to exhaust the available resources and hit the nodect limit.<br>
Maybe there is a way to implement what Shixing wants in Maui?<br>
<br>
Quoting the Torque Admin Guide, section 4.1.1, &quot;Queues attributes&quot;:<br>
<br>
&quot;nodes  integer Specifies the number of nodes &quot;<br>
[Note, integer, not a string.  Not in this context at least.]<br>
<br>
&quot;nodect integer         Sets the number of nodes available. By default, TORQUE will set the number of nodes available to the number of nodes listed in the $TORQUE_HOME/server_priv/nodes file. nodect can be set to be greater than or less than that number. Generally, it is used to set the node count higher than the number of physical nodes in the cluster.&quot;<br>

<br>
<a href="http://docs.adaptivecomputing.com/torque/4-1-3/help.htm#topics/4-serverPolicies/queueAttributes.htm" target="_blank">http://docs.adaptivecomputing.com/torque/4-1-3/help.htm#topics/4-serverPolicies/queueAttributes.htm</a><br>

<br>
Admittedly, the Guide wording is not very clear.<br>
It could include &quot;on a per queue basis&quot;, &quot;on a per job basis&quot;, or something the like,<br>
to clarify the context.<br>
The final sentence in &quot;nodect&quot; sounds a bit awkward.<br>
Does it work to set the node count *smaller* than the number<br>
of physical nodes?<br>
Does this depend on the scheduler configuration?  [pbs_sched, Maui, Moab]<br>
<br>
Somebody from Adaptive could clarify.<br>
<span class="HOEnZb"><font color="#888888"><br>
Gus Correa<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
On Jan 26, 2013, at 8:31 AM, Burkhard Bunk wrote:<br>
<br>
&gt; Hi,<br>
&gt;<br>
&gt; I would support that.<br>
&gt; The correct form, IMHO, is<br>
&gt;<br>
&gt; set queue myqueue resources_max.nodect = 10<br>
&gt;<br>
&gt; Regards,<br>
&gt; Burkhard Bunk.<br>
&gt; ----------------------------------------------------------------------<br>
&gt; <a href="mailto:bunk@physik.hu-berlin.de">bunk@physik.hu-berlin.de</a>      Physics Institute, Humboldt University<br>
&gt; fax:    <a href="tel:%2B%2B49-30%202093%207628" value="+493020937628">++49-30 2093 7628</a>     Newtonstr. 15<br>
&gt; phone:  <a href="tel:%2B%2B49-30%202093%207980" value="+493020937980">++49-30 2093 7980</a>     12489 Berlin, Germany<br>
&gt; ----------------------------------------------------------------------<br>
&gt;<br>
&gt; On Sat, 26 Jan 2013, André Gemünd wrote:<br>
&gt;<br>
&gt;&gt; Hi,<br>
&gt;&gt; I&#39;m a bit surprised by that. Since when is nodes an integer in Torque? It used to be a string in earlier versions.<br>
&gt;&gt;<br>
&gt;&gt; Greetings<br>
&gt;&gt; André<br>
&gt;&gt;<br>
&gt;&gt; ----- Ursprüngliche Mail -----<br>
&gt;&gt;&gt; Hi Shixing<br>
&gt;&gt;&gt; Have you tried:<br>
&gt;&gt;&gt; set queue myqueue resources_max.nodes = 10<br>
&gt;&gt;&gt; More info:<br>
&gt;&gt;&gt; <a href="http://docs.adaptivecomputing.com/torque/4-1-3/help.htm#topics/4-serverPolicies/queueAttributes.htm" target="_blank">http://docs.adaptivecomputing.com/torque/4-1-3/help.htm#topics/4-serverPolicies/queueAttributes.htm</a><br>

&gt;&gt;&gt; under &quot;Assigning queue resource limits&quot;.<br>
&gt;&gt;&gt; I hope this helps,<br>
&gt;&gt;&gt; Gus<br>
&gt;&gt;&gt; On 01/25/2013 05:44 AM, André Gemünd wrote:<br>
&gt;&gt;&gt; &gt; I don&#39;t think that setting resources_available.nodect has any<br>
&gt;&gt;&gt; &gt; effect.<br>
&gt;&gt;&gt; &gt; Have you tried resources_max.nodect?<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; Greetings<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; &gt; ----- Ursprüngliche Mail -----<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; Hi, all:<br>
&gt;&gt;&gt; &gt;&gt; Recently I have set up a cluster with 200 nodes. And this cluster<br>
&gt;&gt;&gt; &gt;&gt; is<br>
&gt;&gt;&gt; &gt;&gt; designed for serving several team. And I want split the nodes to<br>
&gt;&gt;&gt; &gt;&gt; some queues.<br>
&gt;&gt;&gt; &gt;&gt; I have set the queue attr like this:<br>
&gt;&gt;&gt; &gt;&gt; set queue team1 resources_available.nodect = 3<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; But when I submit a job applying nodes&gt;3, it will also run<br>
&gt;&gt;&gt; &gt;&gt; successfully. The submit command is :<br>
&gt;&gt;&gt; &gt;&gt; echo &quot;sleep 100&quot; | qsub -l nodes=4 -q team1<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;&gt; So how can I set the max nodes for the queues?<br>
&gt;&gt;&gt; &gt;&gt; --<br>
&gt;&gt;&gt; &gt;&gt; Best wishes!<br>
&gt;&gt;&gt; &gt;&gt; My Friend~<br>
&gt;&gt;&gt; &gt;&gt; _______________________________________________<br>
&gt;&gt;&gt; &gt;&gt; torqueusers mailing list<br>
&gt;&gt;&gt; &gt;&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt;&gt;&gt; &gt;&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;&gt;&gt; &gt;&gt;<br>
&gt;&gt;&gt; &gt;<br>
&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt; torqueusers mailing list<br>
&gt;&gt;&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt;&gt;&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;&gt;<br>
&gt;&gt; --<br>
&gt;&gt; André Gemünd<br>
&gt;&gt; Fraunhofer-Institute for Algorithms and Scientific Computing<br>
&gt;&gt; <a href="mailto:andre.gemuend@scai.fraunhofer.de">andre.gemuend@scai.fraunhofer.de</a><br>
&gt;&gt; Tel: <a href="tel:%2B49%202241%2014-2193" value="+492241142193">+49 2241 14-2193</a><br>
&gt;&gt; /C=DE/O=Fraunhofer/OU=SCAI/OU=People/CN=Andre Gemuend<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; torqueusers mailing list<br>
&gt;&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt;&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt; _______________________________________________<br>
&gt; torqueusers mailing list<br>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br>
_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br>Best wishes!<br>My Friend~
</div>