Thanks Gareth.  I removed that setting, using <div><br></div><div>qmgr -c &#39;unset queue batch resources_default.nodes&#39;</div><div><br></div><div>but I&#39;m still getting the same error. I can submit jobs that request 1-3 ppn, but not 4 ppn.<div>
<br></div><div><br><div><br><div class="gmail_quote">On Sat, Jan 14, 2012 at 5:08 AM,  <span dir="ltr">&lt;Gareth.Williams@csiro.au&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div lang="EN-AU" link="blue" vlink="purple"><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Hi Ryan,<u></u><u></u></span></p><p class="MsoNormal">
<span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Unset queue </span><span style="font-family:&quot;Times&quot;,&quot;serif&quot;">batch resources_default.nodes – you don’t need that.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;">The nodes resource is fighting with the procs resource. You need to only set one or the other for a given job (neither is OK for serial tasks).<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;">Gareth</span><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d"><u></u> <u></u></span></p><div style="border:none;border-left:solid blue 1.5pt;padding:0cm 0cm 0cm 4.0pt">
<div><div style="border:none;border-top:solid #b5c4df 1.0pt;padding:3.0pt 0cm 0cm 0cm"><p class="MsoNormal"><b><span lang="EN-US" style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;">From:</span></b><span lang="EN-US" style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;"> Ryan Golhar [mailto:<a href="mailto:ngsbioinformatics@gmail.com" target="_blank">ngsbioinformatics@gmail.com</a>] <br>
<b>Sent:</b> Saturday, 14 January 2012 4:31 AM<br><b>To:</b> Torque Users Mailing List<br><b>Subject:</b> Re: [torqueusers] Do I have to define the ncpus for a compute node?<u></u><u></u></span></p></div></div><div><div class="h5">
<p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal">So that&#39;s what&#39;s throwing me off.  I already configured the queue using:<u></u><u></u></p><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">
<span style="font-family:&quot;Times&quot;,&quot;serif&quot;">[root@bic database]# qmgr -c &#39;create queue batch&#39;</span><u></u><u></u></p><p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;">[root@bic database]# qmgr -c &#39;set queue batch queue_type = execution&#39;</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;">[root@bic database]# qmgr -c &#39;set queue batch started = true&#39;</span><u></u><u></u></p><p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;">[root@bic database]# qmgr -c &#39;set queue batch enabled = true&#39;</span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;">[root@bic database]# qmgr -c &#39;set queue batch resources_default.nodes=1:ppn=1&#39;</span><u></u><u></u></p><p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;"> </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;">[root@bic database]# qmgr -c &quot;set queue batch keep_completed=120&quot;</span><u></u><u></u></p><p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;">[root@bic database]# qmgr -c &quot;set server default_queue=batch&quot; </span><u></u><u></u></p>
<p class="MsoNormal"><span style="font-family:&quot;Times&quot;,&quot;serif&quot;">[root@bic database]# qmgr -c &quot;set server query_other_jobs = true&quot;</span><u></u><u></u></p><div><p class="MsoNormal"><u></u> <u></u></p>
</div><div><p class="MsoNormal">I assumed, by default, if the user doesn&#39;t specify any resources, a job would consume 1 core on 1 node.  My nodes file shows:<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p>
</div><div><p class="MsoNormal">[root@bic hg19]# cat /var/spool/torque/server_priv/nodes <u></u><u></u></p></div><div><p class="MsoNormal">compute-0-0 np=8<u></u><u></u></p></div><div><p class="MsoNormal">compute-0-1 np=8<u></u><u></u></p>
</div><div><p class="MsoNormal">compute-0-2 np=8<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">So Torque knows there are 8 cpus per node, and I haven&#39;t set a maximum limit to how many resources a job could use.  To me, requesting 2 cpus on 1 node should have succeeded.  <u></u><u></u></p>
</div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><div><p class="MsoNormal">On Fri, Jan 13, 2012 at 11:18 AM, Axel Kohlmeyer &lt;<a href="mailto:akohlmey@cmm.chem.upenn.edu" target="_blank">akohlmey@cmm.chem.upenn.edu</a>&gt; wrote:<u></u><u></u></p>
<div><div><p class="MsoNormal" style="margin-bottom:12.0pt">On Fri, Jan 13, 2012 at 10:59 AM, Ryan Golhar<br>&lt;<a href="mailto:ngsbioinformatics@gmail.com" target="_blank">ngsbioinformatics@gmail.com</a>&gt; wrote:<br>&gt; Hi - I have a ROCKS cluster running and installed Torque.  I&#39;m able to<br>
&gt; submit 1 core, 1 cpu jobs without problem.  I tried submitting a job that<br>&gt; requested 4 cpus on 1 node using<br>&gt;<br>&gt; #PBS -l nodes=1:ppn=4<br>&gt;<br>&gt; in my job submission script.  When I submit the job however, I get the<br>
&gt; error:<br>&gt;<br>&gt; qsub: Job exceeds queue resource limits MSG=cannot locate feasible nodes<br>&gt; (nodes file is empty or requested nodes exceed all systems)<br>&gt;<br>&gt; If I run anodes, I see:<br>&gt;<br>&gt; compute-0-0<br>
&gt;      state = free<br>&gt;      np = 8<br>&gt;      ntype = cluster<br>&gt;      status =<br>&gt; rectime=1326469800,varattr=,jobs=,state=free,netload=1720539412488,gres=,loadave=0.01,ncpus=8,physmem=16431248kb,availmem=17311704kb,totmem=17451364kb,idletime=339141,nusers=0,nsessions=?<br>
&gt; 15201,sessions=? 15201,uname=Linux compute-0-0.local 2.6.18-238.19.1.el5 #1<br>&gt; SMP Fri Jul 15 07:31:24 EDT 2011 x86_64,opsys=linux<br>&gt;      gpus = 0<br>&gt;<br>&gt;<br>&gt; All my compute nodes have 8 cpus.  Do I need to tell Torque this?  I thought<br>
&gt; Torque could figure this out from np=8 or ncpus=8.<u></u><u></u></p></div></div><p class="MsoNormal">the error message says that the request exceeds the queue configuration.<br>that is being checked before it looks at any nodes. thus you probably have<br>
to adjust the queue configuration.<br><br>axel.<br><br><br>&gt;<br>&gt; Ryan<br>&gt;<br>&gt; _______________________________________________<br>&gt; torqueusers mailing list<br>&gt; <a href="mailto:torqueusers@supercluster.org" target="_blank">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>&gt;<br><span style="color:#888888"><br><br><br><span>--</span><br><span>Dr. Axel Kohlmeyer    <a href="mailto:akohlmey@gmail.com" target="_blank">akohlmey@gmail.com</a></span><br>
<span><a href="http://sites.google.com/site/akohlmey/" target="_blank">http://sites.google.com/site/akohlmey/</a></span><br><br><span>Institute for Computational Molecular Science</span><br><span>Temple University, Philadelphia PA, USA.</span><br>
<span>_______________________________________________</span><br><span>torqueusers mailing list</span><br><span><a href="mailto:torqueusers@supercluster.org" target="_blank">torqueusers@supercluster.org</a></span><br><span><a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a></span></span><u></u><u></u></p>
</div><p class="MsoNormal"><u></u> <u></u></p></div></div></div></div></div></div></div><br>_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br></blockquote></div><br></div></div></div>