I only did it as a test.  I&#39;m using Torque and nothing else...I can submit jobs requiring 1, 2, and 3 cores.  4 cores doesn&#39;t work...<br><br><div class="gmail_quote">2012/1/14 André Gemünd <span dir="ltr">&lt;<a href="mailto:andre.gemuend@scai.fraunhofer.de">andre.gemuend@scai.fraunhofer.de</a>&gt;</span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Are you by any chance using Maui or some other external Scheduler? I think its suspicious that you can run ppn=3, equaling your node count. Perhaps your scheduler allocates seperate nodes.<br>

<br>
Greetings<br>
André<br>
<br>
----- Ursprüngliche Mail -----<br>
<div class="HOEnZb"><div class="h5">&gt;<br>
&gt; Thanks Gareth. I removed that setting, using<br>
&gt;<br>
&gt;<br>
&gt; qmgr -c &#39;unset queue batch resources_default.nodes&#39;<br>
&gt;<br>
&gt;<br>
&gt; but I&#39;m still getting the same error. I can submit jobs that request<br>
&gt; 1-3 ppn, but not 4 ppn.<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Sat, Jan 14, 2012 at 5:08 AM, &lt;Gareth.Williams@csiro.au&gt; wrote:<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; Hi Ryan,<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; Unset queue batch resources_default.nodes – you don’t need that.<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; The nodes resource is fighting with the procs resource. You need to<br>
&gt; only set one or the other for a given job (neither is OK for serial<br>
&gt; tasks).<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; Gareth<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; From: Ryan Golhar [mailto: <a href="mailto:ngsbioinformatics@gmail.com">ngsbioinformatics@gmail.com</a> ]<br>
&gt; Sent: Saturday, 14 January 2012 4:31 AM<br>
&gt; To: Torque Users Mailing List<br>
&gt; Subject: Re: [torqueusers] Do I have to define the ncpus for a<br>
&gt; compute node?<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; So that&#39;s what&#39;s throwing me off. I already configured the queue<br>
&gt; using:<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; [root@bic database]# qmgr -c &#39;create queue batch&#39;<br>
&gt;<br>
&gt; [root@bic database]# qmgr -c &#39;set queue batch queue_type = execution&#39;<br>
&gt;<br>
&gt; [root@bic database]# qmgr -c &#39;set queue batch started = true&#39;<br>
&gt;<br>
&gt; [root@bic database]# qmgr -c &#39;set queue batch enabled = true&#39;<br>
&gt;<br>
&gt; [root@bic database]# qmgr -c &#39;set queue batch<br>
&gt; resources_default.nodes=1:ppn=1&#39;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; [root@bic database]# qmgr -c &quot;set queue batch keep_completed=120&quot;<br>
&gt;<br>
&gt; [root@bic database]# qmgr -c &quot;set server default_queue=batch&quot;<br>
&gt;<br>
&gt; [root@bic database]# qmgr -c &quot;set server query_other_jobs = true&quot;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; I assumed, by default, if the user doesn&#39;t specify any resources, a<br>
&gt; job would consume 1 core on 1 node. My nodes file shows:<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; [root@bic hg19]# cat /var/spool/torque/server_priv/nodes<br>
&gt;<br>
&gt;<br>
&gt; compute-0-0 np=8<br>
&gt;<br>
&gt;<br>
&gt; compute-0-1 np=8<br>
&gt;<br>
&gt;<br>
&gt; compute-0-2 np=8<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; So Torque knows there are 8 cpus per node, and I haven&#39;t set a<br>
&gt; maximum limit to how many resources a job could use. To me,<br>
&gt; requesting 2 cpus on 1 node should have succeeded.<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Fri, Jan 13, 2012 at 11:18 AM, Axel Kohlmeyer &lt;<br>
&gt; <a href="mailto:akohlmey@cmm.chem.upenn.edu">akohlmey@cmm.chem.upenn.edu</a> &gt; wrote:<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; On Fri, Jan 13, 2012 at 10:59 AM, Ryan Golhar<br>
&gt; &lt; <a href="mailto:ngsbioinformatics@gmail.com">ngsbioinformatics@gmail.com</a> &gt; wrote:<br>
&gt; &gt; Hi - I have a ROCKS cluster running and installed Torque. I&#39;m able<br>
&gt; &gt; to<br>
&gt; &gt; submit 1 core, 1 cpu jobs without problem. I tried submitting a job<br>
&gt; &gt; that<br>
&gt; &gt; requested 4 cpus on 1 node using<br>
&gt; &gt;<br>
&gt; &gt; #PBS -l nodes=1:ppn=4<br>
&gt; &gt;<br>
&gt; &gt; in my job submission script. When I submit the job however, I get<br>
&gt; &gt; the<br>
&gt; &gt; error:<br>
&gt; &gt;<br>
&gt; &gt; qsub: Job exceeds queue resource limits MSG=cannot locate feasible<br>
&gt; &gt; nodes<br>
&gt; &gt; (nodes file is empty or requested nodes exceed all systems)<br>
&gt; &gt;<br>
&gt; &gt; If I run anodes, I see:<br>
&gt; &gt;<br>
&gt; &gt; compute-0-0<br>
&gt; &gt; state = free<br>
&gt; &gt; np = 8<br>
&gt; &gt; ntype = cluster<br>
&gt; &gt; status =<br>
&gt; &gt; rectime=1326469800,varattr=,jobs=,state=free,netload=1720539412488,gres=,loadave=0.01,ncpus=8,physmem=16431248kb,availmem=17311704kb,totmem=17451364kb,idletime=339141,nusers=0,nsessions=?<br>
&gt; &gt; 15201,sessions=? 15201,uname=Linux compute-0-0.local<br>
&gt; &gt; 2.6.18-238.19.1.el5 #1<br>
&gt; &gt; SMP Fri Jul 15 07:31:24 EDT 2011 x86_64,opsys=linux<br>
&gt; &gt; gpus = 0<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; All my compute nodes have 8 cpus. Do I need to tell Torque this? I<br>
&gt; &gt; thought<br>
&gt; &gt; Torque could figure this out from np=8 or ncpus=8.<br>
&gt;<br>
&gt; the error message says that the request exceeds the queue<br>
&gt; configuration.<br>
&gt; that is being checked before it looks at any nodes. thus you probably<br>
&gt; have<br>
&gt; to adjust the queue configuration.<br>
&gt;<br>
&gt; axel.<br>
&gt;<br>
&gt;<br>
&gt; &gt;<br>
&gt; &gt; Ryan<br>
&gt; &gt;<br>
&gt; &gt; _______________________________________________<br>
&gt; &gt; torqueusers mailing list<br>
&gt; &gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; &gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt; &gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Dr. Axel Kohlmeyer <a href="mailto:akohlmey@gmail.com">akohlmey@gmail.com</a><br>
&gt; <a href="http://sites.google.com/site/akohlmey/" target="_blank">http://sites.google.com/site/akohlmey/</a><br>
&gt;<br>
&gt; Institute for Computational Molecular Science<br>
&gt; Temple University, Philadelphia PA, USA.<br>
&gt; _______________________________________________<br>
&gt; torqueusers mailing list<br>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; torqueusers mailing list<br>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; torqueusers mailing list<br>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;<br>
<br>
--<br>
</div></div><span class="HOEnZb"><font color="#888888">André Gemünd<br>
Fraunhofer-Institute for Algorithms and Scientific Computing<br>
<a href="mailto:andre.gemuend@scai.fraunhofer.de">andre.gemuend@scai.fraunhofer.de</a><br>
Tel: <a href="tel:%2B49%202241%2014-2193" value="+492241142193">+49 2241 14-2193</a><br>
/C=DE/O=Fraunhofer/OU=SCAI/OU=People/CN=Andre Gemuend<br>
</font></span><div class="HOEnZb"><div class="h5">_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</div></div></blockquote></div><br>