Peter,<div>        Thanks for replying. </div><div>In showq,</div><div>- For the first qsub, it shows correct number of processors which is 13 and the job run.</div><div>- For the second qsub, it shows 36 processors which is incorrect then the job went to idle.<br>
         Exactly, which is why I found it is weird :). Also, in maui.log</div><div>03/24 20:23:48 INFO:     72 feasible tasks found for job 377:0 in partition<br>DEFAULT (36 Needed)<br>03/24 20:23:48 INFO:     72 feasible tasks found for job 377:1 in partition<br>
DEFAULT (1 Needed)<br>03/24 20:23:48 ALERT:    inadequate tasks to allocate to job 377:1 (0 &lt; 1)<br>03/24 20:23:48 ERROR:    cannot allocate nodes to job &#39;377&#39; in partition<br>DEFAULT   </div><div>         Something is not right, isn&#39;t it? Perhaps I should try NODEALLOCATIONPOLICY set to PRIORITY. Also, I will try to gather more information later with LOGLEVEL set to 7.</div>
<div><br></div><div><br></div><div>Regards,</div><div>Marvin</div><div><br></div><div><br><div class="gmail_quote">On Mon, Mar 28, 2011 at 9:37 PM, Peter Crosta <span dir="ltr">&lt;<a href="mailto:pmc2107@columbia.edu">pmc2107@columbia.edu</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div lang="EN-US" link="blue" vlink="purple"><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">Marvin,</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">We use Maui 3.3 and Torque 2.5.4, and our maui config looks like yours (except we have NODEALLOCATIONPOLICY set to PRIORITY).</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">Your first qsub asks for 12 processors on one node and 1 processor on one node, so 2 nodes in total and 13 processors. Your second asks for 12 processors on each of 3 nodes (36 total) and one processor on one node, so 4 nodes and 37 processors. How many nodes and processors do you have according to showq?</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p><p class="MsoNormal">You also noted that $ qsub -l nodes=4:ppn=12+1:ppn=1 worked, which I find strange as this requires 49 processors and 5 nodes. Any other processor or node restrictions in your torque or maui config?</p>
<p class="MsoNormal"> </p><p class="MsoNormal">Peter<span style="font-size:11.0pt;color:#1F497D"></span></p><p class="MsoNormal"><span style="font-size:10.0pt;color:#1F497D"><br><br></span><span style="font-size:11.0pt;color:#1F497D"></span></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt">From:</span></b><span style="font-size:10.0pt"> Marvin Novaglobal [mailto:<a href="mailto:marvin.novaglobal@gmail.com" target="_blank">marvin.novaglobal@gmail.com</a>] <br>
<b>Sent:</b> Thursday, March 24, 2011 10:56 PM<br><b>To:</b> Peter Michael Crosta<br><b>Cc:</b> <a href="mailto:mauiusers@supercluster.org" target="_blank">mauiusers@supercluster.org</a><br><b>Subject:</b> Re: [Mauiusers] Multiple job request peculiarities</span></p>
<div><div></div><div class="h5"><p class="MsoNormal"> </p><p class="MsoNormal">Sorry, I just had a look at my original post again. The description missed a &#39;+&#39; sign there but in my actual testing I have a &#39;+&#39; sign. Therefore, </p>
<div><p class="MsoNormal">qsub -l nodes=1:ppn=12+1:ppn=1 (works)</p></div><div><p class="MsoNormal">while</p></div><div><p class="MsoNormal" style="margin-bottom:12.0pt">qsub -l nodes=3:ppn=12+1:ppn=1 (does not work, job goes to idle)</p>
</div><div><p class="MsoNormal">Weird stuff. May I know if you guys encounter this?</p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">Regards,<br>Marvin</p></div>
<div><p class="MsoNormal"> </p></div><div><p class="MsoNormal"> </p><div><p class="MsoNormal">On Fri, Mar 25, 2011 at 10:46 AM, Marvin Novaglobal &lt;<a href="mailto:marvin.novaglobal@gmail.com" target="_blank">marvin.novaglobal@gmail.com</a>&gt; wrote:</p>
<p class="MsoNormal">Hi Peter,</p><div><p class="MsoNormal">    It doesn&#39;t work for my setup. I meant it only applies to nodes=3 and nodes=5 so far. We don&#39;t have enough resources to test on nodes=7. So again,</p>
</div><div><p class="MsoNormal">qsub -l nodes=1:ppn=12+1:ppn=1 will work but</p></div><div><p class="MsoNormal">qsub -l nodes=3:ppn=12+1:ppn=1 will not work</p></div><div><p class="MsoNormal">    May I know which version of Maui and Torque you are using? Your Maui and Torque&#39;s config also please.</p>
</div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal"><br>Regards,</p></div><div><p class="MsoNormal">Marvin</p></div><div><div><div><p class="MsoNormal"> </p></div><div>
<p class="MsoNormal"> </p><div><p class="MsoNormal">On Fri, Mar 25, 2011 at 12:20 AM, Peter Michael Crosta &lt;<a href="mailto:pmc2107@columbia.edu" target="_blank">pmc2107@columbia.edu</a>&gt; wrote:</p><p class="MsoNormal">
Hi Marvin,<br><br>I have gotten multiple resource requests to work by using the &quot;+&quot; sign. Have you tried<br><br>qsub -l nodes=3:ppn=12+1:ppn=1 ?<br><br>Best,<br><span style="color:#888888">Peter</span></p><div><div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><br><br>On Thu, 24 Mar 2011, Marvin Novaglobal wrote:</p><p class="MsoNormal" style="margin-bottom:12.0pt">Hi,    On my setup,<br>$ qsub -l nodes=1:ppn=12:1:ppn=1 (works)<br>
$ qsub -l nodes=2:ppn=12:1:ppn=1 (works)<br>$ qsub -l nodes=3:ppn=12:1:ppn=1 (job goes to idle and never get executed)<br>$ qsub -l nodes=4:ppn=12:1:ppn=1 (works)<br>$ qsub -l nodes=5:ppn=12:1:ppn=1 (job goes to idle and never get executed)<br>
<br>&lt;Maui.cfg&gt;<br>...<br>ENABLEMULTINODEJOBS[0]            TRUE<br>ENABLEMULTIREQJOBS[0]              TRUE<br>JOBNODEMATCHPOLICY[0]             EXACTNODE<br>NODEALLOCATIONPOLICY[0]           MINRESOURCE<br><br><br>&lt;Torque.cfg&gt;<br>
set server scheduling = True<br>set server acl_hosts = aquarius.local<br>set server managers = torque@aquarius<br>set server operators = torque@aquarius<br>set server default_queue = DEFAULT<br>set server log_events = 511<br>
set server mail_from = adm<br>set server resources_available.nodect = 2048<br>set server scheduler_iteration = 600<br>set server node_check_rate = 150<br>set server tcp_timeout = 6<br>set server mom_job_sync = True<br>set server keep_completed = 300<br>
set server next_job_number = 377<br><br>&lt;maui.log&gt;<br>03/24 20:23:48 MResDestroy(377)<br>03/24 20:23:48 MResChargeAllocation(377,2)<br>03/24 20:23:48<br>MQueueSelectJobs(SrcQ,DstQ,SOFT,5120,4096,2140000000,EVERY,FReason,TRUE)<br>
03/24 20:23:48 INFO:     total jobs selected in partition ALL: 1/1<br>03/24 20:23:48<br>MQueueSelectJobs(SrcQ,DstQ,SOFT,5120,4096,2140000000,DEFAULT,FReason,TRUE)<br>03/24 20:23:48 INFO:     total jobs selected in partition DEFAULT: 1/1<br>
03/24 20:23:48 MQueueScheduleIJobs(Q,DEFAULT)<br>03/24 20:23:48 INFO:     72 feasible tasks found for job 377:0 in partition<br>DEFAULT (36 Needed)<br>03/24 20:23:48 INFO:     72 feasible tasks found for job 377:1 in partition<br>
DEFAULT (1 Needed)<br>03/24 20:23:48 ALERT:    inadequate tasks to allocate to job 377:1 (0 &lt; 1)<br>03/24 20:23:48 ERROR:    cannot allocate nodes to job &#39;377&#39; in partition<br>DEFAULT<br>03/24 20:23:48 MJobPReserve(377,DEFAULT,ResCount,ResCountRej)<br>
03/24 20:23:48 MJobReserve(377,Priority)<br>03/24 20:23:48 INFO:     72 feasible tasks found for job 377:0 in partition<br>DEFAULT (36 Needed)<br>03/24 20:23:48 INFO:     72 feasible tasks found for job 377:1 in partition<br>
DEFAULT (1 Needed)<br>03/24 20:23:48 INFO:     72 feasible tasks found for job 377:0 in partition<br>DEFAULT (36 Needed)<br>03/24 20:23:48 INFO:     72 feasible tasks found for job 377:1 in partition<br>DEFAULT (1 Needed)<br>
03/24 20:23:48 INFO:     located resources for 36 tasks (144) in best<br>partition DEFAULT for job 377 at time 00:00:01<br>03/24 20:23:48 INFO:     tasks located for job 377:  37 of 36 required (144<br>feasible)<br>03/24 20:23:48 MResJCreate(377,MNodeList,00:00:01,Priority,Res)<br>
03/24 20:23:48 INFO:     job &#39;377&#39; reserved 36 tasks (partition DEFAULT) to<br>start in 00:00:01 on Thu Mar 24 20:23:49<br> (WC: 2592000)<br><br>&lt;pbs_server.log&gt;<br>03/24/2011 20:23:17;0100;PBS_Server;Job;377.aquarius;enqueuing into DEFAULT,<br>
state 1 hop 1<br>03/24/2011 20:23:17;0008;PBS_Server;Job;377.aquarius;Job Queued at request<br>of torque@aquarius, owner = torque@aquarius, job name = parallel.sh, queue =<br>DEFAULT<br>03/24/2011 20:23:17;0040;PBS_Server;Svr;aquarius;Scheduler was sent the<br>
command new<br><br><br>Anyone encounter problem with multiple job requests? <br><br><br>Regards,<br>Marvin<br><br></p></div></div></div><p class="MsoNormal"> </p></div></div></div></div><p class="MsoNormal"> </p></div></div>
</div></div></div></blockquote></div><br></div>