<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 14 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri","sans-serif";}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Marvin,<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>We use Maui 3.3 and Torque 2.5.4, and our maui config looks like yours (except we have NODEALLOCATIONPOLICY set to PRIORITY).<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Your first qsub asks for 12 processors on one node and 1 processor on one node, so 2 nodes in total and 13 processors. Your second asks for 12 processors on each of 3 nodes (36 total) and one processor on one node, so 4 nodes and 37 processors. How many nodes and processors do you have according to showq?<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal>You also noted that $ qsub -l nodes=4:ppn=12+1:ppn=1 worked, which I find strange as this requires 49 processors and 5 nodes. Any other processor or node restrictions in your torque or maui config?<o:p></o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal>Peter<span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:10.0pt;color:#1F497D'><br><br></span><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p></o:p></span></p><p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> Marvin Novaglobal [mailto:marvin.novaglobal@gmail.com] <br><b>Sent:</b> Thursday, March 24, 2011 10:56 PM<br><b>To:</b> Peter Michael Crosta<br><b>Cc:</b> mauiusers@supercluster.org<br><b>Subject:</b> Re: [Mauiusers] Multiple job request peculiarities<o:p></o:p></span></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal>Sorry, I just had a look at my original post again. The description missed a '+' sign there but in my actual testing I have a '+' sign. Therefore,&nbsp;<o:p></o:p></p><div><p class=MsoNormal>qsub -l nodes=1:ppn=12+1:ppn=1 (works)<o:p></o:p></p></div><div><p class=MsoNormal>while<o:p></o:p></p></div><div><p class=MsoNormal style='margin-bottom:12.0pt'>qsub -l nodes=3:ppn=12+1:ppn=1 (does not work, job goes to idle)<o:p></o:p></p></div><div><p class=MsoNormal>Weird stuff. May I know if you guys encounter this?<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal>Regards,<br>Marvin<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p><div><p class=MsoNormal>On Fri, Mar 25, 2011 at 10:46 AM, Marvin Novaglobal &lt;<a href="mailto:marvin.novaglobal@gmail.com">marvin.novaglobal@gmail.com</a>&gt; wrote:<o:p></o:p></p><p class=MsoNormal>Hi Peter,<o:p></o:p></p><div><p class=MsoNormal>&nbsp; &nbsp; It doesn't work for my setup. I meant it only applies to nodes=3 and nodes=5 so far. We don't have enough resources to test on nodes=7. So again,<o:p></o:p></p></div><div><p class=MsoNormal>qsub -l nodes=1:ppn=12+1:ppn=1 will work but<o:p></o:p></p></div><div><p class=MsoNormal>qsub -l nodes=3:ppn=12+1:ppn=1 will not work<o:p></o:p></p></div><div><p class=MsoNormal>&nbsp; &nbsp; May I know which version of Maui and Torque you are using? Your Maui and Torque's config also please.<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal><br>Regards,<o:p></o:p></p></div><div><p class=MsoNormal>Marvin<o:p></o:p></p></div><div><div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p><div><p class=MsoNormal>On Fri, Mar 25, 2011 at 12:20 AM, Peter Michael Crosta &lt;<a href="mailto:pmc2107@columbia.edu" target="_blank">pmc2107@columbia.edu</a>&gt; wrote:<o:p></o:p></p><p class=MsoNormal>Hi Marvin,<br><br>I have gotten multiple resource requests to work by using the &quot;+&quot; sign. Have you tried<br><br>qsub -l nodes=3:ppn=12+1:ppn=1 ?<br><br>Best,<br><span style='color:#888888'>Peter</span><o:p></o:p></p><div><div><p class=MsoNormal style='margin-bottom:12.0pt'><br><br>On Thu, 24 Mar 2011, Marvin Novaglobal wrote:<o:p></o:p></p><p class=MsoNormal style='margin-bottom:12.0pt'>Hi,&nbsp; &nbsp; On my setup,<br>$ qsub -l nodes=1:ppn=12:1:ppn=1 (works)<br>$ qsub -l nodes=2:ppn=12:1:ppn=1 (works)<br>$ qsub -l nodes=3:ppn=12:1:ppn=1 (job goes to idle and never get executed)<br>$ qsub -l nodes=4:ppn=12:1:ppn=1 (works)<br>$ qsub -l nodes=5:ppn=12:1:ppn=1 (job goes to idle and never get executed)<br><br>&lt;Maui.cfg&gt;<br>...<br>ENABLEMULTINODEJOBS[0] &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;TRUE<br>ENABLEMULTIREQJOBS[0] &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;TRUE<br>JOBNODEMATCHPOLICY[0] &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; EXACTNODE<br>NODEALLOCATIONPOLICY[0] &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; MINRESOURCE<br><br><br>&lt;Torque.cfg&gt;<br>set server scheduling = True<br>set server acl_hosts = aquarius.local<br>set server managers = torque@aquarius<br>set server operators = torque@aquarius<br>set server default_queue = DEFAULT<br>set server log_events = 511<br>set server mail_from = adm<br>set server resources_available.nodect = 2048<br>set server scheduler_iteration = 600<br>set server node_check_rate = 150<br>set server tcp_timeout = 6<br>set server mom_job_sync = True<br>set server keep_completed = 300<br>set server next_job_number = 377<br><br>&lt;maui.log&gt;<br>03/24 20:23:48 MResDestroy(377)<br>03/24 20:23:48 MResChargeAllocation(377,2)<br>03/24 20:23:48<br>MQueueSelectJobs(SrcQ,DstQ,SOFT,5120,4096,2140000000,EVERY,FReason,TRUE)<br>03/24 20:23:48 INFO: &nbsp; &nbsp; total jobs selected in partition ALL: 1/1<br>03/24 20:23:48<br>MQueueSelectJobs(SrcQ,DstQ,SOFT,5120,4096,2140000000,DEFAULT,FReason,TRUE)<br>03/24 20:23:48 INFO: &nbsp; &nbsp; total jobs selected in partition DEFAULT: 1/1<br>03/24 20:23:48 MQueueScheduleIJobs(Q,DEFAULT)<br>03/24 20:23:48 INFO: &nbsp; &nbsp; 72 feasible tasks found for job 377:0 in partition<br>DEFAULT (36 Needed)<br>03/24 20:23:48 INFO: &nbsp; &nbsp; 72 feasible tasks found for job 377:1 in partition<br>DEFAULT (1 Needed)<br>03/24 20:23:48 ALERT: &nbsp; &nbsp;inadequate tasks to allocate to job 377:1 (0 &lt; 1)<br>03/24 20:23:48 ERROR: &nbsp; &nbsp;cannot allocate nodes to job '377' in partition<br>DEFAULT<br>03/24 20:23:48 MJobPReserve(377,DEFAULT,ResCount,ResCountRej)<br>03/24 20:23:48 MJobReserve(377,Priority)<br>03/24 20:23:48 INFO: &nbsp; &nbsp; 72 feasible tasks found for job 377:0 in partition<br>DEFAULT (36 Needed)<br>03/24 20:23:48 INFO: &nbsp; &nbsp; 72 feasible tasks found for job 377:1 in partition<br>DEFAULT (1 Needed)<br>03/24 20:23:48 INFO: &nbsp; &nbsp; 72 feasible tasks found for job 377:0 in partition<br>DEFAULT (36 Needed)<br>03/24 20:23:48 INFO: &nbsp; &nbsp; 72 feasible tasks found for job 377:1 in partition<br>DEFAULT (1 Needed)<br>03/24 20:23:48 INFO: &nbsp; &nbsp; located resources for 36 tasks (144) in best<br>partition DEFAULT for job 377 at time 00:00:01<br>03/24 20:23:48 INFO: &nbsp; &nbsp; tasks located for job 377: &nbsp;37 of 36 required (144<br>feasible)<br>03/24 20:23:48 MResJCreate(377,MNodeList,00:00:01,Priority,Res)<br>03/24 20:23:48 INFO: &nbsp; &nbsp; job '377' reserved 36 tasks (partition DEFAULT) to<br>start in 00:00:01 on Thu Mar 24 20:23:49<br>&nbsp;(WC: 2592000)<br><br>&lt;pbs_server.log&gt;<br>03/24/2011 20:23:17;0100;PBS_Server;Job;377.aquarius;enqueuing into DEFAULT,<br>state 1 hop 1<br>03/24/2011 20:23:17;0008;PBS_Server;Job;377.aquarius;Job Queued at request<br>of torque@aquarius, owner = torque@aquarius, job name = parallel.sh, queue =<br>DEFAULT<br>03/24/2011 20:23:17;0040;PBS_Server;Svr;aquarius;Scheduler was sent the<br>command new<br><br><br>Anyone encounter problem with multiple job requests?&nbsp;<br><br><br>Regards,<br>Marvin<br><br><o:p></o:p></p></div></div></div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div></div></div></div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div></div></body></html>