Hi Peter,<div>    It doesn&#39;t work for my setup. I meant it only applies to nodes=3 and nodes=5 so far. We don&#39;t have enough resources to test on nodes=7. So again,</div><div>qsub -l nodes=1:ppn=12+1:ppn=1 will work but</div>
<div>qsub -l nodes=3:ppn=12+1:ppn=1 will not work</div><div>    May I know which version of Maui and Torque you are using? Your Maui and Torque&#39;s config also please.</div><div><br></div><div><br></div><div><br>Regards,</div>
<div>Marvin</div><div><br></div><div><br><div class="gmail_quote">On Fri, Mar 25, 2011 at 12:20 AM, Peter Michael Crosta <span dir="ltr">&lt;<a href="mailto:pmc2107@columbia.edu">pmc2107@columbia.edu</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Hi Marvin,<br>
<br>
I have gotten multiple resource requests to work by using the &quot;+&quot; sign. Have you tried<br>
<br>
qsub -l nodes=3:ppn=12+1:ppn=1 ?<br>
<br>
Best,<br><font color="#888888">
Peter</font><div><div></div><div class="h5"><br>
<br>
On Thu, 24 Mar 2011, Marvin Novaglobal wrote:<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi,    On my setup,<br>
$ qsub -l nodes=1:ppn=12:1:ppn=1 (works)<br>
$ qsub -l nodes=2:ppn=12:1:ppn=1 (works)<br>
$ qsub -l nodes=3:ppn=12:1:ppn=1 (job goes to idle and never get executed)<br>
$ qsub -l nodes=4:ppn=12:1:ppn=1 (works)<br>
$ qsub -l nodes=5:ppn=12:1:ppn=1 (job goes to idle and never get executed)<br>
<br>
&lt;Maui.cfg&gt;<br>
...<br>
ENABLEMULTINODEJOBS[0]            TRUE<br>
ENABLEMULTIREQJOBS[0]              TRUE<br>
JOBNODEMATCHPOLICY[0]             EXACTNODE<br>
NODEALLOCATIONPOLICY[0]           MINRESOURCE<br>
<br>
<br>
&lt;Torque.cfg&gt;<br>
set server scheduling = True<br>
set server acl_hosts = aquarius.local<br>
set server managers = torque@aquarius<br>
set server operators = torque@aquarius<br>
set server default_queue = DEFAULT<br>
set server log_events = 511<br>
set server mail_from = adm<br>
set server resources_available.nodect = 2048<br>
set server scheduler_iteration = 600<br>
set server node_check_rate = 150<br>
set server tcp_timeout = 6<br>
set server mom_job_sync = True<br>
set server keep_completed = 300<br>
set server next_job_number = 377<br>
<br>
&lt;maui.log&gt;<br>
03/24 20:23:48 MResDestroy(377)<br>
03/24 20:23:48 MResChargeAllocation(377,2)<br>
03/24 20:23:48<br>
MQueueSelectJobs(SrcQ,DstQ,SOFT,5120,4096,2140000000,EVERY,FReason,TRUE)<br>
03/24 20:23:48 INFO:     total jobs selected in partition ALL: 1/1<br>
03/24 20:23:48<br>
MQueueSelectJobs(SrcQ,DstQ,SOFT,5120,4096,2140000000,DEFAULT,FReason,TRUE)<br>
03/24 20:23:48 INFO:     total jobs selected in partition DEFAULT: 1/1<br>
03/24 20:23:48 MQueueScheduleIJobs(Q,DEFAULT)<br>
03/24 20:23:48 INFO:     72 feasible tasks found for job 377:0 in partition<br>
DEFAULT (36 Needed)<br>
03/24 20:23:48 INFO:     72 feasible tasks found for job 377:1 in partition<br>
DEFAULT (1 Needed)<br>
03/24 20:23:48 ALERT:    inadequate tasks to allocate to job 377:1 (0 &lt; 1)<br>
03/24 20:23:48 ERROR:    cannot allocate nodes to job &#39;377&#39; in partition<br>
DEFAULT<br>
03/24 20:23:48 MJobPReserve(377,DEFAULT,ResCount,ResCountRej)<br>
03/24 20:23:48 MJobReserve(377,Priority)<br>
03/24 20:23:48 INFO:     72 feasible tasks found for job 377:0 in partition<br>
DEFAULT (36 Needed)<br>
03/24 20:23:48 INFO:     72 feasible tasks found for job 377:1 in partition<br>
DEFAULT (1 Needed)<br>
03/24 20:23:48 INFO:     72 feasible tasks found for job 377:0 in partition<br>
DEFAULT (36 Needed)<br>
03/24 20:23:48 INFO:     72 feasible tasks found for job 377:1 in partition<br>
DEFAULT (1 Needed)<br>
03/24 20:23:48 INFO:     located resources for 36 tasks (144) in best<br>
partition DEFAULT for job 377 at time 00:00:01<br>
03/24 20:23:48 INFO:     tasks located for job 377:  37 of 36 required (144<br>
feasible)<br>
03/24 20:23:48 MResJCreate(377,MNodeList,00:00:01,Priority,Res)<br>
03/24 20:23:48 INFO:     job &#39;377&#39; reserved 36 tasks (partition DEFAULT) to<br>
start in 00:00:01 on Thu Mar 24 20:23:49<br>
 (WC: 2592000)<br>
<br>
&lt;pbs_server.log&gt;<br>
03/24/2011 20:23:17;0100;PBS_Server;Job;377.aquarius;enqueuing into DEFAULT,<br>
state 1 hop 1<br>
03/24/2011 20:23:17;0008;PBS_Server;Job;377.aquarius;Job Queued at request<br>
of torque@aquarius, owner = torque@aquarius, job name = parallel.sh, queue =<br>
DEFAULT<br>
03/24/2011 20:23:17;0040;PBS_Server;Svr;aquarius;Scheduler was sent the<br>
command new<br>
<br>
<br>
Anyone encounter problem with multiple job requests? <br>
<br>
<br>
Regards,<br>
Marvin<br>
<br>
<br>
</blockquote>
</div></div></blockquote></div><br></div>