<BODY contentEditable=true onload=parent.init()><P>I have a question and it could be something very simple but I don't see it:</P>
<P>&nbsp;</P>
<P>qmgr -c 'p s'</P>
<P># Create queues and set their attributes.<BR>#<BR>#<BR># Create and define queue ram16<BR>#<BR>create queue ram16<BR>set queue ram16 queue_type = Execution<BR>set queue ram16 resources_max.mem = 16gb<BR>set queue ram16 resources_min.mem = 8gb<BR>set queue ram16 resources_default.mem = 8gb<BR>set queue ram16 enabled = True<BR>set queue ram16 started = True<BR>#<BR># Create and define queue ram8<BR>#<BR>create queue ram8<BR>set queue ram8 queue_type = Execution<BR>set queue ram8 resources_max.mem = 8gb<BR>set queue ram8 resources_min.mem = 4gb<BR>set queue ram8 resources_default.mem = 4gb<BR>set queue ram8 enabled = True<BR>set queue ram8 started = True<BR>#<BR># Create and define queue ram4<BR>#<BR>create queue ram4<BR>set queue ram4 queue_type = Execution<BR>set queue ram4 resources_max.mem = 4gb<BR>set queue ram4 resources_default.mem = 1gb<BR>set queue ram4 enabled = True<BR>set queue ram4 started = True<BR>#<BR># Set server attributes.<BR>#<BR>
set server scheduling = True<BR>set server default_queue = ram4<BR>set server log_events = 511<BR>set server mail_from = adm<BR>set server query_other_jobs = True<BR>set server resources_default.nodes = 1<BR>set server scheduler_iteration = 60<BR>set server node_ping_rate = 300<BR>set server node_check_rate = 600<BR>set server tcp_timeout = 6<BR>set server pbs_version = 2.1.8<BR></P>
<P>&nbsp;</P>
<P>qstat -s</P>
<P>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Req'd&nbsp; Req'd&nbsp;&nbsp; Elap<BR>Job ID&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Username Queue&nbsp;&nbsp;&nbsp; Jobname&nbsp;&nbsp;&nbsp; SessID NDS&nbsp;&nbsp; TSK Memory Time&nbsp; S Time<BR>-------------------- -------- -------- ---------- ------ ----- --- ------ ----- - -----<BR>50.coupled-cluster.l&nbsp;user&nbsp;&nbsp; ram4&nbsp;&nbsp;&nbsp;&nbsp; CuPCuP++.2&nbsp; 13037&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; --&nbsp;&nbsp;&nbsp; 4gb&nbsp;&nbsp; --&nbsp; R 05:16<BR>&nbsp;&nbsp; Job started on Tue Mar 20 at 16:51<BR>
57.coupled-cluster.l&nbsp;user&nbsp;&nbsp; ram8&nbsp;&nbsp;&nbsp;&nbsp; CuPCuP.1d.&nbsp; 16589&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; --&nbsp;&nbsp;&nbsp; 8gb&nbsp;&nbsp; --&nbsp; R 04:17<BR>&nbsp;&nbsp; Job started on Tue Mar 20 at 17:50<BR>63.coupled-cluster.l&nbsp;user&nbsp;&nbsp; ram16&nbsp;&nbsp;&nbsp; CuPCuP.2d.&nbsp; 22138&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; --&nbsp;&nbsp; 16gb&nbsp;&nbsp; --&nbsp; R 04:10<BR>&nbsp;&nbsp; Job started on Tue Mar 20 at 17:57<BR>79.coupled-cluster.l&nbsp;user ram16&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; --&nbsp;&nbsp; 16gb&nbsp;&nbsp; --&nbsp; Q&nbsp;&nbsp; -- <BR>&nbsp;&nbsp; Not Running: Not enough memory available<BR>98.coupled-cluster.l scoggins ram4&nbsp;&nbsp;&nbsp;&nbsp; mpi-hello.&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; --&nbsp;&nbsp;&nbsp; 2gb&nbsp;&nbsp; --&nbsp; Q&nbsp;&nbsp; -- <BR>&nbsp;&nbsp; Not Running: Not enough memory available<BR>
101.coupled-cluster. scoggins ram8&nbsp;&nbsp;&nbsp;&nbsp; mpi-hello.&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; --&nbsp;&nbsp;&nbsp; 6gb&nbsp;&nbsp; --&nbsp; Q&nbsp;&nbsp; -- <BR>&nbsp;&nbsp; Not Running: Not enough memory available<BR></P>
<P>&nbsp;</P>
<P>pbsnodes -a</P>
<P>&nbsp;</P>
<P>node0000<BR>&nbsp;&nbsp;&nbsp;&nbsp; state = free<BR>&nbsp;&nbsp;&nbsp;&nbsp; np = 2<BR>&nbsp;&nbsp;&nbsp;&nbsp; properties = mem16gb<BR>&nbsp;&nbsp;&nbsp;&nbsp; ntype = cluster<BR>&nbsp;&nbsp;&nbsp;&nbsp; status = opsys=linux,uname=Linux node0000 2.6.17.11-102.caos.smp #1 SMP Thu Aug 24 23:30:43 EDT 2006 x86_64,sessions=? 0,nsessions=? 0,nusers=<BR>0,idletime=53301,totmem=16355264kb,availmem=16307688kb,physmem=16355264kb,ncpus=2,loadave=0.00,netload=190750343,state=free,jobs=? 0,rectime=117445<BR>7374<BR>&nbsp;<BR>node0001<BR>&nbsp;&nbsp;&nbsp;&nbsp; state = free<BR>&nbsp;&nbsp;&nbsp;&nbsp; np = 2<BR>&nbsp;&nbsp;&nbsp;&nbsp; properties = mem16gb<BR>&nbsp;&nbsp;&nbsp;&nbsp; ntype = cluster<BR>&nbsp;&nbsp;&nbsp;&nbsp; status = opsys=linux,uname=Linux node0001 2.6.17.11-102.caos.smp #1 SMP Thu Aug 24 23:30:43 EDT 2006 x86_64,sessions=? 0,nsessions=? 0,nusers=<BR>
0,idletime=53264,totmem=18134864kb,availmem=18087688kb,physmem=16174976kb,ncpus=2,loadave=0.00,netload=15128314,state=free,jobs=? 0,rectime=1174457<BR>361<BR>&nbsp;<BR>node0002<BR>&nbsp;&nbsp;&nbsp;&nbsp; state = free<BR>&nbsp;&nbsp;&nbsp;&nbsp; np = 2<BR>&nbsp;&nbsp;&nbsp;&nbsp; properties = mem8gb<BR>&nbsp;&nbsp;&nbsp;&nbsp; ntype = cluster<BR>&nbsp;&nbsp;&nbsp;&nbsp; jobs = 0/57.coupled-cluster.lbl.gov<BR>&nbsp;&nbsp;&nbsp;&nbsp; status = opsys=linux,uname=Linux node0002 2.6.17.11-102.caos.smp #1 SMP Thu Aug 24 23:30:43 EDT 2006 x86_64,sessions=16589,nsessions=1,nusers=<BR>1,idletime=53315,totmem=10133908kb,availmem=9857084kb,physmem=8093664kb,ncpus=2,loadave=1.00,netload=104881749,state=free,jobs=57.coupled-cluster.l<BR>bl.gov,rectime=1174457362<BR>&nbsp;<BR>node0003<BR>&nbsp;&nbsp;&nbsp;&nbsp; state = free<BR>&nbsp;&nbsp;&nbsp;&nbsp; np = 2<BR>&nbsp;&nbsp;&nbsp;&nbsp; properties = mem8gb<BR>&nbsp;&nbsp;&nbsp;&nbsp; ntype = cluster<BR>
&nbsp;&nbsp;&nbsp;&nbsp; status = opsys=linux,uname=Linux node0003 2.6.17.11-102.caos.smp #1 SMP Thu Aug 24 23:30:43 EDT 2006 x86_64,sessions=? 0,nsessions=? 0,nusers=<BR>0,idletime=53264,totmem=10133904kb,availmem=10089216kb,physmem=8093660kb,ncpus=2,loadave=0.00,netload=14935077,state=free,jobs=? 0,rectime=11744573<BR>60<BR>&nbsp;<BR>node0004<BR>&nbsp;&nbsp;&nbsp;&nbsp; state = free<BR>&nbsp;&nbsp;&nbsp;&nbsp; np = 2<BR>&nbsp;&nbsp;&nbsp;&nbsp; properties = mem8gb<BR>&nbsp;&nbsp;&nbsp;&nbsp; ntype = cluster<BR>&nbsp;&nbsp;&nbsp;&nbsp; status = opsys=linux,uname=Linux node0004 2.6.17.11-102.caos.smp #1 SMP Thu Aug 24 23:30:43 EDT 2006 x86_64,sessions=? 0,nsessi</P>
<P>...</P>
<P>&nbsp;</P>
<P>And there are a lot more free.</P>
<P>&nbsp;</P>
<P>No jobs are running on the free nodes.</P>
<P>&nbsp;</P>
<P>cat /var/spool/torque/sched_priv/sched_config</P>
<P>&nbsp;</P>
<P>round_robin: False&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; all<BR>&nbsp;<BR>&nbsp;<BR>&nbsp;<BR>by_queue: True&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; prime<BR>by_queue: True&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; non_prime<BR>&nbsp;<BR>&nbsp;<BR>&nbsp;<BR>strict_fifo: false&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ALL<BR>&nbsp;<BR>fair_share: false&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ALL<BR>&nbsp;<BR>&nbsp;<BR>help_starving_jobs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; false&nbsp;&nbsp; ALL<BR>&nbsp;<BR>sort_queues&nbsp;&nbsp;&nbsp;&nbsp; false&nbsp;&nbsp; ALL<BR>&nbsp;<BR>load_balancing: true&nbsp;&nbsp;&nbsp; ALL<BR>&nbsp;<BR>&nbsp;<BR>&nbsp;<BR>sort_by: shortest_job_first&nbsp;&nbsp;&nbsp;&nbsp; ALL<BR>&nbsp;<BR>log_filter: 256<BR>&nbsp;<BR>dedicated_prefix: ded<BR>&nbsp;<BR>max_starve: 24:00:00<BR>&nbsp;<BR>&nbsp;<BR>half_life: 24:00:00<BR>&nbsp;<BR>unknown_shares: 10<BR>&nbsp;<BR>sync_time: 1:00:00<BR></P>
<P>&nbsp;</P>
<P>Why are no other jobs running on the free nodes?</P>
<P>&nbsp;</P>
<P>Thanks</P>
<P>&nbsp;</P>
<P>Jackie</P>
<P>&nbsp;</P>
<P>&nbsp;</P>
<P>&nbsp;</P>
<P>&nbsp;</P>
<P>&nbsp;</P></BODY>