<HTML><BODY style="word-wrap: break-word; -khtml-nbsp-mode: space; -khtml-line-break: after-white-space; "><DIV>You forgot to make use of the node properties, was in my first email</DIV><DIV>  serial:</DIV><DIV>  set queue q_serial resources_default.neednodes = serial</DIV><DIV><BR class="khtml-block-placeholder"></DIV><DIV> parallel:</DIV><DIV> set queue q_parallel resources_default.neednodes = parallel</DIV><DIV><BR class="khtml-block-placeholder"></DIV><DIV>Then the queue is automatically selected if you use more then one node</DIV><DIV><BR class="khtml-block-placeholder"></DIV><DIV>Regards</DIV><BR><DIV><DIV>On Apr 3, 2006, at 8:41 AM, luxun wrote:</DIV><BR class="Apple-interchange-newline"><BLOCKQUOTE type="cite">Thanks for your help.<BR><BR> I try to setting node properties in $PBS_HOME/server_priv/nodes.<BR> Then I submit some parallel jobs, some are running on parallel queue,<BR> others are running on serial queue. Serial jobs are the same.<BR> Accounting logs:<BR> 04/03/2006 09:35:56;E;3.i159.ascc;user=wzlu group=wzlu jobname=cpi queue=parallel ctime=1144028142 qtime=1144028142 etime=1144028142 start=1144028142 exec_host=i153.ascc/0+i152.ascc/0 Resource_List.neednodes=2 Resource_List.nodect=2 Resource_List.nodes=2 session=0 end=1144028156 Exit_status=271 resources_used.cput=00:00:00 resources_used.mem=0kb resources_used.vmem=0kb resources_used.walltime=00:00:14<BR> (This parallel job running on i153.ascc and i152.ascc. i153.ascc and i152.ascc are <BR> define in serial queue)<BR> <BR> maui.log have following message:<BR> 04/03 14:14:51 MPBSNodeUpdate(i154.ascc,i154.ascc,Idle,base)<BR> 04/03 14:14:51 MPBSLoadQueueInfo(base,i154.ascc,SC)<BR> 04/03 14:14:51 INFO:     queue 'batch' started state set to True<BR> 04/03 14:14:51 INFO:     class to node not mapping enabled for queue 'batch' adding class to all nodes<BR> 04/03 14:14:51 INFO:     queue 'serial' started state set to True<BR> 04/03 14:14:51 INFO:     class to node not mapping enabled for queue 'serial' adding class to all nodes<BR> 04/03 14:14:51 INFO:     queue 'parallel' started state set to True<BR> 04/03 14:14:51 INFO:     class to node not mapping enabled for queue 'parallel' adding class to all nodes<BR> <BR> I try to add "#PBS -l nodes=2:parallel" in job script, all the parallel jobs<BR> running on parallel queue.<BR> Accounting logs:<BR> 04/03/2006 09:55:40;E;4.i159.ascc;user=wzlu group=wzlu jobname=cpi queue=parallel ctime=1144029318 qtime=1144029318 etime=1144029318 start=1144029319 exec_host=i156.ascc/0+i155.ascc/0 Resource_List.neednodes=2:parallel Resource_List.nodect=2 Resource_List.nodes=2:parallel session=0 end=1144029340 Exit_status=0 resources_used.cput=00:00:00 resources_used.mem=616kb resources_used.vmem=5276kb resources_used.walltime=00:00:22<BR> (This parallel job running on i156.ascc and i155.ascc. i156.ascc and i155.ascc are<BR> define in parallel queue)<BR> <BR> Add "#PBS -l nodes=2:parallel" in job script for most users are inconvenient.<BR> I thinks there are some miss in my system.<BR> <BR> Have any idea? Thanks.<BR> <BR> My environment is:<BR> OS - RHEL 4 WS 64 bit<BR> torque - <SPAN class="q">2.0.0p8<BR> maui - </SPAN><SPAN class="q">3.2.6p14<BR> </SPAN>serial queue - i151.ascc i152.ascc i153.ascc i154.ascc<BR> parallel queue - i155.ascc i156.ascc<BR> <BR> torque configuration as following:<BR> #<BR> # Create queues and set their attributes.<BR> #<BR> #<BR> # Create and define queue batch<BR> #<BR> create queue batch<BR> set queue batch queue_type = Route<BR> set queue batch route_destinations = serial<BR> set queue batch route_destinations += parallel<BR> set queue batch enabled = True<BR> set queue batch started = True<BR> #<BR> # Create and define queue serial<BR> #<BR> create queue serial<BR> set queue serial queue_type = Execution<BR> set queue serial resources_max.nodect = 1<BR> set queue serial resources_default.nodect = 1<BR> set queue serial resources_default.nodes = 1:ppn=1<BR> set queue serial enabled = True<BR> set queue serial started = True<BR> #<BR> # Create and define queue parallel<BR> #<BR> create queue parallel<BR> set queue parallel queue_type = Execution<BR> set queue parallel resources_max.nodect = 64<BR> set queue parallel resources_min.nodect = 2<BR> set queue parallel resources_default.nodect = 2<BR> set queue parallel resources_default.nodes = 2:ppn=1<BR> set queue parallel enabled = True<BR> set queue parallel started = True<BR> #<BR> # Set server attributes.<BR> #<BR> set server scheduling = True<BR> set server acl_host_enable = False<BR> set server acl_user_enable = False<BR> set server default_queue = batch<BR> set server log_events = 511<BR> set server mail_from = adm<BR> set server query_other_jobs = True<BR> set server resources_default.neednodes = 1<BR> set server resources_default.nodes = 1:ppn=1<BR> set server scheduler_iteration = 600<BR> set server node_check_rate = 150<BR> set server tcp_timeout = 6<BR> set server default_node = 1<BR> set server pbs_version = 2.0.0p8-1cri<BR> <BR> nodes<BR> i151.ascc serial<BR> i152.ascc serial<BR> i153.ascc serial<BR> i154.ascc serial<BR> i155.ascc parallel<BR> i156.ascc parallel<BR> i157.ascc parallel<BR> <BR> maui.cfg<BR> # maui.cfg 3.2.6p14<BR> <BR> SERVERHOST            i159.ascc<BR> # primary admin must be first in list<BR> ADMIN1                root<BR> <BR> # Resource Manager Definition<BR> <BR> RMCFG[base] TYPE=PBS<BR> <BR> # Allocation Manager Definition<BR> <BR> #AMCFG[bank]  TYPE=NONE<BR> <BR> # full parameter docs at <A href="http://clusterresources.com/mauidocs/a.fparameters.html">http://clusterresources.com/mauidocs/a.fparameters.html</A><BR> # use the 'schedctl -l' command to display current configuration<BR> <BR> RMPOLLINTERVAL        00:00:30<BR> <BR> SERVERPORT            42559<BR> SERVERMODE            NORMAL<BR> <BR> # Admin: <A href="http://clusterresources.com/mauidocs/a.esecurity.html">http://clusterresources.com/mauidocs/a.esecurity.html</A><BR> <BR> LOGFILE               maui.log<BR> LOGFILEMAXSIZE        10000000<BR> LOGLEVEL              3<BR> <BR> # Job Priority: <A href="http://clusterresources.com/mauidocs/5.1jobprioritization.html">http://clusterresources.com/mauidocs/5.1jobprioritization.html</A><BR> <BR> QUEUETIMEWEIGHT       1 <BR> <BR> # FairShare: <A href="http://clusterresources.com/mauidocs/6.3fairshare.html">http://clusterresources.com/mauidocs/6.3fairshare.html</A><BR> <BR> #FSPOLICY              PSDEDICATED<BR> #FSDEPTH               7<BR> #FSINTERVAL            86400<BR> #FSDECAY               0.80<BR> <BR> # Throttling Policies: <A href="http://clusterresources.com/mauidocs/6.2throttlingpolicies.html">http://clusterresources.com/mauidocs/6.2throttlingpolicies.html</A><BR> <BR> # NONE SPECIFIED<BR> <BR> # Backfill: <A href="http://clusterresources.com/mauidocs/8.2backfill.html">http://clusterresources.com/mauidocs/8.2backfill.html</A><BR> <BR> BACKFILLPOLICY        FIRSTFIT<BR> RESERVATIONPOLICY     CURRENTHIGHEST<BR> <BR> #NODEALLOCATIONPOLICY  MINRESOURCE<BR> NODEALLOCATIONPOLICY  CPULOAD<BR> <BR> DEFERTIME             0<BR> <BR> NODECFG[i151.ascc] PARTITION=SERIAL<BR> NODECFG[i152.ascc] PARTITION=SERIAL<BR> NODECFG[i153.ascc] PARTITION=SERIAL<BR> NODECFG[i154.ascc] PARTITION=SERIAL<BR> NODECFG[i155.ascc] PARTITION=PARALLEL<BR> NODECFG[i156.ascc] PARTITION=PARALLEL<BR> <BR> CLASSCFG[serial]     MAXJOBPERUSER=4<BR> CLASSCFG[parallel]   MAXJOBPERUSER=4<BR> CLASSCFG[parallel]   MAXPROCPERUSER=16<BR> USERCFG[DEFAULT]     MAXJOB=6 MAXPROC=20<BR> <BR> SRPARTITION[serial]  SERIAL<BR> SRTASKCOUNT[serial]  4<BR> SRRESOURCES[serial]  PROCS=-1<BR> SRCLASSLIST[serial]  serial<BR> SRPERIOD[serial]     INFINITY<BR> <BR> SRPARTITION[parallel]  PARALLEL<BR> SRTASKCOUNT[parallel]  2<BR> SRRESOURCES[parallel]  PROCS=-1<BR> SRCLASSLIST[parallel]  parallel<BR> SRPERIOD[parallel]     INFINITY<BR> <BR><BR><DIV><SPAN class="gmail_quote">2006/3/31, Bas van der Vlies &lt;<A href="mailto:basv@sara.nl" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)"> basv@sara.nl</A>&gt;:</SPAN><BLOCKQUOTE class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><BR>I do not use PARTITIONS but i solved the problem by setting node <BR>properties for, eg:<BR>node1 serial<BR>node2 serial<BR>node3 parallel<BR>node4 parallel<BR><BR>In torque to create queue:<BR>   parallel...<BR>   set queue q_parallel resources_default.neednodes = parallel<BR>   set queue q_parallel resources_default.nodect = 2 <BR>   ...<BR><BR>   serial...<BR>   set queue q_serial resources_default.neednodes = serial<BR>   set queue q_serial resources_max.nodect = 1<BR>   set queue q_serial resources_default.ncpus = 1<BR>   set queue q_serial resources_default.nodect = 1 <BR>   set queue q_serial resources_default.nodes = 1<BR><BR>--<BR>********************************************************************<BR>*                                                                  *<BR>*  Bas van der Vlies                     e-mail: <A href="mailto:basv@sara.nl" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">basv@sara.nl</A>      *<BR>*  SARA - Academic Computing Services    phone:  +31 20 592 8012   *<BR>*  Kruislaan 415                         fax:    +31 20 6683167    *<BR>*  1098 SJ Amsterdam                                               * <BR>*                                                                  *<BR>********************************************************************<BR></BLOCKQUOTE></DIV><BR></BLOCKQUOTE></DIV><BR><DIV> <SPAN class="Apple-style-span" style="border-collapse: separate; border-spacing: 0px 0px; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; text-align: auto; -khtml-text-decorations-in-effect: none; text-indent: 0px; -apple-text-size-adjust: auto; text-transform: none; orphans: 2; white-space: normal; widows: 2; word-spacing: 0px; "><SPAN class="Apple-style-span" style="border-collapse: separate; border-spacing: 0px 0px; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; text-align: auto; -khtml-text-decorations-in-effect: none; text-indent: 0px; -apple-text-size-adjust: auto; text-transform: none; orphans: 2; white-space: normal; widows: 2; word-spacing: 0px; "><DIV>--</DIV><DIV>Bas van der Vlies</DIV><DIV><A href="mailto:basv@sara.nl">basv@sara.nl</A></DIV><DIV><BR class="khtml-block-placeholder"></DIV><BR class="Apple-interchange-newline"></SPAN></SPAN> </DIV><BR></BODY></HTML>