Thanks for your help.<br><br>
I try to setting node properties in $PBS_HOME/server_priv/nodes.<br>
Then I submit some parallel jobs, some are running on parallel queue,<br>
others are running on serial queue. Serial jobs are the same.<br>
Accounting logs:<br>
04/03/2006 09:35:56;E;3.i159.ascc;user=wzlu group=wzlu jobname=cpi
queue=parallel ctime=1144028142 qtime=1144028142 etime=1144028142
start=1144028142 exec_host=i153.ascc/0+i152.ascc/0
Resource_List.neednodes=2 Resource_List.nodect=2 Resource_List.nodes=2
session=0 end=1144028156 Exit_status=271 resources_used.cput=00:00:00
resources_used.mem=0kb resources_used.vmem=0kb
resources_used.walltime=00:00:14<br>
(This parallel job running on i153.ascc and i152.ascc. i153.ascc and i152.ascc are <br>
define in serial queue)<br>
<br>
maui.log have following message:<br>
04/03 14:14:51 MPBSNodeUpdate(i154.ascc,i154.ascc,Idle,base)<br>
04/03 14:14:51 MPBSLoadQueueInfo(base,i154.ascc,SC)<br>
04/03 14:14:51 INFO:&nbsp;&nbsp;&nbsp;&nbsp; queue 'batch' started state set to True<br>
04/03 14:14:51 INFO:&nbsp;&nbsp;&nbsp;&nbsp; class to node not mapping enabled for queue 'batch' adding class to all nodes<br>
04/03 14:14:51 INFO:&nbsp;&nbsp;&nbsp;&nbsp; queue 'serial' started state set to True<br>
04/03 14:14:51 INFO:&nbsp;&nbsp;&nbsp;&nbsp; class to node not mapping enabled for queue 'serial' adding class to all nodes<br>
04/03 14:14:51 INFO:&nbsp;&nbsp;&nbsp;&nbsp; queue 'parallel' started state set to True<br>
04/03 14:14:51 INFO:&nbsp;&nbsp;&nbsp;&nbsp; class to node not mapping enabled for queue 'parallel' adding class to all nodes<br>
<br>
I try to add &quot;#PBS -l nodes=2:parallel&quot; in job script, all the parallel jobs<br>
running on parallel queue.<br>
Accounting logs:<br>
04/03/2006 09:55:40;E;4.i159.ascc;user=wzlu group=wzlu jobname=cpi
queue=parallel ctime=1144029318 qtime=1144029318 etime=1144029318
start=1144029319 exec_host=i156.ascc/0+i155.ascc/0
Resource_List.neednodes=2:parallel Resource_List.nodect=2
Resource_List.nodes=2:parallel session=0 end=1144029340 Exit_status=0
resources_used.cput=00:00:00 resources_used.mem=616kb
resources_used.vmem=5276kb resources_used.walltime=00:00:22<br>
(This parallel job running on i156.ascc and i155.ascc. i156.ascc and i155.ascc are<br>
define in parallel queue)<br>
<br>
Add &quot;#PBS -l nodes=2:parallel&quot; in job script for most users are inconvenient.<br>
I thinks there are some miss in my system.<br>
<br>
Have any idea? Thanks.<br>
<br>
My environment is:<br>
OS - RHEL 4 WS 64 bit<br>
torque - <span class="q">2.0.0p8<br>
maui - </span><span class="q">3.2.6p14<br>
</span>serial queue - i151.ascc i152.ascc i153.ascc i154.ascc<br>
parallel queue - i155.ascc i156.ascc<br>
<br>
torque configuration as following:<br>
#<br>
# Create queues and set their attributes.<br>
#<br>
#<br>
# Create and define queue batch<br>
#<br>
create queue batch<br>
set queue batch queue_type = Route<br>
set queue batch route_destinations = serial<br>
set queue batch route_destinations += parallel<br>
set queue batch enabled = True<br>
set queue batch started = True<br>
#<br>
# Create and define queue serial<br>
#<br>
create queue serial<br>
set queue serial queue_type = Execution<br>
set queue serial resources_max.nodect = 1<br>
set queue serial resources_default.nodect = 1<br>
set queue serial resources_default.nodes = 1:ppn=1<br>
set queue serial enabled = True<br>
set queue serial started = True<br>
#<br>
# Create and define queue parallel<br>
#<br>
create queue parallel<br>
set queue parallel queue_type = Execution<br>
set queue parallel resources_max.nodect = 64<br>
set queue parallel resources_min.nodect = 2<br>
set queue parallel resources_default.nodect = 2<br>
set queue parallel resources_default.nodes = 2:ppn=1<br>
set queue parallel enabled = True<br>
set queue parallel started = True<br>
#<br>
# Set server attributes.<br>
#<br>
set server scheduling = True<br>
set server acl_host_enable = False<br>
set server acl_user_enable = False<br>
set server default_queue = batch<br>
set server log_events = 511<br>
set server mail_from = adm<br>
set server query_other_jobs = True<br>
set server resources_default.neednodes = 1<br>
set server resources_default.nodes = 1:ppn=1<br>
set server scheduler_iteration = 600<br>
set server node_check_rate = 150<br>
set server tcp_timeout = 6<br>
set server default_node = 1<br>
set server pbs_version = 2.0.0p8-1cri<br>
<br>
nodes<br>
i151.ascc serial<br>
i152.ascc serial<br>
i153.ascc serial<br>
i154.ascc serial<br>
i155.ascc parallel<br>
i156.ascc parallel<br>
i157.ascc parallel<br>
<br>
maui.cfg<br>
# maui.cfg 3.2.6p14<br>
<br>
SERVERHOST&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; i159.ascc<br>
# primary admin must be first in list<br>
ADMIN1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root<br>
<br>
# Resource Manager Definition<br>
<br>
RMCFG[base] TYPE=PBS<br>
<br>
# Allocation Manager Definition<br>
<br>
#AMCFG[bank]&nbsp; TYPE=NONE<br>
<br>
# full parameter docs at <a href="http://clusterresources.com/mauidocs/a.fparameters.html">http://clusterresources.com/mauidocs/a.fparameters.html</a><br>
# use the 'schedctl -l' command to display current configuration<br>
<br>
RMPOLLINTERVAL&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 00:00:30<br>
<br>
SERVERPORT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42559<br>
SERVERMODE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NORMAL<br>
<br>
# Admin: <a href="http://clusterresources.com/mauidocs/a.esecurity.html">http://clusterresources.com/mauidocs/a.esecurity.html</a><br>
<br>
LOGFILE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; maui.log<br>
LOGFILEMAXSIZE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10000000<br>
LOGLEVEL&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3<br>
<br>
# Job Priority: <a href="http://clusterresources.com/mauidocs/5.1jobprioritization.html">http://clusterresources.com/mauidocs/5.1jobprioritization.html</a><br>
<br>
QUEUETIMEWEIGHT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1 <br>
<br>
# FairShare: <a href="http://clusterresources.com/mauidocs/6.3fairshare.html">http://clusterresources.com/mauidocs/6.3fairshare.html</a><br>
<br>
#FSPOLICY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PSDEDICATED<br>
#FSDEPTH&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7<br>
#FSINTERVAL&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 86400<br>
#FSDECAY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.80<br>
<br>
# Throttling Policies: <a href="http://clusterresources.com/mauidocs/6.2throttlingpolicies.html">http://clusterresources.com/mauidocs/6.2throttlingpolicies.html</a><br>
<br>
# NONE SPECIFIED<br>
<br>
# Backfill: <a href="http://clusterresources.com/mauidocs/8.2backfill.html">http://clusterresources.com/mauidocs/8.2backfill.html</a><br>
<br>
BACKFILLPOLICY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; FIRSTFIT<br>
RESERVATIONPOLICY&nbsp;&nbsp;&nbsp;&nbsp; CURRENTHIGHEST<br>
<br>
#NODEALLOCATIONPOLICY&nbsp; MINRESOURCE<br>
NODEALLOCATIONPOLICY&nbsp; CPULOAD<br>
<br>
DEFERTIME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>
<br>
NODECFG[i151.ascc] PARTITION=SERIAL<br>
NODECFG[i152.ascc] PARTITION=SERIAL<br>
NODECFG[i153.ascc] PARTITION=SERIAL<br>
NODECFG[i154.ascc] PARTITION=SERIAL<br>
NODECFG[i155.ascc] PARTITION=PARALLEL<br>
NODECFG[i156.ascc] PARTITION=PARALLEL<br>
<br>
CLASSCFG[serial]&nbsp;&nbsp;&nbsp;&nbsp; MAXJOBPERUSER=4<br>
CLASSCFG[parallel]&nbsp;&nbsp; MAXJOBPERUSER=4<br>
CLASSCFG[parallel]&nbsp;&nbsp; MAXPROCPERUSER=16<br>
USERCFG[DEFAULT]&nbsp;&nbsp;&nbsp;&nbsp; MAXJOB=6 MAXPROC=20<br>
<br>
SRPARTITION[serial]&nbsp; SERIAL<br>
SRTASKCOUNT[serial]&nbsp; 4<br>
SRRESOURCES[serial]&nbsp; PROCS=-1<br>
SRCLASSLIST[serial]&nbsp; serial<br>
SRPERIOD[serial]&nbsp;&nbsp;&nbsp;&nbsp; INFINITY<br>
<br>
SRPARTITION[parallel]&nbsp; PARALLEL<br>
SRTASKCOUNT[parallel]&nbsp; 2<br>
SRRESOURCES[parallel]&nbsp; PROCS=-1<br>
SRCLASSLIST[parallel]&nbsp; parallel<br>
SRPERIOD[parallel]&nbsp;&nbsp;&nbsp;&nbsp; INFINITY<br>
<br><br><div><span class="gmail_quote">2006/3/31, Bas van der Vlies &lt;<a href="mailto:basv@sara.nl" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">
basv@sara.nl</a>&gt;:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><br>I do not use PARTITIONS but i solved the problem by setting node
<br>properties for, eg:<br>node1 serial<br>node2 serial<br>node3 parallel<br>node4 parallel<br><br>In torque to create queue:<br>&nbsp;&nbsp; parallel...<br>&nbsp;&nbsp; set queue q_parallel resources_default.neednodes = parallel<br>&nbsp;&nbsp; set queue q_parallel resources_default.nodect = 2
<br>&nbsp;&nbsp; ...<br><br>&nbsp;&nbsp; serial...<br>&nbsp;&nbsp; set queue q_serial resources_default.neednodes = serial<br>&nbsp;&nbsp; set queue q_serial resources_max.nodect = 1<br>&nbsp;&nbsp; set queue q_serial resources_default.ncpus = 1<br>&nbsp;&nbsp; set queue q_serial resources_default.nodect = 1
<br>&nbsp;&nbsp; set queue q_serial resources_default.nodes = 1<br><br>--<br>********************************************************************<br>*&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*<br>*&nbsp;&nbsp;Bas
van der
Vlies&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
e-mail: <a href="mailto:basv@sara.nl" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">basv@sara.nl</a>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*<br>*&nbsp;&nbsp;SARA - Academic Computing Services&nbsp;&nbsp;&nbsp;&nbsp;phone:&nbsp;&nbsp;+31 20 592 8012&nbsp;&nbsp; *<br>*&nbsp;&nbsp;Kruislaan
415&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
fax:&nbsp;&nbsp;&nbsp;&nbsp;+31 20 6683167&nbsp;&nbsp;&nbsp;&nbsp;*<br>*&nbsp;&nbsp;1098
SJ
Amsterdam&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
*
<br>*&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*<br>********************************************************************<br></blockquote></div><br>