<html>
<head>
<style><!--
.hmmessage P
{
margin:0px;
padding:0px
}
body.hmmessage
{
font-size: 12pt;
font-family:Calibri
}
--></style></head>
<body class='hmmessage'><div dir='ltr'>Hello,<div><br></div><div>I'm asking for help to use 2 things on my torque cluster :</div><div>- 1) Use of mom.layout for better use of my nodes</div><div>- 2) Use of cpuset</div><div><br></div><div>Actually, to do this, i'm using the 4.1.6 branch and configure with theses options :</div><div><div>--prefix=/usr</div><div><span style="font-size: 12pt;">--enable-syslog</span></div><div>--disable-gui</div><div>--with-sched=no</div><div>--enable-nvidia-gpus</div><div>--enable-numa-support</div><div>--enable-cpuset</div><div>--with-tcp-retry-limit=5</div></div><div><br></div><div>I'm using version 1.7.1 of hwloc on a Debian squeeze with&nbsp;3.2.0-0.bpo.3-amd64 kernel</div><div><br></div><div>The only problem during make was :</div><div><div>catch_child.c:1973: error: ‘sisters’ undeclared (first use in this function)</div><div>catch_child.c:1973: error: (Each undeclared identifier is reported only once</div><div>catch_child.c:1973: error: for each function it appears in.)</div></div><div><br></div><div>Don't know why there is a condition to declare this identifier between lines 1685-1689... i deleted the&nbsp;#ifndef/#endif to correct this problem.</div><div><br></div><div>I'm lauching all packages on a vm with 4 cpus and a very minimal config :</div><div><div>create queue batch</div><div>set queue batch queue_type = Execution</div><div>set queue batch resources_default.ncpus = 1</div><div>set queue batch resources_default.nodes = 1</div><div>set queue batch enabled = True</div><div>set queue batch started = True</div><div><span style="font-size: 12pt;">set server acl_hosts = test2</span></div><div>set server default_queue = batch</div><div>set server log_events = 511</div><div>set server mail_from = adm</div><div>set server scheduler_iteration = 600</div><div>set server node_check_rate = 150</div><div>set server tcp_timeout = 300</div><div>set server job_stat_rate = 45</div><div>set server poll_jobs = True</div><div>set server mom_job_sync = True</div><div>set server next_job_number = 11</div><div>set server moab_array_compatible = True</div></div><div><br></div><div><div>cat /var/spool/torque/server_priv/nodes</div><div>test2 np=4 num_node_boards=1</div></div><div><br></div><div><div>cat /var/spool/torque/mom_priv/mom.layout</div><div>nodes=0</div></div><div><br></div><div>(and maui for scheduling)</div><div><br></div><div><br></div><div>When all is lauched, its work... but hwloc don't do his job...&nbsp;<span style="font-size: 12pt;">if i launch a load generator as "stress" for 2 cpus (stress -t 120 -c 2) with a qsub requiring 1 cpus :</span></div><div><span style="font-size: 12pt;">-&nbsp;</span>/dev/cpuset/torque/"jobid"/ is well created but cpus file is empty</div><div>- A look with htop show a load on 2 cpus</div><div>-&nbsp;/dev/cpuset/torque/cpus is empty</div><div>- "lstopo --ps" don't show anything...</div><div><br></div><div>Maybe a configuration problem ? When i look at mom logs :</div><div><div>06/12/2013 17:00:31;0002; &nbsp; pbs_mom.4754;Svr;pbs_mom;Torque Mom Version = 4.1.6, loglevel = 0</div><div>06/12/2013 17:00:36;0002; &nbsp; pbs_mom.4754;Svr;setup_program_environment;machine topology contains 0 memory nodes, 4 cpus</div><div>06/12/2013 17:00:36;0002; &nbsp; pbs_mom.4754;node;read_layout_file;nodeboard &nbsp;0: 1 NUMA nodes: 0</div><div>06/12/2013 17:00:36;0002; &nbsp; pbs_mom.4754;node;read_layout_file;Setting up this mom to function as 1 numa nodes</div><div>06/12/2013 17:00:36;0002; &nbsp; pbs_mom.4754;node;setup_nodeboards;nodeboard &nbsp;0: 0 cpus (), 1 mems (0)</div><div>06/12/2013 17:00:36;0002; &nbsp; pbs_mom.4754;Svr;init_torque_cpuset;Init cpuset /dev/cpuset/torque</div><div>06/12/2013 17:00:36;0002; &nbsp; pbs_mom.4754;Svr;init_torque_cpuset;setting cpus =</div><div>06/12/2013 17:00:36;0002; &nbsp; pbs_mom.4754;Svr;init_torque_cpuset;setting mems = 0</div></div><div><br></div><div>Why "setting cpus" is empty ?</div><div><br></div><div>Tests with a "hwloc-bind core:0 -- stress -t 120 -c 2 &amp;" working well.</div><div><br></div><div><br></div><div>Anyone have an idea ?</div><div><br></div><div>Many thanks in advance :)</div>                                               </div></body>
</html>