<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-AU link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span lang=EN-US>HI All,<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>I&#8217;ve started configuring torque 3.0.3 on an SGI UV system (following &nbsp;</span><a href="http://www.clusterresources.com/torquedocs/1.7torqueonnuma.shtml">http://www.clusterresources.com/torquedocs/1.7torqueonnuma.shtml</a>) <span lang=EN-US>and am having problems.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>I started with a working non-numa 3.0.3 setup as a sanity check.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>I configured it with &#8211;enable-numa-support and made a nodes file:<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>cherax-1 np=48 num_numa_nodes=6<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>and mom.layout<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>#cpus=0-15 mem=0-1 /boot<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>cpus=16-23 mem=2<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>cpus=24-31 mem=3<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>#cpus=32-47 mem=4-5 /user<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>cpus=48-55 mem=6<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>cpus=55-63 mem=7<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>cpus=64-71 mem=8<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>cpus=72-79 mem=9<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>(note that some of the blades are set aside for io etc. and not all are currently on or configured).<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>&#8216;pbsnodes &#8211;a&#8217; then reports sensible info about (virtual) nodes cherax-1-0 through cherax-1-5<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>However then it gets messy.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>I couldn&#8217;t submit jobs anymore (ruserok errors).&nbsp; Putting cherax-1 in a .rhosts file allowed me to submit a job which seemed to run ok but it failed to finish cleanly:<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>01/04/2012 14:41:46&nbsp; S&nbsp;&nbsp;&nbsp; Reply sent for request type JobObituary on socket 17<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>01/04/2012 14:41:46&nbsp; M&nbsp;&nbsp;&nbsp; scan_for_terminated: job 248.cherax-1.hpsc.csiro.au task 1 terminated, sid=148991<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>01/04/2012 14:41:46&nbsp; M&nbsp;&nbsp;&nbsp; job was terminated<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>01/04/2012 14:41:46&nbsp; M&nbsp;&nbsp;&nbsp; obit sent to server<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>01/04/2012 14:41:46&nbsp; M&nbsp;&nbsp;&nbsp; server rejected job obit - 15001<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>01/04/2012 14:41:47&nbsp; M&nbsp;&nbsp;&nbsp; removed job script<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>01/04/2012 14:41:54&nbsp; S&nbsp;&nbsp;&nbsp; preparing to send 'a' mail for job 248.cherax-1.hpsc.csiro.au to wil240@cherax-1.hpsc.csiro.au (Job does not exist on node)<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>The server log has messages about nodes changing state (I think the state=512 is unexpected): <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>01/04/2012 15:22:56;0040;PBS_Server;Req;is_stat_get;received status from node cherax-1<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>01/04/2012 15:22:56;0040;PBS_Server;Req;update_node_state;adjusting state for node cherax-1-4 - state=512, newstate=0 <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>Is it possible that the name &#8216;cherax-1&#8217; is being handled badly with a trailing hyphen-digit, similar to the virtual node designation?<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>Last, I also tried a non-uniform layout with numa_node_str<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>Nodes: cherax-1 numa_node_str=16,8,8,16<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>(with a compatible mom.layout) and pbs_server crashed:<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>Jan&nbsp; 4 13:55:27 cherax-1 kernel: [66593.114396] pbs_server[118916] trap divide error ip:4106f5 sp:7fffcb74ec90 error:0 in pbs_server[400000+58000]<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>Has anyone used such a setup successfully?<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>Regards,<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>Gareth<o:p></o:p></span></p></div></body></html>