<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:p="urn:schemas-microsoft-com:office:powerpoint" xmlns:a="urn:schemas-microsoft-com:office:access" xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882" xmlns:s="uuid:BDC6E3F0-6DA3-11d1-A2A3-00AA00C14882" xmlns:rs="urn:schemas-microsoft-com:rowset" xmlns:z="#RowsetSchema" xmlns:b="urn:schemas-microsoft-com:office:publisher" xmlns:ss="urn:schemas-microsoft-com:office:spreadsheet" xmlns:c="urn:schemas-microsoft-com:office:component:spreadsheet" xmlns:odc="urn:schemas-microsoft-com:office:odc" xmlns:oa="urn:schemas-microsoft-com:office:activation" xmlns:html="http://www.w3.org/TR/REC-html40" xmlns:q="http://schemas.xmlsoap.org/soap/envelope/" xmlns:rtc="http://microsoft.com/officenet/conferencing" xmlns:D="DAV:" xmlns:Repl="http://schemas.microsoft.com/repl/" xmlns:mt="http://schemas.microsoft.com/sharepoint/soap/meetings/" xmlns:x2="http://schemas.microsoft.com/office/excel/2003/xml" xmlns:ppda="http://www.passport.com/NameSpace.xsd" xmlns:ois="http://schemas.microsoft.com/sharepoint/soap/ois/" xmlns:dir="http://schemas.microsoft.com/sharepoint/soap/directory/" xmlns:ds="http://www.w3.org/2000/09/xmldsig#" xmlns:dsp="http://schemas.microsoft.com/sharepoint/dsp" xmlns:udc="http://schemas.microsoft.com/data/udc" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:sub="http://schemas.microsoft.com/sharepoint/soap/2002/1/alerts/" xmlns:ec="http://www.w3.org/2001/04/xmlenc#" xmlns:sp="http://schemas.microsoft.com/sharepoint/" xmlns:sps="http://schemas.microsoft.com/sharepoint/soap/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:udcs="http://schemas.microsoft.com/data/udc/soap" xmlns:udcxf="http://schemas.microsoft.com/data/udc/xmlfile" xmlns:udcp2p="http://schemas.microsoft.com/data/udc/parttopart" xmlns:wf="http://schemas.microsoft.com/sharepoint/soap/workflow/" xmlns:dsss="http://schemas.microsoft.com/office/2006/digsig-setup" xmlns:dssi="http://schemas.microsoft.com/office/2006/digsig" xmlns:mdssi="http://schemas.openxmlformats.org/package/2006/digital-signature" xmlns:mver="http://schemas.openxmlformats.org/markup-compatibility/2006" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns:mrels="http://schemas.openxmlformats.org/package/2006/relationships" xmlns:spwp="http://microsoft.com/sharepoint/webpartpages" xmlns:ex12t="http://schemas.microsoft.com/exchange/services/2006/types" xmlns:ex12m="http://schemas.microsoft.com/exchange/services/2006/messages" xmlns:pptsl="http://schemas.microsoft.com/sharepoint/soap/SlideLibrary/" xmlns:spsl="http://microsoft.com/webservices/SharePointPortalServer/PublishedLinksService" xmlns:Z="urn:schemas-microsoft-com:" xmlns:st="&#1;" xmlns="http://www.w3.org/TR/REC-html40">

<head>
<meta http-equiv=Content-Type content="text/html; charset=us-ascii">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:Consolas;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoNoSpacing, li.MsoNoSpacing, div.MsoNoSpacing
        {mso-style-priority:1;
        margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:Consolas;}
span.EmailStyle19
        {mso-style-type:personal-compose;
        font-family:Consolas;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
.MsoPapDefault
        {mso-style-type:export-only;
        mso-margin-top-alt:auto;
        mso-margin-bottom-alt:auto;}
@page Section1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.Section1
        {page:Section1;}
-->
</style>
<!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
</head>

<body lang=EN-US link=blue vlink=purple>

<div class=Section1>

<p class=MsoNormal>Hi all. . .<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>I apologize if this message appears more than once &#8211;
there was an issue with my email address and list registration (which I hope is
now fixed), and so I&#8217;m having to resend this. . .<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>Anyway, where I work, we&#8217;ve had a problem for a while
that we haven&#8217;t been able to resolve.&nbsp; I&#8217;m not certain of the
cause - if it&#8217;s related to Torque, or Maui, or something else.&nbsp; But
here goes. . .<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>We&#8217;ve got a small cluster of 16 nodes, each with dual
hex-core processors.&nbsp; 12 cores per node, 192 cores total.&nbsp; The
problem is that if I launch small jobs, where multiple jobs should be able to
share a node without sharing cores, I instead get cores that are running more
than one process, while other cores are idle.&nbsp; The primary executable is WRF
(weather prediction model), but the problem occurs for other parallel codes. &nbsp;The
codes have been built to utilize MPI (not OpenMP, or MPI/OpenMP).<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>As an example, if I launch a series of jobs which request 4
cores each, I get 3 jobs assigned to each node.&nbsp; That should be fine, as
each node has 12 cores, and there should be no need to share cores.&nbsp;
Instead, I get 4 &#8220;overloaded&#8221; cores (each running 3 processes) and
8 idle cores.&nbsp; Obviously not an ideal situation.&nbsp; If I submit only a
single small job, in which case it&#8217;s alone on a node, then it runs
great.&nbsp; Similarly, if I launch a large job which spans more than one node,
it also works well &#8211; as long as it&#8217;s not sharing nodes with other
jobs.&nbsp; The problem only occurs (and always occurs) when parallel jobs
share a node.&nbsp; BTW, the qsub command does not explicitly request specific
cores, or anything like that.<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>I&#8217;m not the administrator &#8211; just the primary
user.&nbsp; The administrator (who was not previously familiar with
Torque/Maui) has been struggling with this for a bit, and is rather busy with
other duties, so I thought I&#8217;d check in here to see if anybody had
suggestions I could pass along.<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>Here are some specifics, as far as I know them:<o:p></o:p></p>

<p class=MsoNormal>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; HP blade hardware<o:p></o:p></p>

<p class=MsoNormal style='text-indent:.5in'>dual Intel Xeon X5670 processors<o:p></o:p></p>

<p class=MsoNormal>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Infiniband interconnect (not
an issue in this case?)<o:p></o:p></p>

<p class=MsoNormal style='text-indent:.5in'>the CentOS equivalent of Red Hat
4.1.2-48 (not sure of what that is exactly)<o:p></o:p></p>

<p class=MsoNormal style='text-indent:.5in'>Torque 3.0.2<o:p></o:p></p>

<p class=MsoNormal style='text-indent:.5in'>mvapich2-1.7rc1<o:p></o:p></p>

<p class=MsoNormal style='text-indent:.5in'>PGI7.2-5 compilers<o:p></o:p></p>

<p class=MsoNormal style='text-indent:.5in'>WRF 3.3.1<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>Any thoughts?&nbsp; I&#8217;ve probably left out relevant
information.&nbsp; If so, please ask for clarification.<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>Thanks,<o:p></o:p></p>

<p class=MsoNormal>Mike<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>-- <o:p></o:p></p>

<p class=MsoNormal>Mike Zulauf<o:p></o:p></p>

<p class=MsoNormal>Meteorologist, Lead Senior<o:p></o:p></p>

<p class=MsoNormal>Asset Optimization <o:p></o:p></p>

<p class=MsoNormal>Iberdrola Renewables<o:p></o:p></p>

<p class=MsoNormal>1125 NW Couch, Suite 700<o:p></o:p></p>

<p class=MsoNormal>Portland, OR 97209<o:p></o:p></p>

<p class=MsoNormal>Office: 503-478-6304&nbsp; Cell: 503-913-0403<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

</div>

</body>

<!--[object_id=#iberdrolaren.com#]--><FONT face=Tahoma size=2><FONT color=#0000ff><FONT color=#387000>
<P align=left><FONT face=Arial size=1>This message is intended for the exclusive attention of the recipient(s) indicated.&nbsp; Any information contained herein is strictly confidential and privileged. If you are not the intended recipient, please notify us by return e-mail and delete this message from your computer system. Any unauthorized use, reproduction, alteration, filing or sending of this message and/or any attached files may lead to legal action being taken against the party(ies) responsible for said unauthorized use. Any opinion expressed herein is solely that of the author(s) and does not necessarily represent the opinion of the Company. The sender does not guarantee the integrity, speed or safety of this message, and does not accept responsibility for any possible damage arising from the interception, incorporation of viruses, or any other damage as a result of manipulation.</P></FONT></FONT><FONT color=#387000></FONT><FONT face=Arial size=1>
<P align=left></P></FONT></FONT></FONT></html>