<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">

<head>
<meta http-equiv=Content-Type content="text/html; charset=us-ascii">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:Consolas;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoNoSpacing, li.MsoNoSpacing, div.MsoNoSpacing
        {mso-style-priority:1;
        margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:Consolas;}
span.EmailStyle19
        {mso-style-type:personal-compose;
        font-family:Consolas;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
.MsoPapDefault
        {mso-style-type:export-only;
        mso-margin-top-alt:auto;
        mso-margin-bottom-alt:auto;}
@page Section1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.Section1
        {page:Section1;}
-->
</style>
<!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
</head>

<body lang=EN-US link=blue vlink=purple>

<div class=Section1>

<p class=MsoNormal>A big thinks to Ken Nielson, Jim Coyle, and Fotis Georgatos &#8211;
based on their help I made some significant progress today.&nbsp; I haven&#8217;t
completely worked out all the details yet, but I&#8217;ve found that by
switching to OpenMPI, I do not get the same problematic behavior.&nbsp; So it
seems most likely that the source of the problem has something to do with a
configuration detail of our mvapich2 installation.<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>According to some earlier benchmarking I&#8217;d done,
mvapich2 seems to offer better performance across our infiniband interconnect,
so I&#8217;d like to see if I can get to the bottom of the issue with
that.&nbsp; Alternatively, I could use mvapich2 for the &#8220;large&#8221;
jobs (which span multiple nodes), and use OpenMPI for the &#8220;small&#8221;
jobs (which will share a node with other jobs).&nbsp; I&#8217;d prefer to avoid
the &#8220;dual MPI&#8221; alternative, as then we&#8217;d have to build all
executables twice, and some of them are a bit tricky.&nbsp; Still, I suppose it&#8217;s
an option.<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>In any case, thanks again.&nbsp; Now maybe I can go haunt
the mvapich2 lists, or at least start trying to dig up the solution in that
documentation.<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>Happy computing,<o:p></o:p></p>

<p class=MsoNormal>Mike<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<p class=MsoNormal>-- <o:p></o:p></p>

<p class=MsoNormal>Mike Zulauf<o:p></o:p></p>

<p class=MsoNormal>Meteorologist, Lead Senior<o:p></o:p></p>

<p class=MsoNormal>Asset Optimization <o:p></o:p></p>

<p class=MsoNormal>Iberdrola Renewables<o:p></o:p></p>

<p class=MsoNormal>1125 NW Couch, Suite 700<o:p></o:p></p>

<p class=MsoNormal>Portland, OR 97209<o:p></o:p></p>

<p class=MsoNormal>Office: 503-478-6304&nbsp; Cell: 503-913-0403<o:p></o:p></p>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

</div>

</body>

<!--[object_id=#iberdrolaren.com#]--><FONT face=Tahoma size=2><FONT color=#0000ff><FONT color=#387000>
<P align=left><FONT face=Arial size=1>This message is intended for the exclusive attention of the recipient(s) indicated.&nbsp; Any information contained herein is strictly confidential and privileged. If you are not the intended recipient, please notify us by return e-mail and delete this message from your computer system. Any unauthorized use, reproduction, alteration, filing or sending of this message and/or any attached files may lead to legal action being taken against the party(ies) responsible for said unauthorized use. Any opinion expressed herein is solely that of the author(s) and does not necessarily represent the opinion of the Company. The sender does not guarantee the integrity, speed or safety of this message, and does not accept responsibility for any possible damage arising from the interception, incorporation of viruses, or any other damage as a result of manipulation.</P></FONT></FONT><FONT color=#387000></FONT><FONT face=Arial size=1>
<P align=left></P></FONT></FONT></FONT></html>