<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 12 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<BODY>      
    
<div class="WordSection1">
<p class="MsoNormal">torque &nbsp;4.1.7<o:p></o:p></p>
<p class="MsoNormal">maui 3.3.1<o:p></o:p></p>
<p class="MsoNormal">mpich2 1.5 with hydra<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Hi all,<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">I am trying to integrate a working mpi job script to submit using torque.
<o:p></o:p></p>
<p class="MsoNormal">I have built a machinefile to match the nodes I request (n23,n24,n25 and n26 in this case). This is the beginning of my submission script:<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">#!/bin/sh<o:p></o:p></p>
<p class="MsoNormal">#PBS -N run_conf11_jul_aug<o:p></o:p></p>
<p class="MsoNormal">##PBS -W x=&quot;NACCESSPOLICY:SINGLEJOB&quot; <o:p></o:p></p>
<p class="MsoNormal">#PBS -l nodes=n23:ppn=8&#43;n24:ppn=8&#43;n25:ppn=8&#43;n26:ppn=8<o:p></o:p></p>
<p class="MsoNormal">#PBS -k oe<o:p></o:p></p>
<p class="MsoNormal">#PBS -q multiple<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">(...)<o:p></o:p></p>
<p class="MsoNormal">mpiexec -envlist _CONFIGURATION_ -f machinefile -l -np 32 ../bin/getm_prod_IFORT13.0060x0085<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">After mpiexec being called I get this error:<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Permission denied, please try again.<o:p></o:p></p>
<p class="MsoNormal">Permission denied, please try again.<o:p></o:p></p>
<p class="MsoNormal">Received disconnect from 10.1.0.25: 2: Too many authentication failures for be_user<o:p></o:p></p>
<p class="MsoNormal">Permission denied, please try again.<o:p></o:p></p>
<p class="MsoNormal">Permission denied, please try again.<o:p></o:p></p>
<p class="MsoNormal">Permission denied, please try again.<o:p></o:p></p>
<p class="MsoNormal">Permission denied, please try again.<o:p></o:p></p>
<p class="MsoNormal">Received disconnect from 10.1.0.24: 2: Too many authentication failures for be_user<o:p></o:p></p>
<p class="MsoNormal">Received disconnect from 10.1.0.26: 2: Too many authentication failures for be_user<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">I can ssh to any of the nodes with no problem and the same scripts works when not using qsub.
<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Any ideas please?<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">tiago<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">[be_user@deepgreen Conf11]$ cat machinefile <o:p></o:p></p>
<p class="MsoNormal">n23<o:p></o:p></p>
<p class="MsoNormal">n23<o:p></o:p></p>
<p class="MsoNormal">n23<o:p></o:p></p>
<p class="MsoNormal">n23<o:p></o:p></p>
<p class="MsoNormal">n23<o:p></o:p></p>
<p class="MsoNormal">n23<o:p></o:p></p>
<p class="MsoNormal">n23<o:p></o:p></p>
<p class="MsoNormal">n23<o:p></o:p></p>
<p class="MsoNormal">n24<o:p></o:p></p>
<p class="MsoNormal">n24<o:p></o:p></p>
<p class="MsoNormal">n24<o:p></o:p></p>
<p class="MsoNormal">n24<o:p></o:p></p>
<p class="MsoNormal">n24<o:p></o:p></p>
<p class="MsoNormal">n24<o:p></o:p></p>
<p class="MsoNormal">n24<o:p></o:p></p>
<p class="MsoNormal">n24<o:p></o:p></p>
<p class="MsoNormal">n25<o:p></o:p></p>
<p class="MsoNormal">n25<o:p></o:p></p>
<p class="MsoNormal">n25<o:p></o:p></p>
<p class="MsoNormal">n25<o:p></o:p></p>
<p class="MsoNormal">n25<o:p></o:p></p>
<p class="MsoNormal">n25<o:p></o:p></p>
<p class="MsoNormal">n25<o:p></o:p></p>
<p class="MsoNormal">n25<o:p></o:p></p>
<p class="MsoNormal">n26<o:p></o:p></p>
<p class="MsoNormal">n26<o:p></o:p></p>
<p class="MsoNormal">n26<o:p></o:p></p>
<p class="MsoNormal">n26<o:p></o:p></p>
<p class="MsoNormal">n26<o:p></o:p></p>
<p class="MsoNormal">n26<o:p></o:p></p>
<p class="MsoNormal">n26<o:p></o:p></p>
<p class="MsoNormal">n26<o:p></o:p></p>
<p class="MsoNormal">[be_user@deepgreen Conf11]$ cat machinefile | wc -l<o:p></o:p></p>
<p class="MsoNormal">32<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>

    <BR>
    <BR>
   <span style="font-family:Arial; Font-size:8.0pt">

<br><br>
<div style="border-top: 1px solid #000000; width: 90%; font: 9pt 'Trebuchet MS', Arial, Helvetica, sans-serif;">This email and any attachments are intended for the named recipient only. Its unauthorised use, distribution, disclosure, storage or copying is not permitted. If you have received it in error, please destroy all copies and notify the sender. In messages of a non-business nature, the views and opinions expressed are the author's own and do not necessarily reflect those of Cefas. Communications on Cefasí computer systems may be monitored and/or recorded to secure the effective operation of the system and for other lawful purposes.</div>
<br><br>

  </span>
 </BODY>
</html>