<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">
<style>
<!--
@font-face
        {font-family:"Cambria Math"}
@font-face
        {font-family:Calibri}
@font-face
        {font-family:Tahoma}
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif"}
a:link, span.MsoHyperlink
        {color:blue;
        text-decoration:underline}
a:visited, span.MsoHyperlinkFollowed
        {color:purple;
        text-decoration:underline}
span.EmailStyle17
        {font-family:"Calibri","sans-serif";
        color:windowtext}
span.EmailStyle18
        {font-family:"Calibri","sans-serif";
        color:#1F497D}
.MsoChpDefault
        {font-size:10.0pt}
@page WordSection1
        {margin:70.85pt 70.85pt 70.85pt 70.85pt}
div.WordSection1
        {}
-->
</style>
</head>
<body lang="EN-US" link="blue" vlink="purple">
<pre style="word-wrap:break-word; font-size:10.0pt; font-family:Tahoma; color:black">There are no quotas present on the scratch file systems. So for you to be getting a quota limited  message tells me that somehow the tool you're using is trying to write something to your user home directory. You should look  to clean up some of your home directory to bring yourself below your quota limit .
--
Brian D Haymore
University of Utah
Center for High Performance Computing
155 South 1452 East, RM 405
Salt Lake City, Utah 84112
Phone: 801-558-1150, Fax: 801-585-5366
http://www.map.utah.edu/umaplink/0019.html

&quot;Coyle, James J [ITACD]&quot; &lt;jjc@iastate.edu&gt; wrote:

</pre>
<div>
<div class="WordSection1">
<p class="MsoNormal"><span style="color:#1F497D">&nbsp; I have a script that I run from /var/spool/mom_priv/prologue whenever a josb that</span></p>
<p class="MsoNormal"><span style="color:#1F497D">requires all the cores on the node.&nbsp; This script kills any user level processes that are not
</span></p>
<p class="MsoNormal"><span style="color:#1F497D">the job owner or a torque manager.</span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;</span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;&nbsp;This gets rid of any effect of users who should not be logged on to the compute node, that</span></p>
<p class="MsoNormal"><span style="color:#1F497D">is who have just sshd in rather than using qsub I</span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;</span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;&nbsp; I clean out scratch space on exit with epilogue if it is a dedicated job.</span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;&nbsp; </span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;&nbsp;&nbsp;&nbsp;You could couple this with techniques to prevent ssh logins durin the job</span></p>
<p class="MsoNormal"><span style="color:#1F497D">(For jobs which dedicate the node, have prologue disallow logins from other users,</span></p>
<p class="MsoNormal"><span style="color:#1F497D">and restore normal function on exit.)</span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;</span></p>
<p class="MsoNormal"><span style="color:#1F497D">&nbsp;</span></p>
<div style="border:none; border-left:solid blue 1.5pt; padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none; border-top:solid #B5C4DF 1.0pt; padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt; font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;">From:</span></b><span style="font-size:10.0pt; font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;"> torqueusers-bounces@supercluster.org [mailto:torqueusers-bounces@supercluster.org]
<b>On Behalf Of </b>David Roman<br>
<b>Sent:</b> Friday, December 14, 2012 6:53 AM<br>
<b>To:</b> 'torqueusers@supercluster.org'<br>
<b>Subject:</b> [torqueusers] How to run mpirun of intel on torque</span></p>
</div>
</div>
<p class="MsoNormal">&nbsp;</p>
<p class="MsoNormal"><span lang="FR">Hello,</span></p>
<p class="MsoNormal"><span lang="FR">&nbsp;</span></p>
<p class="MsoNormal"><span lang="FR">&nbsp;</span></p>
<p class="MsoNormal">I am sorry, but my english is really sad. I thank you for your patience for that.</p>
<p class="MsoNormal">I installed TORQUE 4.1.0, with MAU 3.3.1. I compiled OPENMPI with option --with-tm=/usr/local/torque.</p>
<p class="MsoNormal">I disallowed ssh connections for my users on executable nodes. In /etc/ssh/sshd_config I set
</p>
<p class="MsoNormal">AllowGroups root admin</p>
<p class="MsoNormal">This works fine.</p>
<p class="MsoNormal">&nbsp;</p>
<p class="MsoNormal">But now, I install MPI Intel Librarie and Ifort.</p>
<p class="MsoNormal">When I open a interactive pbs session:</p>
<p class="MsoNormal">qsub -I -l nodes=2:ppn=8</p>
<p class="MsoNormal">&nbsp;</p>
<p class="MsoNormal">I am connected on a node.</p>
<p class="MsoNormal">&nbsp;</p>
<p class="MsoNormal">I run mpi job </p>
<p class="MsoNormal">&nbsp;</p>
<p class="MsoNormal">mpirun -genv I_MPI_FABRICS_LIST tmi ./my_program</p>
<p class="MsoNormal">&nbsp;</p>
<p class="MsoNormal">But it can&nbsp; not start, because it cannot connect on the other node.</p>
<p class="MsoNormal">&nbsp;</p>
<p class="MsoNormal">If I append users in AllowGroups&nbsp; of&nbsp; /etc/ssh/sshd_config it works.</p>
<p class="MsoNormal">&nbsp;</p>
<p class="MsoNormal">But if I do this, all users can connect on executable nodes, without use torque, and this is bad.</p>
<p class="MsoNormal">&nbsp;</p>
<p class="MsoNormal">How can I do to disallow ssh connection without torque or make mpirun of intel works like openmpi, without ssh connection allowed for users ?</p>
<p class="MsoNormal">&nbsp;</p>
<p class="MsoNormal"><span lang="FR">Thank you</span></p>
<p class="MsoNormal"><span lang="FR">&nbsp;</span></p>
<p class="MsoNormal"><span lang="FR">David</span></p>
<p class="MsoNormal"><span lang="FR">&nbsp;</span></p>
<p class="MsoNormal"><span lang="FR">&nbsp;</span></p>
</div>
</div>
</div>
</body>
</html>