<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">

<head>
<meta http-equiv=Content-Type content="text/html; charset=utf-8">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<!--[if !mso]>
<style>
v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style>
<![endif]-->
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p
        {mso-style-priority:99;
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
span.apple-style-span
        {mso-style-name:apple-style-span;}
span.E-MailFormatvorlage20
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page Section1
        {size:612.0pt 792.0pt;
        margin:70.85pt 70.85pt 2.0cm 70.85pt;}
div.Section1
        {page:Section1;}
-->
</style>
<!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
</head>

<body lang=DE link=blue vlink=purple>

<div class=Section1>

<p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>Hi all,<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>this is a solution we use for all our clusters for some four
years now. Even PBSPro has this issue, that in the boot-process the pbs_mom-process
doesn’t have the limits defined in the conf-file.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>BUT: WHAT is the reason for this? For me it would be really
really interesting to UNDERSTAND this, so that we can learn something from
this. Has anyone an idea what the mechanism behind this phenomena may be?<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'>Stephan<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<div>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>--<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>---------------------------------------------------------<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>| | Dr. rer. nat. Stephan Raub<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>| | Dipl. Chem.<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>| | Lehrstuhl für IT-Management / ZIM<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>| | Heinrich-Heine-Universität Düsseldorf Universitätsstr. 1 /<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>| | 25.41.O2.25-2<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>| | 40225 Düsseldorf / Germany<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>| |<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>| | Tel: +49-211-811-3911<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>---------------------------------------------------------<o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>Wichtiger Hinweis: Diese E-Mail kann Betriebs- oder
Geschäftsgeheimnisse, bzw. <o:p></o:p></span></p>

<p class=MsoNormal><span style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>sonstige vertrauliche Informationen enthalten. Sollten Sie diese
E-Mail irrtümlich erhalten haben, ist Ihnen eine Kenntnisnahme des Inhalts,
eine Vervielfältigung oder Weitergabe der E-Mail ausdrücklich untersagt. Bitte
benachrichtigen Sie uns und vernichten Sie die empfangene E-Mail. </span><span
lang=EN-US style='font-size:10.5pt;font-family:Consolas;color:#1F497D'>Vielen
Dank.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='font-size:10.5pt;font-family:Consolas;
color:#1F497D'>Important Note: This e-mail may contain trade secrets or
privileged, undisclosed or otherwise confidential information. If you have
received this e-mail in error, you are hereby notified that any review, copying
or distribution of it is strictly prohibited. Please inform us immediately and
destroy the original transmittal. Thank you for your cooperation.<o:p></o:p></span></p>

</div>

<p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";
color:#1F497D'><o:p>&nbsp;</o:p></span></p>

<div style='border:none;border-left:solid blue 1.5pt;padding:0cm 0cm 0cm 4.0pt'>

<div>

<div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm'>

<p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>Von:</span></b><span
style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>
torqueusers-bounces@supercluster.org
[mailto:torqueusers-bounces@supercluster.org] <b>Im Auftrag von </b>Chris
Vaughan<br>
<b>Gesendet:</b> Montag, 21. Juni 2010 12:45<br>
<b>An:</b> rishi pathak<br>
<b>Cc:</b> torqueusers; Torque Users Mailing List<br>
<b>Betreff:</b> Re: [torqueusers] Ulimit Help<o:p></o:p></span></p>

</div>

</div>

<p class=MsoNormal><o:p>&nbsp;</o:p></p>

<div>

<p class=MsoNormal><span style='color:black'>Thanks Rishi,<o:p></o:p></span></p>

<div>

<p class=MsoNormal><span style='color:black'><o:p>&nbsp;</o:p></span></p>

</div>

<div>

<p class=MsoNormal><span style='color:black'>We added &quot;</span><span
class=apple-style-span><span style='font-size:13.5pt;color:black'>ulimit -u
unlimited&quot; to the pbs_mom start stop scripts and that has appeared to
resolve the issues.</span></span><span style='color:black'><o:p></o:p></span></p>

</div>

<div>

<p class=MsoNormal><span style='color:black'><o:p>&nbsp;</o:p></span></p>

</div>

<div>

<p class=MsoNormal style='margin-bottom:12.0pt'><span class=apple-style-span><span
style='font-size:13.5pt;color:black'>Best Regards,</span></span><span
style='color:black'><o:p></o:p></span></p>

<div class=MsoNormal align=center style='text-align:center'><span
style='color:black'>

<hr size=2 width="100%" align=center id=zwchr>

</span></div>

<blockquote style='border:none;border-left:solid #1010FF 1.5pt;padding:0cm 0cm 0cm 4.0pt;
margin-left:3.75pt;margin-top:5.0pt;margin-bottom:5.0pt'>

<p class=MsoNormal style='margin-bottom:12.0pt'><span style='color:black'>Hi
Chris,<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
We faced the same problem with 2.3.6. It seemed like on pbs_mom startup at
system boot did'nt inherited limits from /etc/security/limits.conf. We verified
this by submitting a interactive job and listing the limits using ulimit -a.
Subsequent restart of pbs_mom(w/o reboot) comes up with defined limits. We
observed that ssh login for a user shows the correct limits for the node in
question. Next what we tried was to make pbs_mom start after sshd, but the
results were same. <o:p></o:p></span></p>

<div>

<p class=MsoNormal><span style='color:black'>On Fri, Jun 18, 2010 at 6:35 PM,
Chris Vaughan &lt;<a href="mailto:chris@adaptivecomputing.com" target="_blank">chris@adaptivecomputing.com</a>&gt;
wrote:<o:p></o:p></span></p>

<div>

<div>

<p><span style='font-size:13.5pt;color:black'>Hi,<o:p></o:p></span></p>

<p><span style='font-size:13.5pt;color:black'><o:p>&nbsp;</o:p></span></p>

<p><span style='font-size:13.5pt;color:black'>I have a customer with the
following error with ulimits for the job not being unlimited, does anyone know
how to resolve this? &nbsp;Do I need to have this set when pbs_server and
pbs_mom starts?<o:p></o:p></span></p>

<p><span style='font-size:13.5pt;color:black'><o:p>&nbsp;</o:p></span></p>

<p><span style='font-size:13.5pt;color:black'>Thanks,<o:p></o:p></span></p>

<p><span style='font-size:13.5pt;color:black'><o:p>&nbsp;</o:p></span></p>

<p><span style='font-size:13.5pt;color:black'>We've been having problems
running Fluent software at our site. It works well when running interactively,
but it give errors(see attached error file), when running it in a queue. You'll
see in the file attached, it complains about 'locked down' memory, which it
tries to use for MPI which is using locked memory for Infiniband
communications. The /etc/security/limits.conf file on all nodes reads<o:p></o:p></span></p>

<p><span style='font-size:13.5pt;color:black'>@
*&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
hard&nbsp;&nbsp;&nbsp; memlock&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
unlimited<br>
@ * &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
soft&nbsp;&nbsp;&nbsp; memlock&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
unlimited<o:p></o:p></span></p>

<p><span style='font-size:13.5pt;color:black'><o:p>&nbsp;</o:p></span></p>

<p class=MsoNormal><span style='color:#888888'><br>
-- <o:p></o:p></span></p>

<div>

<div>

<div>

<p><b><span style='color:#1F497D'>Chris Vaughan</span></b><span
style='color:#A6A6A6'>&nbsp; |&nbsp; Technical Consultant - EMEA</span><span
style='color:#888888'><o:p></o:p></span></p>

<p><span style='color:#A6A6A6'>Adaptive Computing | Mobile: +44 7800 973062 |
Office: +44 1483 243578</span><span style='color:#888888'><o:p></o:p></span></p>

<p><span style='color:#A6A6A6'>3000 Cathedral Hill | Guildford GU2 7YB&nbsp;
|&nbsp; United Kingdom</span><span style='color:#888888'><o:p></o:p></span></p>

<p><span style='color:#888888'>&nbsp;<o:p></o:p></span></p>

<p><span style='color:#888888;border:solid windowtext 1.0pt;padding:0cm'><img
border=0 id="_x0000_i1026" src="cid:~WRD000.jpg"
alt="Das Bild wurde vom Absender entfernt."></span><span style='color:#888888'><o:p></o:p></span></p>

</div>

</div>

</div>

<p class=MsoNormal><span style='color:black'><o:p>&nbsp;</o:p></span></p>

</div>

</div>

<p class=MsoNormal style='margin-bottom:12.0pt'><span style='color:black'><br>
_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org" target="_blank">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers"
target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><o:p></o:p></span></p>

</div>

<p class=MsoNormal><span style='color:black'><br>
<br clear=all>
<br>
-- <br>
Regards--<br>
Rishi Pathak<br>
National PARAM Supercomputing Facility<br>
Center for Development of Advanced Computing(C-DAC)<br>
Pune University Campus,Ganesh Khind Road<br>
Pune-Maharastra<o:p></o:p></span></p>

</blockquote>

<p class=MsoNormal><span style='color:black'><br>
<br>
<br>
-- <br>
<br>
<o:p></o:p></span></p>

<div>

<div>

<div>

<p><strong><span style='color:#1F497D'>Chris Vaughan</span></strong><span
style='color:#A6A6A6'>&nbsp; |&nbsp; Technical Consultant - EMEA</span><span
style='color:black'><o:p></o:p></span></p>

<p><span style='color:#A6A6A6'>Adaptive Computing | Mobile: +44 7800 973062 |
Office: +44 1483 243578</span><span style='color:black'><o:p></o:p></span></p>

<p><span style='color:#A6A6A6'>3000 Cathedral Hill | Guildford GU2 7YB&nbsp;
|&nbsp; United Kingdom</span><span style='color:black'><o:p></o:p></span></p>

<p><span style='color:black'>&nbsp;<o:p></o:p></span></p>

<p><span style='color:black;border:solid windowtext 1.0pt;padding:0cm'><img
border=0 id="_x0000_i1027" src="cid:~WRD000.jpg"
alt="Das Bild wurde vom Absender entfernt."></span><span style='color:black'><o:p></o:p></span></p>

</div>

</div>

</div>

<p class=MsoNormal><span style='color:black'><o:p>&nbsp;</o:p></span></p>

</div>

</div>

</div>

</div>

</body>

</html>