<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="color:#1F497D">Glen,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Thanks for the clarity, however that still doesn’t work.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><b><span style="font-family:&quot;Times New Roman&quot;,&quot;serif&quot;;color:#1F497D">qsub -I -l nodes=compute-3-1:ppn=2&#43;compute-3-5:ppn=2&#43;compute-7-1:ppn=2&#43;compute-7-3:ppn=2&#43;compute-3-7:ppn=2<o:p></o:p></span></b></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">The job shows up waiting to run and checkjob tells me:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><b><i><span style="color:#1F497D">Req[0]&nbsp; TaskCount: 8&nbsp; Partition: ALL<o:p></o:p></span></i></b></p>
<p class="MsoNormal"><b><i><span style="color:#1F497D">Opsys: ---&nbsp; Arch: ---&nbsp; Features: compute-3-1<o:p></o:p></span></i></b></p>
<p class="MsoNormal"><b><i><span style="color:#1F497D">Dedicated Resources Per Task: PROCS: 1&nbsp; MEM: 1024M<o:p></o:p></span></i></b></p>
<p class="MsoNormal"><b><i><span style="color:#1F497D">Required HostList:<o:p></o:p></span></i></b></p>
<p class="MsoNormal"><b><i><span style="color:#1F497D">[compute-3-5:2][compute-7-1:2][compute-7-3:2][compute-3-7:2]<o:p></o:p></span></i></b></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">So the HostList is comprised of all the listed nodes EXCEPT the first one, which gets tagged as a feature.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Also that seems to require I specify exactly everything I need.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">The scenario I am working with is: I want 2 nodes with 2 ppn, but they can come from any node(s) from a list of several.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Using the ‘correct syntax’, I would end up with 2 procs on each node listed.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">I see a similar issue with trying to use procs with a nodelist.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Not sure if that is possible, but apparently users had been doing that too:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><b><span style="font-family:&quot;Times New Roman&quot;,&quot;serif&quot;;color:#1F497D">qsub -I -l procs=32 -l nodes=compute-3-1&#43;compute-3-5&#43;compute-7-1&#43;compute-7-3&#43;compute-3-7<o:p></o:p></span></b></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">This again creates a HostList of all but the first named node, which is tagged as a feature requirement<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Seems like something is parsing stuff oddly.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Brian Andrus<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">ITACS/Research Computing<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Naval Postgraduate School<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Monterey, California<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">voice: 831-656-6238<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;">From:</span></b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;"> torqueusers-bounces@supercluster.org [mailto:torqueusers-bounces@supercluster.org]
<b>On Behalf Of </b>glen.beane@gmail.com<br>
<b>Sent:</b> Wednesday, December 04, 2013 6:03 AM<br>
<b>To:</b> Torque Users Mailing List<br>
<b>Subject:</b> Re: [torqueusers] ppn &#43; hostlist<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<div>
<p class="MsoNormal">The correct syntax has always been nodes=node01:ppn=2&#43;node02:ppn=2&#43;mode03:ppn=2<br>
<br>
Sent from my iPhone<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><br>
On Dec 4, 2013, at 2:12 AM, &quot;Andrus, Brian Contractor&quot; &lt;<a href="mailto:bdandrus@nps.edu">bdandrus@nps.edu</a>&gt; wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p class="MsoNormal">All,<o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">Something seems to have changed either in torque or moab (I am thinking moab).<o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">If I want to request 2 nodes with 2 ppn from a particular hostlist, we used to:<o:p></o:p></p>
<p class="MsoNormal"><b>qsub -l nodes=2:ppn=2:node01&#43;node02&#43;node03</b><o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">But now that does not work. It errors with:<o:p></o:p></p>
<p class="MsoNormal"><b><i>qsub: submit error (Job rejected by all possible destinations (check syntax, queue resources, ...))</i></b><o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">However I can:<o:p></o:p></p>
<p class="MsoNormal"><b>qsub -l nodes=2:ppn=2 -l nodes=node01&#43;node02&#43;node03</b><o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">But… that gives me 3 procs from those available in the nodelist (basically it ignores the first “-l” directive)<o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">And if I try:<o:p></o:p></p>
<p class="MsoNormal"><b>qsub -l nodes=1:node01&#43;node02&#43;node03</b><o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">It ends up putting the node names as a required features, which of course no single node has all of… o.O<o:p></o:p></p>
<p class="MsoNormal">Such jobs end up never running until I force them with ‘qrun’<o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">So, how do I request&nbsp; X nodes with Y PPN from resources constrained to a particular list of hosts?<o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">The current use case is for users that want to ensure their job lands on the same nodes as they to timing comparisons.<o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">This is torque 4.2.6 and moab 7.2.6<o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<p class="MsoNormal">Brian Andrus<o:p></o:p></p>
<p class="MsoNormal">ITACS/Research Computing<o:p></o:p></p>
<p class="MsoNormal">Naval Postgraduate School<o:p></o:p></p>
<p class="MsoNormal">Monterey, California<o:p></o:p></p>
<p class="MsoNormal">voice: 831-656-6238<o:p></o:p></p>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
</div>
</blockquote>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,&quot;serif&quot;">_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers">http://www.supercluster.org/mailman/listinfo/torqueusers</a><o:p></o:p></span></p>
</div>
</blockquote>
</div>
</div>
</body>
</html>