<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body dir="auto"><div>The correct syntax has always been nodes=node01:ppn=2+node02:ppn=2+mode03:ppn=2<br><br>Sent from my iPhone</div><div><br>On Dec 4, 2013, at 2:12 AM, "Andrus, Brian Contractor" &lt;<a href="mailto:bdandrus@nps.edu">bdandrus@nps.edu</a>&gt; wrote:<br><br></div><blockquote type="cite"><div>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri","sans-serif";}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->


<div class="WordSection1">
<p class="MsoNormal">All,<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Something seems to have changed either in torque or moab (I am thinking moab).<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">If I want to request 2 nodes with 2 ppn from a particular hostlist, we used to:<o:p></o:p></p>
<p class="MsoNormal"><b>qsub -l nodes=2:ppn=2:node01+node02+node03<o:p></o:p></b></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">But now that does not work. It errors with:<o:p></o:p></p>
<p class="MsoNormal"><b><i>qsub: submit error (Job rejected by all possible destinations (check syntax, queue resources, ...))<o:p></o:p></i></b></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">However I can:<o:p></o:p></p>
<p class="MsoNormal"><b>qsub -l nodes=2:ppn=2 -l nodes=node01+node02+node03<o:p></o:p></b></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">But… that gives me 3 procs from those available in the nodelist (basically it ignores the first “-l” directive)<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">And if I try:<o:p></o:p></p>
<p class="MsoNormal"><b>qsub -l nodes=1:node01+node02+node03<o:p></o:p></b></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">It ends up putting the node names as a required features, which of course no single node has all of… o.O<o:p></o:p></p>
<p class="MsoNormal">Such jobs end up never running until I force them with ‘qrun’<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">So, how do I request&nbsp; X nodes with Y PPN from resources constrained to a particular list of hosts?<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">The current use case is for users that want to ensure their job lands on the same nodes as they to timing comparisons.<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">This is torque 4.2.6 and moab 7.2.6<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Brian Andrus<o:p></o:p></p>
<p class="MsoNormal">ITACS/Research Computing<o:p></o:p></p>
<p class="MsoNormal">Naval Postgraduate School<o:p></o:p></p>
<p class="MsoNormal">Monterey, California<o:p></o:p></p>
<p class="MsoNormal">voice: 831-656-6238<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>


</div></blockquote><blockquote type="cite"><div><span>_______________________________________________</span><br><span>torqueusers mailing list</span><br><span><a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a></span><br><span><a href="http://www.supercluster.org/mailman/listinfo/torqueusers">http://www.supercluster.org/mailman/listinfo/torqueusers</a></span><br></div></blockquote></body></html>