<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri","sans-serif";}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">All,<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Something seems to have changed either in torque or moab (I am thinking moab).<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">If I want to request 2 nodes with 2 ppn from a particular hostlist, we used to:<o:p></o:p></p>
<p class="MsoNormal"><b>qsub -l nodes=2:ppn=2:node01&#43;node02&#43;node03<o:p></o:p></b></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">But now that does not work. It errors with:<o:p></o:p></p>
<p class="MsoNormal"><b><i>qsub: submit error (Job rejected by all possible destinations (check syntax, queue resources, ...))<o:p></o:p></i></b></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">However I can:<o:p></o:p></p>
<p class="MsoNormal"><b>qsub -l nodes=2:ppn=2 -l nodes=node01&#43;node02&#43;node03<o:p></o:p></b></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">But&#8230; that gives me 3 procs from those available in the nodelist (basically it ignores the first &#8220;-l&#8221; directive)<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">And if I try:<o:p></o:p></p>
<p class="MsoNormal"><b>qsub -l nodes=1:node01&#43;node02&#43;node03<o:p></o:p></b></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">It ends up putting the node names as a required features, which of course no single node has all of&#8230; o.O<o:p></o:p></p>
<p class="MsoNormal">Such jobs end up never running until I force them with &#8216;qrun&#8217;<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">So, how do I request&nbsp; X nodes with Y PPN from resources constrained to a particular list of hosts?<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">The current use case is for users that want to ensure their job lands on the same nodes as they to timing comparisons.<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">This is torque 4.2.6 and moab 7.2.6<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Brian Andrus<o:p></o:p></p>
<p class="MsoNormal">ITACS/Research Computing<o:p></o:p></p>
<p class="MsoNormal">Naval Postgraduate School<o:p></o:p></p>
<p class="MsoNormal">Monterey, California<o:p></o:p></p>
<p class="MsoNormal">voice: 831-656-6238<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
</body>
</html>