<div dir="ltr">I don&#39;t know if it is related, but there is an issue w/ Moab asking for multiple named nodes in node exclusive mode.  Interestingly, it is the opposite problem from what Brian mentions - tasks are combined down to the first named node.<div>
<br></div><div>#PBS -l nodes=node1+node2</div><div>#PBS -n</div><div><br></div><div>Checkjob would return something like:</div><div><span style="color:rgb(51,51,51);font-family:Arial,Helvetica,sans-serif;font-size:12px">Allocated Nodes: </span><br style="color:rgb(51,51,51);font-family:Arial,Helvetica,sans-serif;font-size:12px">
<span style="color:rgb(51,51,51);font-family:Arial,Helvetica,sans-serif;font-size:12px">[node1:2] </span><br></div></div><div class="gmail_extra"><br clear="all"><div><div dir="ltr"><div style="font-family:arial;font-size:small">
<font face="arial, sans-serif">--------------------------------------------</font></div><div style="font-family:arial;font-size:small"><font face="arial, sans-serif">Matthew Britt</font></div><div style="font-family:arial;font-size:small">
<font face="arial, sans-serif">CAEN HPC Group - College of Engineering</font></div><div style="font-family:arial;font-size:small"><font face="arial, sans-serif"><a href="mailto:msbritt@umich.edu" target="_blank">msbritt@umich.edu</a></font></div>
<div style="font-family:arial;font-size:small"> </div></div></div>
<br><br><div class="gmail_quote">On Wed, Dec 4, 2013 at 1:09 PM, Glen Beane <span dir="ltr">&lt;<a href="mailto:glen.beane@gmail.com" target="_blank">glen.beane@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr">I&#39;m guessing this is a Moab issue.  As far as I know, Torque by itself has never supported what you are trying to do  (and the fact that nodes=compute-3-1:ppn=2+compute-3-5:ppn=2+compute-7-1:ppn=2+compute-7-3:ppn=2+compute-3-7:ppn=2 does not work indicates that Moab is doing doing something strange to the resource request)<div>
<div class="h5"><br>
<div>
<div class="gmail_extra"><br><br><div class="gmail_quote">On Wed, Dec 4, 2013 at 12:38 PM, Andrus, Brian Contractor <span dir="ltr">&lt;<a href="mailto:bdandrus@nps.edu" target="_blank">bdandrus@nps.edu</a>&gt;</span> wrote:<br>


<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div link="blue" vlink="purple" lang="EN-US">
<div>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Glen,<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Thanks for the clarity, however that still doesn’t work.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span style="font-family:&quot;Times New Roman&quot;,&quot;serif&quot;;color:rgb(31,73,125)">qsub -I -l nodes=compute-3-1:ppn=2+compute-3-5:ppn=2+compute-7-1:ppn=2+compute-7-3:ppn=2+compute-3-7:ppn=2<u></u><u></u></span></b></p>



<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">The job shows up waiting to run and checkjob tells me:<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><i><span style="color:rgb(31,73,125)">Req[0]  TaskCount: 8  Partition: ALL<u></u><u></u></span></i></b></p>
<p class="MsoNormal"><b><i><span style="color:rgb(31,73,125)">Opsys: ---  Arch: ---  Features: compute-3-1<u></u><u></u></span></i></b></p>
<p class="MsoNormal"><b><i><span style="color:rgb(31,73,125)">Dedicated Resources Per Task: PROCS: 1  MEM: 1024M<u></u><u></u></span></i></b></p>
<p class="MsoNormal"><b><i><span style="color:rgb(31,73,125)">Required HostList:<u></u><u></u></span></i></b></p>
<p class="MsoNormal"><b><i><span style="color:rgb(31,73,125)">[compute-3-5:2][compute-7-1:2][compute-7-3:2][compute-3-7:2]<u></u><u></u></span></i></b></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">So the HostList is comprised of all the listed nodes EXCEPT the first one, which gets tagged as a feature.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Also that seems to require I specify exactly everything I need.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">The scenario I am working with is: I want 2 nodes with 2 ppn, but they can come from any node(s) from a list of several.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Using the ‘correct syntax’, I would end up with 2 procs on each node listed.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">I see a similar issue with trying to use procs with a nodelist.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Not sure if that is possible, but apparently users had been doing that too:<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span style="font-family:&quot;Times New Roman&quot;,&quot;serif&quot;;color:rgb(31,73,125)">qsub -I -l procs=32 -l nodes=compute-3-1+compute-3-5+compute-7-1+compute-7-3+compute-3-7<u></u><u></u></span></b></p>



<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">This again creates a HostList of all but the first named node, which is tagged as a feature requirement<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Seems like something is parsing stuff oddly.<u></u><u></u></span></p><div>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Brian Andrus<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">ITACS/Research Computing<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Naval Postgraduate School<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">Monterey, California<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)">voice: <a href="tel:831-656-6238" value="+18316566238" target="_blank">831-656-6238</a><u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p>
</div><div style="border-width:medium medium medium 1.5pt;border-style:none none none solid;border-color:-moz-use-text-color -moz-use-text-color -moz-use-text-color blue;padding:0in 0in 0in 4pt">
<div>
<div style="border-width:1pt medium medium;border-style:solid none none;border-color:rgb(181,196,223) -moz-use-text-color -moz-use-text-color;padding:3pt 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;">From:</span></b><span style="font-size:10pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;"> <a href="mailto:torqueusers-bounces@supercluster.org" target="_blank">torqueusers-bounces@supercluster.org</a> [mailto:<a href="mailto:torqueusers-bounces@supercluster.org" target="_blank">torqueusers-bounces@supercluster.org</a>]
<b>On Behalf Of </b><a href="mailto:glen.beane@gmail.com" target="_blank">glen.beane@gmail.com</a><br>
<b>Sent:</b> Wednesday, December 04, 2013 6:03 AM<br>
<b>To:</b> Torque Users Mailing List<br>
<b>Subject:</b> Re: [torqueusers] ppn + hostlist<u></u><u></u></span></p>
</div>
</div><div><div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">The correct syntax has always been nodes=node01:ppn=2+node02:ppn=2+mode03:ppn=2<br>
<br>
Sent from my iPhone<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12pt"><br>
On Dec 4, 2013, at 2:12 AM, &quot;Andrus, Brian Contractor&quot; &lt;<a href="mailto:bdandrus@nps.edu" target="_blank">bdandrus@nps.edu</a>&gt; wrote:<u></u><u></u></p>
</div>
<blockquote style="margin-top:5pt;margin-bottom:5pt">
<div>
<p class="MsoNormal">All,<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Something seems to have changed either in torque or moab (I am thinking moab).<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">If I want to request 2 nodes with 2 ppn from a particular hostlist, we used to:<u></u><u></u></p>
<p class="MsoNormal"><b>qsub -l nodes=2:ppn=2:node01+node02+node03</b><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">But now that does not work. It errors with:<u></u><u></u></p>
<p class="MsoNormal"><b><i>qsub: submit error (Job rejected by all possible destinations (check syntax, queue resources, ...))</i></b><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">However I can:<u></u><u></u></p>
<p class="MsoNormal"><b>qsub -l nodes=2:ppn=2 -l nodes=node01+node02+node03</b><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">But… that gives me 3 procs from those available in the nodelist (basically it ignores the first “-l” directive)<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">And if I try:<u></u><u></u></p>
<p class="MsoNormal"><b>qsub -l nodes=1:node01+node02+node03</b><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">It ends up putting the node names as a required features, which of course no single node has all of… o.O<u></u><u></u></p>
<p class="MsoNormal">Such jobs end up never running until I force them with ‘qrun’<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">So, how do I request  X nodes with Y PPN from resources constrained to a particular list of hosts?<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">The current use case is for users that want to ensure their job lands on the same nodes as they to timing comparisons.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">This is torque 4.2.6 and moab 7.2.6<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Brian Andrus<u></u><u></u></p>
<p class="MsoNormal">ITACS/Research Computing<u></u><u></u></p>
<p class="MsoNormal">Naval Postgraduate School<u></u><u></u></p>
<p class="MsoNormal">Monterey, California<u></u><u></u></p>
<p class="MsoNormal">voice: <a href="tel:831-656-6238" value="+18316566238" target="_blank">831-656-6238</a><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
</blockquote>
<blockquote style="margin-top:5pt;margin-bottom:5pt">
<div>
<p class="MsoNormal"><span style="font-size:12pt;font-family:&quot;Times New Roman&quot;,&quot;serif&quot;">_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org" target="_blank">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><u></u><u></u></span></p>
</div>
</blockquote>
</div></div></div>
</div>
</div>

<br>_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org" target="_blank">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br></blockquote></div><br></div></div></div></div></div>
<br>_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br></blockquote></div><br></div>