<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div>Hello Josh</div><div><br></div><div>You should use the (procs=32) specification for&nbsp;parallel jobs&nbsp;</div><div>that don't care where they run.</div><div><br></div><div>npus used to have 2 different and opposite meanings on&nbsp;</div><div>SMPs(nodes=1:ppn=32)&nbsp;and clusters&nbsp;(nodes=32:ppn=1).</div><div><br></div><div>I vote&nbsp;for &nbsp;defining&nbsp;-lncpus=32 &nbsp;to &nbsp;-lnodes=1:ppn=32.</div><div><br></div><div>Cheers,</div><div><br></div><div>Kamil</div><div><br></div><br><div>
<span class="Apple-style-span" style="border-collapse: separate; border-spacing: 0px 0px; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 14px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; text-align: auto; -khtml-text-decorations-in-effect: none; text-indent: 0px; -apple-text-size-adjust: auto; text-transform: none; orphans: 2; white-space: normal; widows: 2; word-spacing: 0px; "><span class="Apple-style-span" style="border-collapse: separate; border-spacing: 0px 0px; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 14px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; text-align: auto; -khtml-text-decorations-in-effect: none; text-indent: 0px; -apple-text-size-adjust: auto; text-transform: none; orphans: 2; white-space: normal; widows: 2; word-spacing: 0px; "><span class="Apple-style-span" style="border-collapse: separate; border-spacing: 0px 0px; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 14px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; text-align: auto; -khtml-text-decorations-in-effect: none; text-indent: 0px; -apple-text-size-adjust: auto; text-transform: none; orphans: 2; white-space: normal; widows: 2; word-spacing: 0px; "><div>Kamil Marcinkowski &nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;Westgrid&nbsp;System Administrator&nbsp;<div><a href="mailto:kamil@ualberta.ca">kamil@ualberta.ca</a>&nbsp; &nbsp;&nbsp;&nbsp; &nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;University of Alberta site&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;</div><div>&nbsp;Tel.780 492-0354&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;Research Computing Support&nbsp;&nbsp;&nbsp;</div><div>Fax.780 492-1729&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;Academic ICT&nbsp;&nbsp;</div><div>Edmonton, Alberta, CANADA &nbsp; &nbsp;University of Alberta&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;</div><div><br class="khtml-block-placeholder"></div><div><br class="khtml-block-placeholder"></div><div>"This communication is intended for the use of the recipient to which it is</div><div>addressed, and may contain confidential, personal, and/or privileged</div><div>information.&nbsp; Please contact us immediately if you are not the intended</div><div>recipient of this communication.&nbsp; If you are not the intended recipient of</div><div>this communication, do not copy, distribute, or take action on it. Any</div><div>communication received in error, or subsequent reply, should be deleted or</div><div>destroyed."</div><div><br class="khtml-block-placeholder"></div></div><br class="Apple-interchange-newline"></span></span></span>
</div>
<br><div><div>On 2010-03-02, at 10:58 AM, Josh Bernstein wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div>I vote for maintaing ncpus. It's very helpful for embarrssingly &nbsp;<br>parallel jobs that just need 32 CPUs but don't care where they come &nbsp;<br>from.<br><br>-Josh<br><br>On Mar 2, 2010, at 9:53 AM, "David Beer" &lt;<a href="mailto:dbeer@adaptivecomputing.com">dbeer@adaptivecomputing.com</a>&gt; &nbsp;<br>wrote:<br><br><blockquote type="cite">Just to let everyone know, the qstat -a output has been changed to &nbsp;<br></blockquote><blockquote type="cite">read both the value stored in nodes and ncpus, using nodes when both &nbsp;<br></blockquote><blockquote type="cite">are specified.<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite"><blockquote type="cite">Changing the code so that qstat -a displays correctly the number of<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">tasks with -lnodes=1:ppn=32 would be great. Then, you could also make<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">sure that -lncpus=32 is a complete synonymous of -lnodes=1:ppn=32.<br></blockquote></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">Is this the behavior that everyone expects/hopes for? If so, we can &nbsp;<br></blockquote><blockquote type="cite">look at working on it. At the same time, TORQUE 3.0 is likely to &nbsp;<br></blockquote><blockquote type="cite">include much superior specification for how we are requesting &nbsp;<br></blockquote><blockquote type="cite">resources, which may end up including ncpus and may not. We're &nbsp;<br></blockquote><blockquote type="cite">looking to remove a lot of ambiguity and enhance capability. By the &nbsp;<br></blockquote><blockquote type="cite">way. we're still open to input as to how all that will work, but &nbsp;<br></blockquote><blockquote type="cite">maybe we'll send out some ideas shortly if nobody has any input yet.<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">Cheers,<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">David<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">----- "Michel Béland" &lt;<a href="mailto:michel.beland@rqchp.qc.ca">michel.beland@rqchp.qc.ca</a>&gt; wrote:<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite"><blockquote type="cite">David Beer wrote:<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><blockquote type="cite">So, if I understand correctly, ncpus really only works for people<br></blockquote></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">that are running SMP or similar systems? It seems like we definitely<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">need to update our documentation as I feel it is misleading on the<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">matter. Among other things, it seems that a clarification needs to be<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">made that ncpus isn't compatible with the nodes attribute.<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">It is possible to specify both. In fact, at our site we have a qsub<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">wrapper script that makes sure, among other things, that everybody<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">specifies both on our Altix systems.<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><blockquote type="cite">On a related note, in the qstat -a output we have the TSK field,<br></blockquote></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">which I believe is meant to mean task (I couldn't find anything about<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">it in the man page, the variable in the code is named tasks). I<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">noticed that in the implementation we're just writing whatever value<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">is stored in ncpus for this field. It seems like this could be made<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">more accurate by checking the nodes attribute as well and using that<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">value where it is defined, since it seems to override ncpus when both<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">are present. What are you're thoughts on this?<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">I agree. This is exactly why we make sure that all the jobs have both<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">resource requests. If one specifies -lnodes=1:ppn=32, the output of<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">qstat -a does not show how many cores you really use. On the other<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">hand,<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">if one specifies -lncpus=32, Torque does not create cpusets correctly<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">(they always contain only processor 0). So if I specify -lncpus=32<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">-lnodes=1:ppn=32, cpusets are created correctly and qstat -a shows<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">correctly how many cores the job is using. Maui, does not have any<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">problem dealing with this job.<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">-- <br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">Michel Béland, analyste en calcul scientifique<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><a href="mailto:michel.beland@rqchp.qc.ca">michel.beland@rqchp.qc.ca</a><br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">bureau S-250, pavillon Roger-Gaudry (principal), Université de<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">Montréal<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">téléphone : 514 343-6111 poste 3892 &nbsp;&nbsp;&nbsp;&nbsp;télécopieur : 514 343-2 <br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">155<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite">RQCHP (Réseau québécois de calcul de haute performance)<br></blockquote></blockquote><blockquote type="cite"><blockquote type="cite"><a href="http://www.rqchp.qc.ca">www.rqchp.qc.ca</a><br></blockquote></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">-- <br></blockquote><blockquote type="cite">David Beer | Senior Software Engineer<br></blockquote><blockquote type="cite">Adaptive Computing<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">-- <br></blockquote><blockquote type="cite">David Beer | Senior Software Engineer<br></blockquote><blockquote type="cite">Adaptive Computing<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">_______________________________________________<br></blockquote><blockquote type="cite">torqueusers mailing list<br></blockquote><blockquote type="cite"><a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br></blockquote><blockquote type="cite"><a href="http://www.supercluster.org/mailman/listinfo/torqueusers">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br></blockquote>_______________________________________________<br>torqueusers mailing list<br><a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>http://www.supercluster.org/mailman/listinfo/torqueusers<br><br></div></blockquote></div><br></body></html>