<br><br><div class="gmail_quote">On Wed, Apr 4, 2012 at 9:50 AM, Gus Correa <span dir="ltr">&lt;<a href="mailto:gus@ldeo.columbia.edu">gus@ldeo.columbia.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi David<br>
<br>
Not to hijack Steven&#39;s thread ...<br>
... but just taking a quick ride on it ... :)<br>
<br>
Does the hwloc 1.1 requirement apply only to Torque 4.0?<br>
How about the older Torque series [2.X.Y, 3.X.Y]<br>
that use cpuset?<br>
[I am in the process of building 2.4.16 with cpuset.]<br>
<br></blockquote><div><br></div><div>This only applies to 4.0 and higher.</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Thank you,<br>
Gus Correa<br>
<div class="im"><br>
On 04/04/2012 10:59 AM, David Beer wrote:<br>
&gt; Steven,<br>
&gt;<br>
&gt; I was supposed to add that note and I forgot - my mistake and thanks for<br>
&gt; catching it. I have now added:<br>
&gt;<br>
&gt; *** For admins that use cpusets in any form ***<br>
&gt; hwloc version 1.1 or greater is now required for building TORQUE with<br>
&gt; cpusets, as pbs_mom now uses the<br>
&gt; hwloc API to create the cpusets instead of creating them manually.<br>
&gt;<br>
&gt; to README.building_40.<br>
&gt;<br>
&gt; As far as checking for the existence of the library, this does happen at<br>
&gt; configure time once the configure script determines that the user is<br>
&gt; going to be using cpusets in any way, which a few different configure<br>
&gt; options can trigger.<br>
&gt;<br>
&gt; David<br>
&gt;<br>
&gt; On Tue, Apr 3, 2012 at 8:15 PM, DuChene, StevenX A<br>
</div><div class="im">&gt; &lt;<a href="mailto:stevenx.a.duchene@intel.com">stevenx.a.duchene@intel.com</a> &lt;mailto:<a href="mailto:stevenx.a.duchene@intel.com">stevenx.a.duchene@intel.com</a>&gt;&gt; wrote:<br>
&gt;<br>
&gt;     I installed hwloc-1.4.1 and hwloc-devel-1.4.1 rpms on the server<br>
&gt;     where I am building torque-4.X and in looking through the output<br>
&gt;     from the configure script during the build I do not see anywhere<br>
&gt;     that the existence of any hwloc stuff is checked. In fact in<br>
&gt;     grepping through the output from the whole torque rpm build process<br>
</div>&gt;     I do not see ANY mention of hwloc at all.____<br>
&gt;<br>
&gt;     __ __<br>
<div class="im">&gt;<br>
&gt;     I see compile time flags of HWLOC_CFLAGS and HWLOC_LIBS mentioned in<br>
&gt;     the –help output from configure but according to the description<br>
&gt;     text this is just supposed to over-ride the pkg-config results<br>
&gt;     however I do not see any evidence that the pkg-config system is<br>
</div>&gt;     being quizzed at all for the existence of hwloc on the build server.____<br>
&gt;<br>
&gt;     __ __<br>
&gt;<br>
&gt;     Is there some step I am missing?____<br>
&gt;<br>
&gt;     __ __<br>
<div class="im">&gt;<br>
&gt;     I thought someone mentioned that there would be better documentation<br>
</div>&gt;     of the hwloc business in the torque-4.0.1 release?____<br>
&gt;<br>
&gt;     __ __<br>
&gt;<br>
&gt;     If so where is it?____<br>
&gt;<br>
&gt;     --____<br>
&gt;<br>
&gt;     Steven DuChene____<br>
&gt;<br>
&gt;     __ __<br>
&gt;<br>
&gt;     *From:*<a href="mailto:torqueusers-bounces@supercluster.org">torqueusers-bounces@supercluster.org</a><br>
&gt;     &lt;mailto:<a href="mailto:torqueusers-bounces@supercluster.org">torqueusers-bounces@supercluster.org</a>&gt;<br>
&gt;     [mailto:<a href="mailto:torqueusers-bounces@supercluster.org">torqueusers-bounces@supercluster.org</a><br>
&gt;     &lt;mailto:<a href="mailto:torqueusers-bounces@supercluster.org">torqueusers-bounces@supercluster.org</a>&gt;] *On Behalf Of *David Beer<br>
&gt;     *Sent:* Monday, March 19, 2012 8:54 AM<br>
&gt;     *To:* Torque Users Mailing List<br>
&gt;     *Subject:* Re: [torqueusers] TORQUE 4.0 Officially Announced____<br>
&gt;<br>
&gt;     __ __<br>
&gt;<br>
&gt;     Steve,____<br>
&gt;<br>
&gt;     __ __<br>
<div class="im">&gt;<br>
&gt;     Hwloc is now required for running cpusets in TORQUE, and it helps<br>
&gt;     out a lot both in immediate use and in groundwork for future<br>
</div>&gt;     features.____<br>
&gt;<br>
&gt;     __ __<br>
<div class="im">&gt;<br>
&gt;     Immediately hwloc gives you a better cpuset because it gives you the<br>
&gt;     next core instead of the next indexed core. For example: many eight<br>
&gt;     core systems have processors 0, 2, 4, and 6 next to each other and<br>
&gt;     processors 1, 3,  5, and 7 next to each other. If you&#39;re running a<br>
&gt;     pre-4.0 TORQUE, and you have two jobs on the node, each with 4<br>
&gt;     cores, job 1 will have 0-3 and job 2 will have 4-7. In TORQUE 4.0,<br>
&gt;     job 1 will have 0, 2, 4, and 6, and job 2 will have 1, 3, 5, and 7.<br>
&gt;     This should help speed up processing times for jobs (NOTE: only if<br>
&gt;     you have this kind of system and a comparable job layout, I&#39;m not<br>
&gt;     promising a general speed-up to everyone using cpusets). This should<br>
&gt;     also allow us to properly handle hyperthreading for anyone that has<br>
</div>&gt;     it turned on and wishes to use it.____<br>
&gt;<br>
&gt;     __ __<br>
<div class="im">&gt;<br>
&gt;     The last immediate feature is if you have SMT (simultaneous<br>
&gt;     multi-threading) hardware. The mom config variable $use_smt was<br>
&gt;     added. By default, the use of SMT is enabled, but you can tell your<br>
&gt;     pbs_mom to ignore them (not place them in the cpuset) using by<br>
</div>&gt;     adding____<br>
&gt;<br>
&gt;     __ __<br>
&gt;<br>
&gt;     $use_smt false____<br>
&gt;<br>
&gt;     __ __<br>
&gt;<br>
&gt;     to your mom config file____<br>
&gt;<br>
&gt;     __ __<br>
<div class="im">&gt;<br>
&gt;     For the future, the hwloc threads make it really easy for us to<br>
&gt;     handle hardware specific requests. One of the coming features for<br>
</div>&gt;     TORQUE is to allow requests roughly similar to:____<br>
&gt;<br>
&gt;     __ __<br>
&gt;<br>
&gt;     socket=2:numa=2 --with-hyperthreads____<br>
&gt;<br>
&gt;     __ __<br>
<div class="im">&gt;<br>
&gt;     which would say to spread the job over 2 sockets, and across the 2<br>
&gt;     numa nodes on each socket. This is a feature we plan to add to<br>
&gt;     improve support for Magny-Cours and Opteron type processors that<br>
&gt;     have multiple sockets and or multiple numa nodes on the processor<br>
&gt;     chip. Using hwloc makes it so we don&#39;t have to parse system files<br>
&gt;     and map the indices to the sockets and/or numa nodes ourselves, we<br>
&gt;     can simply use easy hwloc functions<br>
&gt;     like hwloc_get_next_obj_inside_cpuset_by_type() that allow you to<br>
&gt;     just move on to the next physical core or virtual core, or skip to<br>
</div>&gt;     the next socket or numa node as the case may be.____<br>
&gt;<br>
&gt;     __ __<br>
&gt;<br>
&gt;     David____<br>
<div class="im">&gt;<br>
&gt;     On Mon, Mar 19, 2012 at 8:47 AM, DuChene, StevenX A<br>
</div>&gt;     &lt;<a href="mailto:stevenx.a.duchene@intel.com">stevenx.a.duchene@intel.com</a> &lt;mailto:<a href="mailto:stevenx.a.duchene@intel.com">stevenx.a.duchene@intel.com</a>&gt;&gt;<br>
&gt;     wrote:____<br>
<div class="im">&gt;<br>
&gt;     Also a better (more complete) explanation of what features are<br>
&gt;     enabled when hwloc is used would be helpful as well.<br>
&gt;<br>
&gt;     BTW, I built torque on my server without hwloc installed and then<br>
&gt;     installed the resulting mom packages on my nodes. The mom daemons in<br>
&gt;     that case did seem to start up just fine.<br>
&gt;     --<br>
</div>&gt;     Steven DuChene____<br>
<div class="im">&gt;<br>
&gt;<br>
&gt;     -----Original Message-----<br>
&gt;     From: <a href="mailto:torqueusers-bounces@supercluster.org">torqueusers-bounces@supercluster.org</a><br>
&gt;     &lt;mailto:<a href="mailto:torqueusers-bounces@supercluster.org">torqueusers-bounces@supercluster.org</a>&gt;<br>
</div><div class="im">&gt;     [mailto:<a href="mailto:torqueusers-bounces@supercluster.org">torqueusers-bounces@supercluster.org</a><br>
&gt;     &lt;mailto:<a href="mailto:torqueusers-bounces@supercluster.org">torqueusers-bounces@supercluster.org</a>&gt;] On Behalf Of Craig West<br>
&gt;     Sent: Sunday, March 18, 2012 10:40 PM<br>
</div><div><div class="h5">&gt;     To: Torque Users mailing list; Torque Developers mailing list____<br>
&gt;<br>
&gt;     Subject: Re: [torqueusers] TORQUE 4.0 Officially Announced<br>
&gt;<br>
&gt;<br>
&gt;     Hi Steven,<br>
&gt;<br>
&gt;     I have just begun testing Torque 4.0, as hwloc has been a long awaited<br>
&gt;     feature for me.<br>
&gt;<br>
&gt;      &gt; It is unclear from this announcement text where hwloc has to be<br>
&gt;     installed.<br>
&gt;      &gt; Is it just on the server or on the nodes only?<br>
&gt;<br>
&gt;     It needs to be available on the BUILD server and the nodes. I tried to<br>
&gt;     run pbs_mom on a node without the hwloc I had installed and it failed.<br>
&gt;<br>
&gt;     Note: I am running hwloc 1.4 from a directory in /usr/local<br>
&gt;     This was not automatically found by the TORQUE configure script, but you<br>
&gt;     can specify the location using HWLOC_CFLAGS &amp; HWLOC_LIBS.<br>
&gt;     It embeds the locations that you specify in the pbs_mom (and other<br>
&gt;     files) but it seems you can set the LD_LIBRARY_PATH variable if it is<br>
&gt;     not in the same location on the BUILD server as the compute nodes.<br>
&gt;     For simplicity installing them in the same location makes sense.<br>
&gt;<br>
&gt;      &gt; More documentation about this would be greatly appreciated.<br>
&gt;<br>
&gt;     I agree, clearer and more detailed documentation would be useful.<br>
&gt;<br>
&gt;     Cheers,<br>
&gt;     Craig.<br>
&gt;     _______________________________________________<br>
&gt;     torqueusers mailing list<br>
</div></div>&gt;     <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
<div class="im">&gt;     <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;     _______________________________________________<br>
&gt;     torqueusers mailing list<br>
</div>&gt;     <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
&gt;     <a href="http://www.supercluster.org/mailman/listinfo/torqueusers____" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers____</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;     ____<br>
&gt;<br>
&gt;     __ __<br>
&gt;<br>
&gt;     -- ____<br>
&gt;<br>
&gt;     David Beer | Software Engineer____<br>
&gt;<br>
&gt;     Adaptive Computing____<br>
&gt;<br>
&gt;     __ __<br>
&gt;<br>
&gt;<br>
&gt;     _______________________________________________<br>
&gt;     torqueusers mailing list<br>
&gt;     <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
<div class="im HOEnZb">&gt;     <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; David Beer | Software Engineer<br>
&gt; Adaptive Computing<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; torqueusers mailing list<br>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br>
</div><div class="HOEnZb"><div class="h5">_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div>David Beer | Software Engineer</div><div>Adaptive Computing</div><br>