Jack,<div><br></div><div>There is an obvious answer to this,  &quot;It depends&quot;.  Many HPC people thing that serial jobs are not HPC and have no business on their system.  We take a different approach.  Most (95%) of our cycles are large parallel jobs.  However, we have to pre- and post- process data to get it into a form that the big parallel model does. </div>
<div>Most of these jobs are serial.  These serial jobs comprise about 70% of but only 5% of the cpu time.  Now that nodes have 12, 16 or more cores, letting a serial process on a node run is a waste.</div><div><br></div><div>
So we pack serial jobs onto nodes, but if the job is parallel we dedicate nodes.  This works well for us.  The trick with the serial jobs is to not let one user affect another.  We have no swap on our nodes, so it is easy to blow out memory.  To help guard against this we do a couple things.  First, we require that users specify -lvmem and set how much memory their jobs use.  Second, we use cgroups directly on the nodes to set a maximum amount of RAM that can be used so that system processes are not affected when users allocate too much memory.</div>
<div><br></div><div>The more nodes you have, the easier it is to be wasteful.  If you only have 5 nodes, it would make sense to try and pack jobs together.</div><div><br></div><div>Craig</div><div><br><div class="gmail_quote">
On Thu, Dec 20, 2012 at 4:02 PM, Jack Wilkinson <span dir="ltr">&lt;<a href="mailto:jwilkinson@stoneeagle.com" target="_blank">jwilkinson@stoneeagle.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" link="blue" vlink="purple">
<div>
<p class="MsoNormal">We have a –small- cluster configured.  Four dedicated nodes and one node that shares the function of the headbox.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">I had a user ask a question today that I wasn’t sure how to answer.  In our current configuration, if we, for example, drop 12 jobs into the queue, the systems run the first five, as a node becomes available, the next job in the queue starts
 running until all 12 jobs have been run.  There is only one job on any one node at a time.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">The user wanted to know if it was possible to have more than one job running on a node at a time?  I honestly didn’t have an answer for him.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">My feeling is that the whole purpose of the cluster is to give the power of a whole node to process a job and not have to share it.</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">Might I get some input from the crowd??</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal">Happy holidays to all!</p>
<p class="MsoNormal">jack</p>
<p class="MsoNormal"> </p>
<p class="MsoNormal"><b><span style="font-size:10.5pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;">Jack Wilkinson,</span></b><span style="font-size:10.5pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;"> Programmer</span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;">Services | VPay</span><span style="font-size:8.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;">®</span><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,&quot;serif&quot;"></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;;color:#ff230e">P: <a href="tel:972.367-6622" value="+19723676622" target="_blank">972.367-6622</a></span><span style="font-size:9.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;"></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;;color:#ff230e"><a href="mailto:jwilkinson@stoneeagle.com" target="_blank"><span style="color:blue">jwilkinson@stoneeagle.com</span></a></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;"><a href="http://www.stoneeagle.com/" target="_blank"><span style="color:blue">www.stoneeagle.com</span></a></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;"><a href="http://www.vpayusa.com/" target="_blank"><span style="color:blue">www.vpayusa.com</span></a></span><span style="font-size:12.0pt;font-family:&quot;Times New Roman&quot;,&quot;serif&quot;"></span></p>

<p class="MsoNormal"><span style="font-size:9.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;;color:#797979"> </span></p>
<p class="MsoNormal"><span style="font-size:9.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;;color:#797979">111 W. Spring Valley Rd., #100</span></p>
<p class="MsoNormal"><span style="font-size:9.0pt;font-family:&quot;Helvetica&quot;,&quot;sans-serif&quot;;color:#797979">Richardson, TX 75081</span></p>
<p class="MsoNormal"> </p>
</div>
CONFIDENTIALITY NOTICE: This email, including any attachments, is for the sole use of the intended recipient(s) and may contain confidential and privileged information. Any unauthorized review, use, disclosure, or distribution is prohibited. If you received
 this email and are not the intended recipient, please inform the sender by email reply and destroy all copies of the original message.
</div>

<br>_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br></blockquote></div><br></div>