<div dir="ltr">I would use CONTIGUOUS<b>&nbsp; </b>NODEALLOCATEIONPOLICY,get the MPI jobs higher priority (via QOS of CLASS) and enable&nbsp; <a href="http://www.clusterresources.com/products/maui/docs/8.2backfill.shtml#config">&quot;Backfill Chunking&quot;</a>.<br>
just remember to enforce realistic walltime on all jobs to get Backfill working efficiently.<br><br><br><div class="gmail_quote">On Tue, Jul 29, 2008 at 12:37 AM, Rob Lines <span dir="ltr">&lt;<a href="mailto:rlinesseagate@gmail.com">rlinesseagate@gmail.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div dir="ltr">We are running into a problem with our nodes as we have a wide mix of users between people that have single cpu jobs and need to run 1000s of them each time they run and other users that only have one job but that needs a larger number of cpus. We are running into the single jobs being schedualed and the multi node/cpu jobs taking forever to get schedualed because they can&#39;t find the required number of nodes with X cpus available.&nbsp; In our case we have 48 nodes with 45 of them having Infiniband for MPI and our mpi jobs are 40 to 64 cores.&nbsp; We would like to have a way to just ask for 40 or 64 cores.&nbsp; The 64 one dies when you ask for 64 nodes so the work around had been to ask for 16 nodes with ppn=4 but we don&#39;t end up with 16 nodes completely empty hardly ever as we have some single cpu jobs that have run for a week or better and we had our NODEALLOCATEIONPOLICY set to CPULOAD but that results in single cpu jobs being spread out across lots of nodes so it takes a while before it before they become free.<br>

<br>So we are looking for a way to request cpus(cores) rather than cpus per machine because the simulations could just as easily be spread out through all the IB nodes.&nbsp; I could not find anything in the docs on how to do that.<br>

<br>We are using Torque with the Maui Schedualer.&nbsp; If anyone has a suggestion on a good configuration for a cluster that has a wide mix of job types and also has some applications running on the cluster that are outside of torque or can point me at one that would work I would appreciate it.<br>

<br><br></div>
<br>_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br>Oded Ben Ozer<br>+972 544 825290<br>
</div>