<html><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">
<div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; "><font face="Helvetica" size="3" style="font: 12.0px Helvetica">Thanks Ronny. Good point. On the other hand pre-emption still wouldn't work without it since anyone else submitting to any other queue wouldn't even get scheduled since MAUI couldn't get through the whole list of those thousands of jobs (each iteration). By doing this set up I get those thousands of jobs out of MAUI so that it can still process/schedule the other queue's properly. Also, you are right, I do turn it into a "50 jobs at a time" batching system... but only for that 1 queue. All the other queue's operate as expected. They don't normally have submissions of thousands of jobs at a time. </font></div><div><br></div><div><div>On Jun 26, 2008, at 9:06 AM, Ronny T. Lampert wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><blockquote type="cite"><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">I had a similar situation with a user submitting 7,000 jobs at a time. Like you point out maui can't seem to keep up with scheduling all of them. After posting to the list it was suggested that I create a routing queue in torque:</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">create queue physics</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">set queue physics queue_type = Route</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">set queue physics acl_group_enable = True</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">set queue physics route_destinations = pompeii</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">set queue physics enabled = True</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">set queue physics started = True</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">Then for the destination queue pompeii I put in the following rule:</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">set queue pompeii max_queuable = 50</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">This setup is working well. Torque manages to keep 50 jobs in the pompeii execution queue at all times. Maui is happy since it doesn't have to go through thousands of jobs each iteration, which it couldn't run anyhow due to lack of resources. (I wish we had thousands ;-)).</div> </blockquote><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; min-height: 14px; "><br></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">Please note that ANY! newer jobs that might trigger preemption will NO LONGER WORK with this setup, since maui is only using its scheduling algorithms on those 50 jobs.</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">Same with higher prio jobs or similar that will/must/should be executed ASAP.</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">You essentially turn your setup into a "50 jobs a at time" batching system.</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; min-height: 14px; "><br></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">So, depending on your needs you should increase the max_queueable.</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; min-height: 14px; "><br></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; min-height: 14px; "><br></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">Before maui I managed to run a heavily patched pbs_sched (early torque releases) with I think around 20k+ jobs queued.</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; min-height: 14px; "><br></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">After that I abandoned that setup because I needed preemption (sorry, no docs left from that time).</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">I had maui running with 10k+ jobs (and changed the #define so it would consider 8K instead of 4K jobs for real scheduling), but it's not nice and it'll eat memory like it's sugar (500MB+ RSS).</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">And I still think scheduling over 8K jobs is far too less for such a system.</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; min-height: 14px; "><br></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; min-height: 14px; "><br></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">Because ATM I no longer have this setup in operation I did stop working privately on maui to remedy those shortcommings.</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; min-height: 14px; "><br></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">BR,</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">Ronny</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; min-height: 14px; "><br></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">_______________________________________________</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">mauiusers mailing list</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; "><a href="mailto:mauiusers@supercluster.org">mauiusers@supercluster.org</a></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; "><a href="http://www.supercluster.org/mailman/listinfo/mauiusers">http://www.supercluster.org/mailman/listinfo/mauiusers</a></div> </blockquote></div><br></body></html>