On Thu, Jul 10, 2008 at 10:06 AM, Gabe Turner &lt;<a href="mailto:gabe@msi.umn.edu">gabe@msi.umn.edu</a>&gt; wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
We starting to play with job arrays as we have some actual requests for<br>
them from former SGE users which we&#39;ve recently adopted. &nbsp;Submitting and<br>
delting them is working fine (in 2.3.0), but there seems to be no way that<br>
I can tell to throttle them. &nbsp;Basically, I would like to limit the size of<br>
any given job array to a static number of jobs. &nbsp;We have a policy, as<br>
unwise and politically-motivated as it may be, dictating that no user can<br>
submit more than 10 jobs. &nbsp;Currently we throttle this using a submit<br>
filter.<br>
<br>
What our submit filter does is just parse qstat output to determine the<br>
number of jobs a user has submitted (crude, but it works) and it returns an<br>
error when they try to submit jobs beyond 10. &nbsp;The problem is that a user<br>
would be able to circumvent this by submitting a job array containing more<br>
than 10 jobs, as it seems the submit filter is only executed once, even<br>
when sumitting a job array. &nbsp;Fortunately, once this 10+ job array has been<br>
submitted, our filter then prevent further submissions for that user.<br>
<br>
We can work support for detecting &#39;#PBS -t ...&#39; into our submit filter, but<br>
I don&#39;t believe that will work if -t is passed on the qsub command line.<br>
I&#39;ve considered the implementation of a qsub wrapper, but frankly it&#39;s just<br>
too easy to circumvent.<br>
<br>
Anyone want to brainstorm with me about this? &nbsp;Any plans by those Torque<br>
developers working on job arrays to providing throttling policies for job<br>
array size?<br>
<br>
Any help would be greatly appreciated!<br>
<br>
Gabe</blockquote></div><br><br>I can easilly add a max_array_size qmgr parameter that would cause pbs_server to reject a submission for a job array larger than that.&nbsp; You would have to wait until 2.4.0 is stable and ready, since we don&#39;t want anyting but bug fixes to go into the 2.3 branch from now on.<br>
<br>I think a submit filter *should* also have access to anything passed on the command line (but that doesn&#39;t mean that is what the current implementation does, I would consider that a bug if it does not).<br><br><br>