<div class="gmail_extra">Rhys,</div><div class="gmail_extra"><br></div><div class="gmail_extra">I&#39;m surprised that you say you haven&#39;t seen this message before, as the check exists in both places and has been there since 2.5 was released. There must&#39;ve been a bug that allowed it before. In this case, please try the attached patch to see if it resolves your problem for 4.0. This patch only requires you to rebuild and restart the server (dependencies are unknown to pbs_moms).</div>
<div class="gmail_extra"><br></div><div class="gmail_extra">David<br><br><div class="gmail_quote">On Sun, Apr 22, 2012 at 9:31 PM, Rhys Hill <span dir="ltr">&lt;<a href="mailto:rhys.hill@adelaide.edu.au" target="_blank">rhys.hill@adelaide.edu.au</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi everyone,<br>
<br>
I recently upgraded to torque 4.0 alongside moab 7.0, mostly because we&#39;d been<br>
having some trouble with cpusets and I&#39;d hoped that the support for hwloc would<br>
resolve the problem. cpusets are now working very well, but I&#39;m having a lot of<br>
trouble with job arrays, which form a very large part of our workload.<br>
<br>
Torque 4.0.0 would regularly lock-up when processing job arrays, so I upgraded to<br>
the most recent 4.0.1 snapshot, and that behaves much better, but still seems<br>
unstable compared to 2.5.9.<br>
<br>
One concrete issue is that many of our jobs that worked fine with 2.5.9 are now<br>
stalling with 4.0.1 with the following message:<br>
<br>
&quot;Arrays may only be given array dependencies&quot;<br>
<br>
which only seems to appear in the server logs and is otherwise invisible. This<br>
was certainly never true before, and doesn&#39;t really make sense. We frequently<br>
use array-&gt;single job dependencies for scatter-gather type operations.<br>
<br>
Once the above message has been printed, the job arrays sit in a hold state forever.<br>
They can&#39;t be removed using qdel and if I try to break the hold using qrls or<br>
mjobctl, they move into the queued state, but they disappear from moab and never<br>
actually start, and still can&#39;t be removed. The only way I can get rid of them<br>
is to bring down pbs_server, which has to killed via `killall -QUIT pbs_server`<br>
since the init script cannot stop the process properly, and delete the job<br>
files manually.<br>
<br>
I&#39;m currently thinking of just reverting to the old, working version of torque,<br>
but has anyone else had trouble with job arrays and can the above problems be<br>
fixed somehow?<br>
<br>
Thanks,<br>
<br>
--------------------------------------------------------------------------------<br>
Rhys Hill,                                             Senior Research Associate<br>
Australian Centre for Visual Technologies                 University of Adelaide<br>
<br>
Phone: <a href="tel:%2B61%208%208313%206197" value="+61883136197">+61 8 8313 6197</a>                           Mail:<br>
Fax:   <a href="tel:%2B61%208%208313%204366" value="+61883134366">+61 8 8313 4366</a>                           School of Computer Science<br>
                                                 University of Adelaide<br>
                                                 Adelaide, Australia<br>
<a href="http://www.cs.adelaide.edu.au/~rhys/" target="_blank">http://www.cs.adelaide.edu.au/~rhys/</a>             5005<br>
--------------------------------------------------------------------------------<br>
<br>
_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div>David Beer | Software Engineer</div><div>Adaptive Computing</div><br>
</div>