<html><body><div style="color:#000; background-color:#fff; font-family:times new roman, new york, times, serif;font-size:12pt"><div><br></div><div>Hey all - <br></div><div><br></div><div>I am using the job-array dependency functionality and I have found what I think is a repeatable bug in torque-3.0.0.<br></div><div><br></div><div>I routine submit a finalization job that depends on hundreds of jobs which are grouped into several job arrays. The finalization <br></div><div>job is started BEFORE the all the depending jobs have finished in certain circumstances with respect to the job array run states.<br></div><div><br></div><div>I am using the qsub format "-W depend:afterokarray:1[]:2[]" which is working find except for the following case:</div><div><br></div><div>If the finalization job depends on 2 job arrays finishing and array#1 is partially running (say 5 out of 10 are R, the other 5 are Q)</div><div>and array#2 finishes completely, at that moment
 the finalized job is released from H, only to be reset to H since array#1 <br></div><div>has not finished yet.</div><div><br></div><div>Here is the server log showing the state transitions:<br></div><div><br></div><div>10/12/2011 10:58:11;0008;PBS_Server;Job;15320.madrid.local;Setting HOLD_s due to dependencies<br>10/12/2011 10:58:11;0008;PBS_Server;Job;15320.madrid.local;Setting HOLD_s due to dependencies<br>10/12/2011 10:58:11;0008;PBS_Server;Job;15320.madrid.local;Setting HOLD_s due to dependencies<br>10/12/2011 10:58:11;0008;PBS_Server;Job;15320.madrid.local;Setting HOLD_s due to dependencies<br>10/12/2011 10:58:11;0008;PBS_Server;Job;15320.madrid.local;Clearing HOLD_s due to dependencies<br>10/12/2011 10:58:12;0008;PBS_Server;Job;15320.madrid.local;Setting HOLD_s due to dependencies<br>10/12/2011 10:58:12;0008;PBS_Server;Job;15320.madrid.local;Setting HOLD_s due to dependencies<br>10/12/2011 10:58:12;0008;PBS_Server;Job;15320.madrid.local;Setting
 HOLD_s due to dependencies<br>10/12/2011 10:58:12;0008;PBS_Server;Job;15320.madrid.local;Setting HOLD_s due to dependencies<br>10/12/2011 10:58:26;0008;PBS_Server;Job;15320.madrid.local;Setting HOLD_s due to dependencies<br>10/12/2011 10:58:26;0008;PBS_Server;Job;15320.madrid.local;Setting HOLD_s due to dependencies<br>10/12/2011 10:58:26;0008;PBS_Server;Job;15320.madrid.local;Setting HOLD_s due to dependencies<br></div><div><br></div><div><br></div><div>Is this expected? This tiny transition is messing our pipeline up since we don't no support checkpointing and</div><div>the job state gets all screwy from that point onward.</div><div><br></div><div>thx - <br></div><div>Fred</div></div></body></html>