Hi Anthony,<div>I don&#39;t have a specific answer to your question but I can point you to some example code. InterProScan (<a href="http://www.ebi.ac.uk/Tools/pfa/iprscan/">http://www.ebi.ac.uk/Tools/pfa/iprscan/</a>) is a PERL project that integrates with PBS, LSF, or SGE. We use it with Torque by making small modifications to the PBS conf files. It runs several analysis tool in parallel on the cluster and then merges the results. </div>
<div>-Bill</div><div><br><div class="gmail_quote">On Wed, Aug 17, 2011 at 1:33 AM, Anthony Ferrari <span dir="ltr">&lt;<a href="mailto:ferraria@gmail.com">ferraria@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<br><div>Hi all,</div><div><br></div><div>Basically, I would like to launch a job on a cluster with specific resources and dependencies, wait for the job to complete or fail, check that all has gone OK, then do something with the generated files ...</div>

<div><br></div><div>To launch jobs, I am using a customized version o<font face="arial, sans-serif">f</font><span style="font-family:arial, sans-serif;background-color:rgb(255, 255, 255)"><font size="3"> </font></span><span style="font-family:arial, sans-serif;background-color:rgb(255, 255, 255)">PBS-Client-0.09 package written by </span><span style="font-family:arial, sans-serif;background-color:rgb(255, 255, 255)">Ka-Wai Mak. </span></div>

<div><span style="background-color:rgb(255, 255, 255)"><font face="arial, sans-serif">I also saw that packages named PBS-0.03 by Todd Merritt and perl-PBS by Garrick Staples exist but they do not seem maintained or seem outdated (please correct me if I am wrong).</font></span></div>

<div><font face="arial, sans-serif">What do you personally use ?</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">My problem here is more after the job submission, to keep &#39;control&#39; of the job.</font></div>

<div><font face="arial, sans-serif">Because with the PBS-Client module, once the job is submitted, Torque does what it has to do and that&#39;s it. It does not give any information in return to my Perl script.</font></div>

<div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">I was thinking about several solutions to achieve this but I do not find them very smart ... like :</font></div>
<div><font face="arial, sans-serif"> - using qstat | grep &#39;^myjobid&#39; in a while loop (with open3 perl function)</font></div><div><font face="arial, sans-serif"> - waiting for the output &amp; error files to be written where I expect them (hum...)</font></div>

<div><font face="arial, sans-serif"> - use an epilogue script in the job to do something useful...</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">But there may exist </font><span style="font-family:arial, verdana, sans-serif;background-color:rgb(255, 255, 255)">brighter </span><span style="font-family:arial, sans-serif">answers to this question. Perhaps with some modules I don&#39;t know about.</span></div>

<div><span style="font-family:arial, sans-serif">Do you have any advice ?</span></div><div><span style="font-family:arial, sans-serif"><br></span></div><div><span style="font-family:arial, sans-serif"><br>
</span></div><div><span style="font-family:arial, sans-serif">And actually this is to know when the job has finished but how do you check that the job completed and did not crash ?</span></div>
<div><span style="font-family:arial, sans-serif">Do you always parse the created logs ? </span></div><div><span style="font-family:arial, sans-serif">Is there a way to propagate the exit code of the program launched with qsub to the perl script running on the master node ?</span></div>

<div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">Thank you very much.</font></div>
<div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">Cheers,</font></div><div><font face="arial, sans-serif">Anthony</font></div><font color="#888888">
<div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif"><br></font></div>
</font><br>_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><span style="color:rgb(68, 68, 68);font-family:arial, helvetica, sans-serif;font-size:13px"><div><span style="color:rgb(68, 68, 68);font-family:arial, helvetica, sans-serif;font-size:13px">Bill Nelson</span></div>
<div><span style="color:rgb(68, 68, 68);font-family:arial, helvetica, sans-serif;font-size:13px">Bioinformatics Developer</span></div>TAIR<br>Carnegie Institution of Washington<br>Dept. of Plant Biology<br>260, Panama<br>
Stanford, CA 94305<br>USA<br><br>Cell: (650) 720-5708<br></span><div><span style="color:rgb(68, 68, 68);font-family:arial, helvetica, sans-serif;font-size:13px">Phone: <span style="font-family:arial, helvetica, verdana, sans-serif;font-size:12px">Phone: (650) 739-4343</span><br>
Fax: (650) 325-6857</span></div><br>
</div>