<br><div class="gmail_quote"><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div class="Ih2E3d"><br>
<br>
Darren Platt wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Thanks! &nbsp;One of the attractions is the portability, so we don&#39;t have to recode if we outgrow or change schedulers. &nbsp;Part of the problem seems to be the abstraction. &nbsp;For example, setting the outputPath &nbsp;field in the job to &nbsp;myhost:/some/path/to/some/file.txt &nbsp; &nbsp;didn&#39;t deliver the result to the headnode in the way -o &nbsp; would. &nbsp;The problem seemed to be in how the drmaa layer was rewriting the path, &nbsp;assumptions about whether the intermediate path /some/path / etc existed on the node vs the submit host. &nbsp; &nbsp;<br>

</blockquote>
<br></div>
These are the exact sorts of issues I ran into when I was playing with DRMAA.</blockquote><div><br>That&#39;s a pity - I assume it&#39;s because most users are relying on file systems for data staging.&nbsp; I managed to get it to at least send results out to the submit host but only by<br>
patching the source which didn&#39;t seem like the intended mode of use ;)<br><br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div class="Ih2E3d">
<br>
<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
So I assume most people are using either the shell or torque api to submit then?<br>
</blockquote>
<br></div>
Absolutely. You might be able to abstract this concept into &quot;job templates&quot; that then only need to be modified to fit a new scheduler, allowing you to NOT change your code. Generally though, the most common or even popular scheduler&#39;s accept in the PBS (TORQUE) style submit scripts, so I don&#39;t think you are taking a risk by using TORQUE.</blockquote>
<div><br>We are hoping to run things via an API so we can&nbsp; get better integration between applications and&nbsp; the jobs submitted.&nbsp; Has anyone written a python API for torque&#39;s native&nbsp; API? <br></div></div><br clear="all">
<br>-- <br>Darren Platt<br>Senior Director, Research<br>23andMe, inc