We use HP Scalable File Share(a variant of Lustre) set as tmpdir and have not seen this error.<br>It is being used widely by users via data staging and so far we have not encountered any such errors.<br>Our server and clients are on RHEL5 though<br>
<br><div class="gmail_quote">On Thu, Feb 16, 2012 at 3:22 PM, Lukasz Flis <span dir="ltr">&lt;<a href="mailto:l.flis@cyf-kr.edu.pl">l.flis@cyf-kr.edu.pl</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hello,<br>
<br>
I would like to ask Lustre users if anyone has pbs_mom variable $tmpdir<br>
set to a directory located on Lustre filesystem?<br>
<br>
Such kind of setup in our case (Lustre 2.1.0 and Lustre 1.8.6) results<br>
in Torque being unable to create temprorary directory. Not all attempts<br>
are unsuccessful but it is still significant amount.<br>
<br>
<br>
Feb 14 13:56:02 n6-4-16 pbs_mom: LOG_ERROR::Permission denied (13) in<br>
TMakeTmpDir, Unable to make job transient directory:<br>
/mnt/lustre/scratch/jobs/18555591.batch.grid<br>
Feb 14 13:56:23 n6-4-16 pbs_mom: LOG_ERROR::Permission denied (13) in<br>
TMakeTmpDir, Unable to make job transient directory:<br>
/mnt/lustre/scratch/jobs/18555647.batch.grid<br>
Feb 14 14:37:35 n6-4-16 pbs_mom: LOG_ERROR::Permission denied (13) in<br>
TMakeTmpDir, Unable to make job transient directory:<br>
/mnt/lustre/scratch/jobs/18557701.batch.grid<br>
Feb 14 14:38:17 n6-4-16 pbs_mom: LOG_ERROR::Permission denied (13) in<br>
TMakeTmpDir, Unable to make job transient directory:<br>
/mnt/lustre/scratch/jobs/18557716.batch.grid<br>
<br>
This is not a bug in torque but problem with lustre itself.<br>
<br>
I&#39;m just curious if we&#39;re the only site in the world facing the problem.<br>
<br>
Here is a bug report in jira@whamcloud for more details:<br>
<br>
<a href="http://jira.whamcloud.com/browse/LU-1101" target="_blank">http://jira.whamcloud.com/browse/LU-1101</a><br>
<br>
<br>
Cheers,<br>
--<br>
Lukasz Flis<br>
ACC Cyfronet AGH,<br>
Cracow, POLAND<br>
_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</blockquote></div><br><br clear="all"><br>-- <br>---<br>Rishi Pathak<br>National PARAM Supercomputing Facility<br>C-DAC, Pune, India<br><br><br>