<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoPlainText, li.MsoPlainText, div.MsoPlainText
        {mso-style-priority:99;
        mso-style-link:"Plain Text Char";
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:10.5pt;
        font-family:Consolas;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
span.PlainTextChar
        {mso-style-name:"Plain Text Char";
        mso-style-priority:99;
        mso-style-link:"Plain Text";
        font-family:Consolas;}
.MsoChpDefault
        {mso-style-type:export-only;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-AU link=blue vlink=purple><div class=WordSection1><p class=MsoPlainText>Hi All,<o:p></o:p></p><p class=MsoPlainText><o:p>&nbsp;</o:p></p><p class=MsoPlainText>In out torque instance on SGI UV: pbs_version = 3.0.4-snap.201201051014<o:p></o:p></p><p class=MsoPlainText>We recently noticed this:<o:p></o:p></p><p class=MsoPlainText><o:p>&nbsp;</o:p></p><p class=MsoPlainText>&gt; ls -al /var/spool/torque/mom_priv/jobs/.TK<o:p></o:p></p><p class=MsoPlainText>-rw------- 1 root root 680505410608 Nov 20 20:06 /var/spool/torque/mom_priv/jobs/.TK<o:p></o:p></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>The file must be really sparse as it takes up very little du.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>The pbs_mom was restarted an hour or so before the timestamp on this file and there are a few errors logged like:<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>11/20/2012 19:12:00;0001;&nbsp;&nbsp; pbs_mom;Job;job_nodes;job: 30066.cherax.hpsc.csiro.au numnodes=1 numvnod=1<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>11/20/2012 19:12:00;0001;&nbsp;&nbsp; pbs_mom;Svr;pbs_mom;LOG_ERROR::No such file or directory (2) in task_recov, open of task file<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>11/20/2012 19:12:00;0080;&nbsp;&nbsp; pbs_mom;Job;init_abort_jobs;task recovery failed for job 30066.cherax.hpsc.csiro.au, rc=-1<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>11/20/2012 19:12:00;0080;&nbsp;&nbsp; pbs_mom;Job;init_abort_jobs;attempting to recover job 30066.cherax.hpsc.csiro.au in state RUNNING<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>11/20/2012 19:12:03;0001;&nbsp;&nbsp; pbs_mom;Svr;pbs_mom;LOG_ERROR::No such file or directory (2) in open_std_file, cannot open/create stdout/stderr file '/var/spool/torque/spool<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>/30066.cherax.hpsc.csiro.au.ER' (mode: 2001, keeping: FALSE)<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>11/20/2012 19:12:03;0001;&nbsp;&nbsp; pbs_mom;Svr;pbs_mom;LOG_ERROR::Inappropriate ioctl for device (25) in message_job, cannot open stderr file for job '30066.cherax.hpsc.csiro.a<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>u' (msg: '=&gt;&gt; PBS: job killed: walltime 8404959 exceeded limit 16200<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>11/20/2012 19:12:03;0008;&nbsp;&nbsp; pbs_mom;Job;kill_job;examine_all_polled_jobs: sending signal 15, &quot;TERM&quot; to job 30066.cherax.hpsc.csiro.au, reason: job is over-limit-0<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>11/20/2012 19:12:03;0008;&nbsp;&nbsp; pbs_mom;Job;29928.cherax.hpsc.csiro.au;walltime 8478981 exceeded limit 252000<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>11/20/2012 19:16:56;0001;&nbsp;&nbsp; pbs_mom;Svr;pbs_mom;LOG_ERROR::Success (0) in req_quejob, cannot queue new job, job exists and is running<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>(this last one is happening quite a bit &#8211; maybe related to slow start of jobs)<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>Any ideas?<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>Is the .TK file from some corruption? &#8211; I think we will just delete it.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>Gareth<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p></div></body></html>