<html><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">
Hello.<div><br></div><div>I'm a bit of a torque newbie here so any advice will be appreciated. </div><div>I'm running torque/maui on a 32-core 4-node cluster with one 4-core head node.</div><div><br></div><div>Lately I've noticed that my users submit jobs and eventually the jobs don't finish. </div><div>The qstat says they are running but pbsnode -a reports that their node status as either "down" or "down, job-exclusive".</div><div>Running cexec -nnode_name "/sbin/service pbs_mom status" reports that pbs_mom is not running. </div><div><br></div><div>I can restart the process. I just want to know why/how its being shutdown.</div><div>There doesn't seem to be any rhyme or reason for when the pbs_mom goes down.</div><div><br></div><div>How do I  go about diagnosing this problem?</div><div><br></div><div>Again any and all advice is welcome.</div><div>Torque version: 2.1.8</div><div>Maui version: 3.2.6p20</div><div><br></div><div>I'm running Linux (RHEL 5.0) on an HP XPC cluster.</div><div><br></div><div>Let me know if there is any other information that may be helpful to diagnose this issue. </div><div>Thanks in advance for any and all advice.</div><div><br></div><div>Damian</div><div><br></div><div><br><div> <span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0; "><span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; "><div>================================================================================</div><div><br></div><div>Damian Fermin, Ph.D</div><div><a href="mailto:dfermin@umich.edu">dfermin@umich.edu</a></div><div><div>Pathology Department</div><div>University of Michigan</div><div>1300 Catherine St.</div><div>Ann Arbor, MI 48109</div></div><div>734.615.0302</div><div><br></div><div><div>--------------------------------------------------------------------------------</div><div>                  "There is no gene for the Human Spirit"</div><div>                                            -- GATTACA</div><div>--------------------------------------------------------------------------------</div></div><div><br></div></span><br class="Apple-interchange-newline"></span><br class="Apple-interchange-newline"> </div><br></div></body></html>