<br><br><div><span class="gmail_quote">On 4/21/07, <b class="gmail_sendername">Vadivelan Ranjith</b> &lt;<a href="mailto:velan.aero@gmail.com">velan.aero@gmail.com</a>&gt; wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Hi<br>some of our compute nodes went down due to power failure. We booted some nodes after few days. After booting nodes, i deleted all jobs manually using qdel in server. All jobs deleted except two jobs. when i type showq 
<br>ACTIVE JOBS--------------------<br>JOBNAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; USERNAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STATE&nbsp; PROC&nbsp;&nbsp; REMAINING&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STARTTIME<br><br>12377&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; prashant&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; -INFINITY&nbsp; Fri Mar 23 15:34:49<br>12361&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; prashant&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; -INFINITY&nbsp; Fri Mar 23 15:34:49
<br>12769&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; vilask&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 1:08:57:44&nbsp; Tue Apr 17 19:42:11<br>12775&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dmashok&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 1:10:46:14&nbsp; Tue Apr 17 21:30:41<br>12777&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; shinisha&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 1:10:48:18&nbsp; Tue Apr 17 21:32:45
<br>12778&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mehta&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 1:10:51:55&nbsp; Tue Apr 17 21:36:22<br>12779&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mehta&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 1:10:51:55&nbsp; Tue Apr 17 21:36:22<br>12789&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; atuls&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 1:21:59:27&nbsp; Wed Apr 18 08:43:54
<br>12790&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; atuls&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 1:21:59:58&nbsp; Wed Apr 18 08:44:25<br>12791&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; atuls&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 1:22:00:29&nbsp; Wed Apr 18 08:44:56<br>12796&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sndatta&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 2:01:59:11&nbsp; Wed Apr 18 12:43:38
<br>12768&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; deepa&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 2:02:23:59&nbsp; Wed Apr 18 13:08:26<br>12803&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dipankar&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 2:22:35:34&nbsp; Thu Apr 19 09:20:01<br>12804&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dipankar&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 2:22:45:54&nbsp; Thu Apr 19 09:30:21
<br>12805&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; shinisha&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 2:23:00:22&nbsp; Thu Apr 19 09:44:49<br>12806&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mahendra&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 2:23:30:20&nbsp; Thu Apr 19 10:14:47<br>12816&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mahendra&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 3:05:38:12&nbsp; Thu Apr 19 16:22:39
<br>12838&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dmashok&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 4:00:31:31&nbsp; Fri Apr 20 11:15:58<br>12839&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; shinisha&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 4:01:04:04&nbsp; Fri Apr 20 11:48:31<br>12851&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dmashok&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 4:11:04:12&nbsp; Fri Apr 20 21:48:39
<br>12849&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; vilask&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 4:23:25:54&nbsp; Sat Apr 21 10:10:21<br>12850&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; deepa&nbsp;&nbsp;&nbsp; Running&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 4:23:25:54&nbsp; Sat Apr 21 10:10:21<br><br>&nbsp;&nbsp;&nbsp; 22 Active Jobs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 22 of&nbsp;&nbsp; 32 Processors Active (
68.75%)<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14 of&nbsp;&nbsp; 16 Nodes Active&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (87.50%)<br><br>IDLE JOBS----------------------<br>JOBNAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; USERNAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STATE&nbsp; PROC&nbsp;&nbsp;&nbsp;&nbsp; WCLIMIT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; QUEUETIME<br><br><br>0 Idle Jobs<br><br>

BLOCKED JOBS----------------<br>JOBNAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; USERNAME&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STATE&nbsp; PROC&nbsp;&nbsp;&nbsp;&nbsp; WCLIMIT&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; QUEUETIME<br><br>12333&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; mahendra&nbsp;&nbsp; Deferred&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 5:00:00:00&nbsp; Thu Mar&nbsp; 8 08:56:33<br>12342&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dipankar&nbsp;&nbsp; Deferred&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 5:00:00:00&nbsp; Thu Mar&nbsp; 8 10:37:22
<br><br>Total Jobs: 24&nbsp;&nbsp; Active Jobs: 22&nbsp;&nbsp; Idle Jobs: 0&nbsp;&nbsp; Blocked Jobs: 2<br><br>-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
<br><br><br>Here first two jobs showing INFINITY and jobs are not running. Even its not deleting . I login to compute nodes and i did top. Jobs are not running. when i check the job it showing,<br><br>-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
<br>checking job 12377<br><br>State: Running<br>Creds:&nbsp; user:prashant&nbsp; group:prashant&nbsp; class:batch&nbsp; qos:DEFAULT<br>WallTime: 41:03:45:05 of 1:12:00:00<br>SubmitTime: Sat Mar 10 13:13:50<br>&nbsp; (Time Queued&nbsp; Total: 13:02:20:59&nbsp; Eligible: 13:02:20:59)
<br><br>StartTime: Fri Mar 23 15:34:49<br>Total Tasks: 1<br><br>Req[0]&nbsp; TaskCount: 1&nbsp; Partition: DEFAULT<br>Network: [NONE]&nbsp; Memory &gt;= 0&nbsp; Disk &gt;= 0&nbsp; Swap &gt;= 0<br>Opsys: [NONE]&nbsp; Arch: [NONE]&nbsp; Features: [NONE]<br>
NodeCount: 1
<br>Allocated Nodes:<br>[node08:1]<br><br><br>IWD: [NONE]&nbsp; Executable:&nbsp; [NONE]<br>Bypass: 0&nbsp; StartCount: 2<br>PartitionMask: [ALL]<br>Flags:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; RESTARTABLE<br><br>Reservation &#39;12377&#39; ( -INFINITY -&gt; 00:00:01&nbsp; Duration: 28:19:08:37)
<br>PE:&nbsp; 1.00&nbsp; StartPriority:&nbsp; 18860<br><br><br>Can you please help me how to sort it out.<br><br>Velan<br>
</blockquote></div><br>