<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
  <meta content="text/html;charset=ISO-8859-1" http-equiv="Content-Type">
</head>
<body bgcolor="#ffffff" text="#000000">
<font size="+1"><font face="Times New Roman, Times, serif">Hi Edsall.<br>
<br>
Thank you for responding.&nbsp;&nbsp;&nbsp; I have a few more nodes now, but the same
configuration.&nbsp;&nbsp;&nbsp; I am including the diagnose -p with other details:<br>
<br>
We have 13 64-core nodes.&nbsp; All nodes have the 'free' feature and a
queue named 'free' as PREEMPTEE so that we can harvest idle cycles when
the nodes are not in use by their owners.<br>
<br>
As user "juser", I load up the 'free' queue (PREEMTEE) as follows:<br>
<br>
1.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24904&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
2.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29346&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
3.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42900&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
4.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30291&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
5.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26417&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
6.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40206&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
7.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1786&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
8.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62436&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
9.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
10.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45691&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
11.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41386&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
12.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35204&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
13.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51043&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
14.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24948&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
15.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29390&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
16.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42944&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
17.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30335&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
18.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26461&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
19.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40250&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
20.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1830&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
21.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62480&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
22.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49131&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
23.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45735&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
24.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41430&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
25.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35248&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
26.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
27.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
28.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
29.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
30.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
31.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
32.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
33.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
34.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
35.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
<br>
As user "tw" which owes the 'tw' nodes, I run:<br>
<br>
&nbsp;&nbsp;&nbsp; qsub -I -q tw -l nodes=6:ppn=64<br>
<br>
And preeption works as expected:<br>
<br>
1.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24904&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
2.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29346&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
3.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42900&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
4.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30291&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
5.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26417&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
6.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40206&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
7.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1786&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
8.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62436&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:01<br>
9.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
10.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45691&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
11.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41386&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
12.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35204&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
13.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51043&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
14.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24948&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
15.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29390&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:02<br>
16.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42944&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
17.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30335&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
18.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26461&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
19.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40250&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
20.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1830&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
21.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62480&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
22.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49131&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
23.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45735&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
24.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41430&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
25.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35248&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
26.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
27.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
28.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
29.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
30.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
31.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
32.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
33.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
34.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
35.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
36.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STDIN&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30505&nbsp;&nbsp;&nbsp;&nbsp; 6
384&nbsp;&nbsp;&nbsp; --&nbsp; 99:00 R&nbsp;&nbsp; -- <br>
<br>
As user 'tw', I exit and run the command:<br>
<br>
qsub -I -q tw -l nodes=6:ppn=62<br>
<br>
Everything works again as expected and Maui also starts 6 new 1-core
jobs ( jobs 21 through 26 ):<br>
<br>
1.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24904&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
2.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29346&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
3.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42900&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
4.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30291&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
5.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26417&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:01<br>
6.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40206&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:02<br>
7.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1786&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 S 00:02<br>
8.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62436&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
9.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
10.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45691&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
11.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41386&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
12.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35204&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
13.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51043&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
14.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24948&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
15.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29390&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
16.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42944&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
17.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30335&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
18.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26461&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
19.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40250&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
20.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1830&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:02<br>
21.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62480&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
22.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49131&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
23.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45735&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
24.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41430&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
25.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35248&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
26.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R 00:03<br>
27.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30749&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>
28.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 44220&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>
29.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 31513&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>
30.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 27736&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>
31.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41429&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>
32.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3130&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>
33.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
34.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
35.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;
--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>
37.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STDIN&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30708&nbsp;&nbsp;&nbsp;&nbsp; 6
372&nbsp;&nbsp;&nbsp; --&nbsp; 99:00 R&nbsp;&nbsp; -- <br>
<br>
However, if I now exit and go back and try to get 6 of the 64-core
nodes (which worked before) I cannot.&nbsp;&nbsp; Maui will not preempt the new
jobs it started.<br>
<br>
My new job 38 below just sits in the queue:<br>
<br>
$ qsub -I -q tw -l nodes=6:ppn=64<br>
qsub: waiting for job 38.hpc.cluster to start<br>
<br>
# diagnose -p&nbsp;&nbsp; <br>
diagnosing job priority information (partition: ALL)<br>
<br>
Job&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PRIORITY*&nbsp;&nbsp; Cred(&nbsp; QOS)&nbsp; Serv(QTime)<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Weights&nbsp;&nbsp; --------&nbsp;&nbsp;&nbsp;&nbsp; 100( 1000)&nbsp;&nbsp;&nbsp;&nbsp; 1(&nbsp;&nbsp;&nbsp; 1)<br>
<br>
38&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 100000109&nbsp;&nbsp; 100.0(1000.)&nbsp;&nbsp; 0.0(109.4)<br>
2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>
3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>
4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>
5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>
6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>
7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>
<br>
Percent Contribution&nbsp;&nbsp; --------&nbsp;&nbsp; 100.0(100.0)&nbsp;&nbsp; 0.0(&nbsp; 0.0)<br>
<br>
[root@mpc-x maui]# checkjob -v 38<br>
<br>
<br>
checking job 38 (RM job '38.hpc.cluster')<br>
<br>
State: Idle<br>
Creds:&nbsp; user:tw&nbsp; group:tw&nbsp; class:tw&nbsp; qos:high<br>
WallTime: 00:00:00 of 4:03:00:00<br>
SubmitTime: Thu Feb 16 08:26:31<br>
&nbsp; (Time Queued&nbsp; Total: 00:01:37&nbsp; Eligible: 00:01:37)<br>
<br>
Total Tasks: 384<br>
<br>
Req[0]&nbsp; TaskCount: 384&nbsp; Partition: ALL<br>
Network: [NONE]&nbsp; Memory &gt;= 0&nbsp; Disk &gt;= 0&nbsp; Swap &gt;= 0<br>
Opsys: [NONE]&nbsp; Arch: [NONE]&nbsp; Features: [tw]<br>
Exec:&nbsp; ''&nbsp; ExecSize: 0&nbsp; ImageSize: 0<br>
Dedicated Resources Per Task: PROCS: 1<br>
NodeAccess: SHARED<br>
TasksPerNode: 64&nbsp; NodeCount: 6<br>
<br>
<br>
IWD: [NONE]&nbsp; Executable:&nbsp; [NONE]<br>
Bypass: 0&nbsp; StartCount: 0<br>
PartitionMask: [ALL]<br>
Flags:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PREEMPTOR<br>
<br>
Reservation '38' (2:23:58:22 -&gt; 7:02:58:22&nbsp; Duration: 4:03:00:00)<br>
PE:&nbsp; 384.00&nbsp; StartPriority:&nbsp; 100000163<br>
job cannot run in partition DEFAULT (idle procs do not meet
requirements : 0 of 384 procs found)<br>
idle procs: 384&nbsp; feasible procs:&nbsp;&nbsp; 0<br>
<br>
Rejection Reasons: [Features&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 7][CPU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 6]<br>
<br>
Detailed Node Availability Information:<br>
<br>
compute-1-1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>
compute-1-2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>
compute-1-3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>
compute-1-4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>
compute-1-5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>
compute-1-6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>
compute-1-7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>
compute-1-8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>
compute-1-9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>
compute-1-10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>
compute-1-11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>
compute-1-12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>
compute-1-13&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>
<br>
-------------------------------------------------------<br>
Here is my PBS nodes file:<br>
<br>
# cat /opt/torque/server_priv/nodes <br>
compute-1-1 np=64 sf free<br>
compute-1-2 np=64 sf free<br>
compute-1-3 np=64 sf free<br>
compute-1-4 np=64 chem free<br>
compute-1-5 np=64 chem free<br>
compute-1-6 np=64 chem free<br>
compute-1-7 np=64 tw free<br>
compute-1-8 np=64 tw free<br>
compute-1-9 np=64 tw free<br>
compute-1-10 np=64 tw free<br>
compute-1-11 np=64 tw free<br>
compute-1-12 np=64 tw free<br>
compute-1-13 np=64 bio free<br>
<br>
------------------------------------<br>
<br>
</font></font><br>
Edsall, William (WJ) wrote:
<blockquote
 cite="mid:52CD990A674498429E6A7B4FCAE3F7D308332EC3@USMDLMDOWX025.dow.com"
 type="cite">
  <meta http-equiv="Content-Type" content="text/html; ">
  <meta name="Generator" content="Microsoft Word 12 (filtered medium)">
  <style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";
        color:black;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
  <div class="WordSection1">
  <p class="MsoNormal"><span
 style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;; color: rgb(31, 73, 125);">Hi,<o:p></o:p></span></p>
  <p class="MsoNormal"><span
 style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;; color: rgb(31, 73, 125);">
What does diagnose &#8211;p say about the priority of the jobs you expect to
be preempted? Priority may take precedence over preemptability. <o:p></o:p></span></p>
  <p class="MsoNormal"><span
 style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;; color: rgb(31, 73, 125);"><o:p>&nbsp;</o:p></span></p>
  <div>
  <div
 style="border-style: solid none none; border-color: rgb(181, 196, 223) -moz-use-text-color -moz-use-text-color; border-width: 1pt medium medium; padding: 3pt 0in 0in;">
  <p class="MsoNormal"><b><span
 style="font-size: 10pt; font-family: &quot;Tahoma&quot;,&quot;sans-serif&quot;; color: windowtext;">From:</span></b><span
 style="font-size: 10pt; font-family: &quot;Tahoma&quot;,&quot;sans-serif&quot;; color: windowtext;">
<a class="moz-txt-link-abbreviated" href="mailto:mauiusers-bounces@supercluster.org">mauiusers-bounces@supercluster.org</a>
[<a class="moz-txt-link-freetext" href="mailto:mauiusers-bounces@supercluster.org">mailto:mauiusers-bounces@supercluster.org</a>] <b>On Behalf Of </b>Joseph
Farran<br>
  <b>Sent:</b> Monday, February 13, 2012 3:19 PM<br>
  <b>To:</b> <a class="moz-txt-link-abbreviated" href="mailto:mauiusers@supercluster.org">mauiusers@supercluster.org</a><br>
  <b>Subject:</b> [Mauiusers] Backfill Jobs prevent PREEMPTOR jobs from
running?<o:p></o:p></span></p>
  </div>
  </div>
  <p class="MsoNormal" style="margin-bottom: 12pt;"><o:p>&nbsp;</o:p><span
 style="font-size: 13.5pt;"><br>
  </span><o:p></o:p></p>
  </div>
</blockquote>
</body>
</html>