<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">

<html>

<head>

  <meta content="text/html;charset=ISO-8859-1" http-equiv="Content-Type">

</head>

<body bgcolor="#ffffff" text="#000000">

<font size="+1"><font face="Times New Roman, Times, serif">Hi Edsall.<br>

<br>

Thank you for responding.&nbsp;&nbsp;&nbsp; I have a few more nodes now, but the same

configuration.&nbsp;&nbsp;&nbsp; I am including the diagnose -p with other details:<br>

<br>

We have 13 64-core nodes.&nbsp; All nodes have the 'free' feature and a

queue named 'free' as PREEMPTEE so that we can harvest idle cycles when

the nodes are not in use by their owners.<br>

<br>

As user "juser", I load up the 'free' queue (PREEMTEE) as follows:<br>

<br>

1.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24904&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

2.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29346&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

3.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42900&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

4.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30291&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

5.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26417&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

6.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40206&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

7.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1786&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

8.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62436&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

9.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

10.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45691&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

11.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41386&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

12.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35204&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

13.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51043&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

14.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24948&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

15.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29390&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

16.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42944&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

17.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30335&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

18.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26461&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

19.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40250&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

20.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1830&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

21.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62480&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

22.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49131&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

23.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45735&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

24.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41430&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

25.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35248&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

26.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

27.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

28.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

29.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

30.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

31.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

32.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

33.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

34.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

35.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

<br>

As user "tw" which owes the 'tw' nodes, I run:<br>

<br>

&nbsp;&nbsp;&nbsp; qsub -I -q tw -l nodes=6:ppn=64<br>

<br>

And preeption works as expected:<br>

<br>

1.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24904&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

2.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29346&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

3.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42900&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

4.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30291&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

5.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26417&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

6.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40206&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

7.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1786&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

8.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62436&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:01<br>

9.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

10.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45691&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

11.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41386&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

12.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35204&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

13.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51043&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

14.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24948&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

15.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29390&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:02<br>

16.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42944&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

17.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30335&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

18.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26461&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

19.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40250&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

20.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1830&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

21.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62480&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

22.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49131&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

23.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45735&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

24.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41430&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

25.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35248&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

26.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

27.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

28.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

29.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

30.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

31.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

32.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

33.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

34.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

35.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

36.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STDIN&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30505&nbsp;&nbsp;&nbsp;&nbsp; 6

384&nbsp;&nbsp;&nbsp; --&nbsp; 99:00 R&nbsp;&nbsp; -- <br>

<br>

As user 'tw', I exit and run the command:<br>

<br>

qsub -I -q tw -l nodes=6:ppn=62<br>

<br>

Everything works again as expected and Maui also starts 6 new 1-core

jobs ( jobs 21 through 26 ):<br>

<br>

1.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24904&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

2.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29346&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

3.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42900&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

4.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30291&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

5.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26417&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:01<br>

6.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40206&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:02<br>

7.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1786&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 S 00:02<br>

8.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62436&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

9.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

10.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45691&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

11.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41386&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

12.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35204&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

13.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51043&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

14.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24948&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

15.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29390&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

16.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42944&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

17.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30335&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

18.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26461&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

19.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40250&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

20.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1830&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:02<br>

21.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62480&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

22.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49131&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

23.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45735&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

24.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41430&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

25.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35248&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

26.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R 00:03<br>

27.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30749&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>

28.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 44220&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>

29.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 31513&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>

30.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 27736&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>

31.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41429&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>

32.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3130&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 R&nbsp;&nbsp; -- <br>

33.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

34.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

35.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;

--&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>

37.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STDIN&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30708&nbsp;&nbsp;&nbsp;&nbsp; 6

372&nbsp;&nbsp;&nbsp; --&nbsp; 99:00 R&nbsp;&nbsp; -- <br>

<br>

However, if I now exit and go back and try to get 6 of the 64-core

nodes (which worked before) I cannot.&nbsp;&nbsp; Maui will not preempt the new

jobs it started.<br>

<br>

My new job 38 below just sits in the queue:<br>

<br>

$ qsub -I -q tw -l nodes=6:ppn=64<br>

qsub: waiting for job 38.hpc.cluster to start<br>

<br>

# diagnose -p&nbsp;&nbsp; <br>

diagnosing job priority information (partition: ALL)<br>

<br>

Job&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PRIORITY*&nbsp;&nbsp; Cred(&nbsp; QOS)&nbsp; Serv(QTime)<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Weights&nbsp;&nbsp; --------&nbsp;&nbsp;&nbsp;&nbsp; 100( 1000)&nbsp;&nbsp;&nbsp;&nbsp; 1(&nbsp;&nbsp;&nbsp; 1)<br>

<br>

38&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 100000109&nbsp;&nbsp; 100.0(1000.)&nbsp;&nbsp; 0.0(109.4)<br>

2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>

3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>

4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>

5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>

6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>

7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>

<br>

Percent Contribution&nbsp;&nbsp; --------&nbsp;&nbsp; 100.0(100.0)&nbsp;&nbsp; 0.0(&nbsp; 0.0)<br>

<br>

[root@mpc-x maui]# checkjob -v 38<br>

<br>

<br>

checking job 38 (RM job '38.hpc.cluster')<br>

<br>

State: Idle<br>

Creds:&nbsp; user:tw&nbsp; group:tw&nbsp; class:tw&nbsp; qos:high<br>

WallTime: 00:00:00 of 4:03:00:00<br>

SubmitTime: Thu Feb 16 08:26:31<br>

&nbsp; (Time Queued&nbsp; Total: 00:01:37&nbsp; Eligible: 00:01:37)<br>

<br>

Total Tasks: 384<br>

<br>

Req[0]&nbsp; TaskCount: 384&nbsp; Partition: ALL<br>

Network: [NONE]&nbsp; Memory &gt;= 0&nbsp; Disk &gt;= 0&nbsp; Swap &gt;= 0<br>

Opsys: [NONE]&nbsp; Arch: [NONE]&nbsp; Features: [tw]<br>

Exec:&nbsp; ''&nbsp; ExecSize: 0&nbsp; ImageSize: 0<br>

Dedicated Resources Per Task: PROCS: 1<br>

NodeAccess: SHARED<br>

TasksPerNode: 64&nbsp; NodeCount: 6<br>

<br>

<br>

IWD: [NONE]&nbsp; Executable:&nbsp; [NONE]<br>

Bypass: 0&nbsp; StartCount: 0<br>

PartitionMask: [ALL]<br>

Flags:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PREEMPTOR<br>

<br>

Reservation '38' (2:23:58:22 -&gt; 7:02:58:22&nbsp; Duration: 4:03:00:00)<br>

PE:&nbsp; 384.00&nbsp; StartPriority:&nbsp; 100000163<br>

job cannot run in partition DEFAULT (idle procs do not meet

requirements : 0 of 384 procs found)<br>

idle procs: 384&nbsp; feasible procs:&nbsp;&nbsp; 0<br>

<br>

Rejection Reasons: [Features&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 7][CPU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 6]<br>

<br>

Detailed Node Availability Information:<br>

<br>

compute-1-1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>

compute-1-2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>

compute-1-3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>

compute-1-4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>

compute-1-5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>

compute-1-6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>

compute-1-7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>

compute-1-8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>

compute-1-9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>

compute-1-10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>

compute-1-11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>

compute-1-12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>

compute-1-13&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>

<br>

-------------------------------------------------------<br>

Here is my PBS nodes file:<br>

<br>

# cat /opt/torque/server_priv/nodes <br>

compute-1-1 np=64 sf free<br>

compute-1-2 np=64 sf free<br>

compute-1-3 np=64 sf free<br>

compute-1-4 np=64 chem free<br>

compute-1-5 np=64 chem free<br>

compute-1-6 np=64 chem free<br>

compute-1-7 np=64 tw free<br>

compute-1-8 np=64 tw free<br>

compute-1-9 np=64 tw free<br>

compute-1-10 np=64 tw free<br>

compute-1-11 np=64 tw free<br>

compute-1-12 np=64 tw free<br>

compute-1-13 np=64 bio free<br>

<br>

------------------------------------<br>

<br>

</font></font><br>

Edsall, William (WJ) wrote:

<blockquote

 cite="mid:52CD990A674498429E6A7B4FCAE3F7D308332EC3@USMDLMDOWX025.dow.com"

 type="cite">

  <meta http-equiv="Content-Type" content="text/html; ">

  <meta name="Generator" content="Microsoft Word 12 (filtered medium)">

  <style><!--

/* Font Definitions */

@font-face

        {font-family:"Cambria Math";

        panose-1:2 4 5 3 5 4 6 3 2 4;}

@font-face

        {font-family:Calibri;

        panose-1:2 15 5 2 2 2 4 3 2 4;}

@font-face

        {font-family:Tahoma;

        panose-1:2 11 6 4 3 5 4 4 2 4;}

/* Style Definitions */

p.MsoNormal, li.MsoNormal, div.MsoNormal

        {margin:0in;

        margin-bottom:.0001pt;

        font-size:12.0pt;

        font-family:"Times New Roman","serif";

        color:black;}

a:link, span.MsoHyperlink

        {mso-style-priority:99;

        color:blue;

        text-decoration:underline;}

a:visited, span.MsoHyperlinkFollowed

        {mso-style-priority:99;

        color:purple;

        text-decoration:underline;}

span.EmailStyle17

        {mso-style-type:personal-reply;

        font-family:"Calibri","sans-serif";

        color:#1F497D;}

.MsoChpDefault

        {mso-style-type:export-only;

        font-size:10.0pt;}

@page WordSection1

        {size:8.5in 11.0in;

        margin:1.0in 1.0in 1.0in 1.0in;}

div.WordSection1

        {page:WordSection1;}

--></style><!--[if gte mso 9]><xml>

<o:shapedefaults v:ext="edit" spidmax="1026" />

</xml><![endif]--><!--[if gte mso 9]><xml>

<o:shapelayout v:ext="edit">

<o:idmap v:ext="edit" data="1" />

</o:shapelayout></xml><![endif]-->

  <div class="WordSection1">

  <p class="MsoNormal"><span

 style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;; color: rgb(31, 73, 125);">Hi,<o:p></o:p></span></p>

  <p class="MsoNormal"><span

 style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;; color: rgb(31, 73, 125);">

What does diagnose &#8211;p say about the priority of the jobs you expect to

be preempted? Priority may take precedence over preemptability. <o:p></o:p></span></p>

  <p class="MsoNormal"><span

 style="font-size: 11pt; font-family: &quot;Calibri&quot;,&quot;sans-serif&quot;; color: rgb(31, 73, 125);"><o:p>&nbsp;</o:p></span></p>

  <div>

  <div

 style="border-style: solid none none; border-color: rgb(181, 196, 223) -moz-use-text-color -moz-use-text-color; border-width: 1pt medium medium; padding: 3pt 0in 0in;">

  <p class="MsoNormal"><b><span

 style="font-size: 10pt; font-family: &quot;Tahoma&quot;,&quot;sans-serif&quot;; color: windowtext;">From:</span></b><span

 style="font-size: 10pt; font-family: &quot;Tahoma&quot;,&quot;sans-serif&quot;; color: windowtext;">

<a class="moz-txt-link-abbreviated" href="mailto:mauiusers-bounces@supercluster.org">mauiusers-bounces@supercluster.org</a>

[<a class="moz-txt-link-freetext" href="mailto:mauiusers-bounces@supercluster.org">mailto:mauiusers-bounces@supercluster.org</a>] <b>On Behalf Of </b>Joseph

Farran<br>

  <b>Sent:</b> Monday, February 13, 2012 3:19 PM<br>

  <b>To:</b> <a class="moz-txt-link-abbreviated" href="mailto:mauiusers@supercluster.org">mauiusers@supercluster.org</a><br>

  <b>Subject:</b> [Mauiusers] Backfill Jobs prevent PREEMPTOR jobs from

running?<o:p></o:p></span></p>

  </div>

  </div>

  <p class="MsoNormal" style="margin-bottom: 12pt;"><o:p>&nbsp;</o:p><span

 style="font-size: 13.5pt;"><br>

  </span><o:p></o:p></p>

  </div>

</blockquote>

</body>

</html>