<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:p="urn:schemas-microsoft-com:office:powerpoint" xmlns:a="urn:schemas-microsoft-com:office:access" xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882" xmlns:s="uuid:BDC6E3F0-6DA3-11d1-A2A3-00AA00C14882" xmlns:rs="urn:schemas-microsoft-com:rowset" xmlns:z="#RowsetSchema" xmlns:b="urn:schemas-microsoft-com:office:publisher" xmlns:ss="urn:schemas-microsoft-com:office:spreadsheet" xmlns:c="urn:schemas-microsoft-com:office:component:spreadsheet" xmlns:odc="urn:schemas-microsoft-com:office:odc" xmlns:oa="urn:schemas-microsoft-com:office:activation" xmlns:html="http://www.w3.org/TR/REC-html40" xmlns:q="http://schemas.xmlsoap.org/soap/envelope/" xmlns:rtc="http://microsoft.com/officenet/conferencing" xmlns:D="DAV:" xmlns:Repl="http://schemas.microsoft.com/repl/" xmlns:mt="http://schemas.microsoft.com/sharepoint/soap/meetings/" xmlns:x2="http://schemas.microsoft.com/office/excel/2003/xml" xmlns:ppda="http://www.passport.com/NameSpace.xsd" xmlns:ois="http://schemas.microsoft.com/sharepoint/soap/ois/" xmlns:dir="http://schemas.microsoft.com/sharepoint/soap/directory/" xmlns:ds="http://www.w3.org/2000/09/xmldsig#" xmlns:dsp="http://schemas.microsoft.com/sharepoint/dsp" xmlns:udc="http://schemas.microsoft.com/data/udc" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:sub="http://schemas.microsoft.com/sharepoint/soap/2002/1/alerts/" xmlns:ec="http://www.w3.org/2001/04/xmlenc#" xmlns:sp="http://schemas.microsoft.com/sharepoint/" xmlns:sps="http://schemas.microsoft.com/sharepoint/soap/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:udcs="http://schemas.microsoft.com/data/udc/soap" xmlns:udcxf="http://schemas.microsoft.com/data/udc/xmlfile" xmlns:udcp2p="http://schemas.microsoft.com/data/udc/parttopart" xmlns:wf="http://schemas.microsoft.com/sharepoint/soap/workflow/" xmlns:dsss="http://schemas.microsoft.com/office/2006/digsig-setup" xmlns:dssi="http://schemas.microsoft.com/office/2006/digsig" xmlns:mdssi="http://schemas.openxmlformats.org/package/2006/digital-signature" xmlns:mver="http://schemas.openxmlformats.org/markup-compatibility/2006" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns:mrels="http://schemas.openxmlformats.org/package/2006/relationships" xmlns:spwp="http://microsoft.com/sharepoint/webpartpages" xmlns:ex12t="http://schemas.microsoft.com/exchange/services/2006/types" xmlns:ex12m="http://schemas.microsoft.com/exchange/services/2006/messages" xmlns:pptsl="http://schemas.microsoft.com/sharepoint/soap/SlideLibrary/" xmlns:spsl="http://microsoft.com/webservices/SharePointPortalServer/PublishedLinksService" xmlns:Z="urn:schemas-microsoft-com:" xmlns:st="&#1;" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";
        color:black;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body bgcolor=white lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Hello,<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Diagnose &#8211;p was truncated. I was hoping to see that 33-35 (Queued) did not have a large QTime which may be increasing their priority higher than your job 38. That could cause them to make job 38 wait even though they are not running. Sounds doubtful in your scenario but I&#8217;ve seen it cause issues before.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>If you delete the Q state jobs 33-35, does your 38 start?<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>We use the same preemption concept you&#8217;re trying to achieve but I&#8217;m having a hard time narrowing down the cause for your error. A few small differences with our configuration is the backfill policy and reservation policy. You might try these settings and then restart maui:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>BACKFILLPOLICY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; BESTFIT<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>RESERVATIONPOLICY&nbsp;&nbsp;&nbsp;&nbsp; CURRENTHIGHEST<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><div><div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in'><p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif";color:windowtext'>From:</span></b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif";color:windowtext'> Joseph Farran [mailto:jfarran@uci.edu] <br><b>Sent:</b> Thursday, February 16, 2012 11:48 AM<br><b>To:</b> Edsall, William (WJ); mauiusers@supercluster.org<br><b>Subject:</b> Re: [Mauiusers] Backfill Jobs prevent PREEMPTOR jobs from running?<o:p></o:p></span></p></div></div><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal><span style='font-size:13.5pt'>Hi Edsall.<br><br>Thank you for responding.&nbsp;&nbsp;&nbsp; I have a few more nodes now, but the same configuration.&nbsp;&nbsp;&nbsp; I am including the diagnose -p with other details:<br><br>We have 13 64-core nodes.&nbsp; All nodes have the 'free' feature and a queue named 'free' as PREEMPTEE so that we can harvest idle cycles when the nodes are not in use by their owners.<br><br>As user &quot;juser&quot;, I load up the 'free' queue (PREEMTEE) as follows:<br><br>1.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24904&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>2.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29346&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>3.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42900&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>4.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30291&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>5.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26417&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>6.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40206&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>7.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1786&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>8.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62436&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>9.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>10.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45691&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>11.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41386&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>12.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35204&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>13.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51043&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>14.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24948&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>15.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29390&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>16.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42944&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>17.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30335&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>18.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26461&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>19.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40250&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>20.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1830&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>21.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62480&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>22.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49131&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>23.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45735&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>24.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41430&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>25.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35248&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>26.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>27.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>28.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>29.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>30.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>31.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>32.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>33.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>34.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>35.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br><br>As user &quot;tw&quot; which owes the 'tw' nodes, I run:<br><br>&nbsp;&nbsp;&nbsp; qsub -I -q tw -l nodes=6:ppn=64<br><br>And preeption works as expected:<br><br>1.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24904&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>2.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29346&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>3.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42900&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>4.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30291&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>5.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26417&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>6.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40206&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>7.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1786&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>8.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62436&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:01<br>9.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>10.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45691&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>11.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41386&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>12.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35204&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>13.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51043&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>14.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24948&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>15.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29390&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:02<br>16.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42944&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>17.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30335&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>18.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26461&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>19.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40250&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>20.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1830&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>21.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62480&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>22.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49131&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>23.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45735&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>24.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41430&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>25.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35248&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>26.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>27.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>28.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>29.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>30.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>31.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>32.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>33.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>34.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>35.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>36.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STDIN&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30505&nbsp;&nbsp;&nbsp;&nbsp; 6 384&nbsp;&nbsp;&nbsp; --&nbsp; 99:00 R&nbsp;&nbsp; -- <br><br>As user 'tw', I exit and run the command:<br><br>qsub -I -q tw -l nodes=6:ppn=62<br><br>Everything works again as expected and Maui also starts 6 new 1-core jobs ( jobs 21 through 26 ):<br><br>1.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24904&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>2.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29346&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>3.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42900&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>4.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30291&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>5.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26417&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:01<br>6.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40206&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:02<br>7.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1786&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 S 00:02<br>8.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62436&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>9.hpc.cluster.&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>10.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45691&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>11.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41386&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>12.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35204&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>13.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51043&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>14.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 24948&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>15.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29390&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>16.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42944&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>17.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30335&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>18.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 26461&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>19.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 40250&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>20.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1830&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:02<br>21.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 62480&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>22.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49131&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>23.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45735&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>24.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41430&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>25.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35248&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>26.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 51087&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R 00:03<br>27.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30749&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R&nbsp;&nbsp; -- <br>28.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 44220&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R&nbsp;&nbsp; -- <br>29.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 31513&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R&nbsp;&nbsp; -- <br>30.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 27736&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R&nbsp;&nbsp; -- <br>31.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41429&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R&nbsp;&nbsp; -- <br>32.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3130&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 R&nbsp;&nbsp; -- <br>33.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>34.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>35.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; juser&nbsp; free&nbsp;&nbsp;&nbsp;&nbsp; test&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; --&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp; --&nbsp; 72:00 Q&nbsp;&nbsp; -- <br>37.hpc.cluster&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tw&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; STDIN&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 30708&nbsp;&nbsp;&nbsp;&nbsp; 6 372&nbsp;&nbsp;&nbsp; --&nbsp; 99:00 R&nbsp;&nbsp; -- <br><br>However, if I now exit and go back and try to get 6 of the 64-core nodes (which worked before) I cannot.&nbsp;&nbsp; Maui will not preempt the new jobs it started.<br><br>My new job 38 below just sits in the queue:<br><br>$ qsub -I -q tw -l nodes=6:ppn=64<br>qsub: waiting for job 38.hpc.cluster to start<br><br># diagnose -p&nbsp;&nbsp; <br>diagnosing job priority information (partition: ALL)<br><br>Job&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PRIORITY*&nbsp;&nbsp; Cred(&nbsp; QOS)&nbsp; Serv(QTime)<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Weights&nbsp;&nbsp; --------&nbsp;&nbsp;&nbsp;&nbsp; 100( 1000)&nbsp;&nbsp;&nbsp;&nbsp; 1(&nbsp;&nbsp;&nbsp; 1)<br><br>38&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 100000109&nbsp;&nbsp; 100.0(1000.)&nbsp;&nbsp; 0.0(109.4)<br>2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br>7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp;&nbsp;&nbsp;&nbsp; 0.0(&nbsp; 0.0) 100.0(&nbsp; 5.3)<br><br>Percent Contribution&nbsp;&nbsp; --------&nbsp;&nbsp; 100.0(100.0)&nbsp;&nbsp; 0.0(&nbsp; 0.0)<br><br>[root@mpc-x maui]# checkjob -v 38<br><br><br>checking job 38 (RM job '38.hpc.cluster')<br><br>State: Idle<br>Creds:&nbsp; user:tw&nbsp; group:tw&nbsp; class:tw&nbsp; qos:high<br>WallTime: 00:00:00 of 4:03:00:00<br>SubmitTime: Thu Feb 16 08:26:31<br>&nbsp; (Time Queued&nbsp; Total: 00:01:37&nbsp; Eligible: 00:01:37)<br><br>Total Tasks: 384<br><br>Req[0]&nbsp; TaskCount: 384&nbsp; Partition: ALL<br>Network: [NONE]&nbsp; Memory &gt;= 0&nbsp; Disk &gt;= 0&nbsp; Swap &gt;= 0<br>Opsys: [NONE]&nbsp; Arch: [NONE]&nbsp; Features: [tw]<br>Exec:&nbsp; ''&nbsp; ExecSize: 0&nbsp; ImageSize: 0<br>Dedicated Resources Per Task: PROCS: 1<br>NodeAccess: SHARED<br>TasksPerNode: 64&nbsp; NodeCount: 6<br><br><br>IWD: [NONE]&nbsp; Executable:&nbsp; [NONE]<br>Bypass: 0&nbsp; StartCount: 0<br>PartitionMask: [ALL]<br>Flags:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PREEMPTOR<br><br>Reservation '38' (2:23:58:22 -&gt; 7:02:58:22&nbsp; Duration: 4:03:00:00)<br>PE:&nbsp; 384.00&nbsp; StartPriority:&nbsp; 100000163<br>job cannot run in partition DEFAULT (idle procs do not meet requirements : 0 of 384 procs found)<br>idle procs: 384&nbsp; feasible procs:&nbsp;&nbsp; 0<br><br>Rejection Reasons: [Features&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 7][CPU&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; :&nbsp;&nbsp;&nbsp; 6]<br><br>Detailed Node Availability Information:<br><br>compute-1-1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>compute-1-2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>compute-1-3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>compute-1-4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>compute-1-5&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>compute-1-6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br>compute-1-7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>compute-1-8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>compute-1-9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>compute-1-10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>compute-1-11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>compute-1-12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : CPU<br>compute-1-13&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rejected : Features<br><br>-------------------------------------------------------<br>Here is my PBS nodes file:<br><br># cat /opt/torque/server_priv/nodes <br>compute-1-1 np=64 sf free<br>compute-1-2 np=64 sf free<br>compute-1-3 np=64 sf free<br>compute-1-4 np=64 chem free<br>compute-1-5 np=64 chem free<br>compute-1-6 np=64 chem free<br>compute-1-7 np=64 tw free<br>compute-1-8 np=64 tw free<br>compute-1-9 np=64 tw free<br>compute-1-10 np=64 tw free<br>compute-1-11 np=64 tw free<br>compute-1-12 np=64 tw free<br>compute-1-13 np=64 bio free<br><br>------------------------------------<br><br></span><br>Edsall, William (WJ) wrote: <o:p></o:p></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Hi,</span><o:p></o:p></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>What does diagnose &#8211;p say about the priority of the jobs you expect to be preempted? Priority may take precedence over preemptability. </span><o:p></o:p></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>&nbsp;</span><o:p></o:p></p><div><div style='border:none;border-top:solid windowtext 1.0pt;padding:3.0pt 0in 0in 0in;border-color:-moz-use-text-color -moz-use-text-color'><p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif";color:windowtext'>From:</span></b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif";color:windowtext'> <a href="mailto:mauiusers-bounces@supercluster.org">mauiusers-bounces@supercluster.org</a> [<a href="mailto:mauiusers-bounces@supercluster.org">mailto:mauiusers-bounces@supercluster.org</a>] <b>On Behalf Of </b>Joseph Farran<br><b>Sent:</b> Monday, February 13, 2012 3:19 PM<br><b>To:</b> <a href="mailto:mauiusers@supercluster.org">mauiusers@supercluster.org</a><br><b>Subject:</b> [Mauiusers] Backfill Jobs prevent PREEMPTOR jobs from running?</span><o:p></o:p></p></div></div><p class=MsoNormal style='margin-bottom:12.0pt'>&nbsp;<span style='font-size:13.5pt'><br><br></span><o:p></o:p></p></div></body></html>