<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:Wingdings;
        panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:379086624;
        mso-list-type:hybrid;
        mso-list-template-ids:1974115040 67698705 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l0:level1
        {mso-level-text:"%1\)";
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l1
        {mso-list-id:432478753;
        mso-list-type:hybrid;
        mso-list-template-ids:-929643076 655809118 67698691 67698693 67698689 67698691 67698693 67698689 67698691 67698693;}
@list l1:level1
        {mso-level-start-at:2;
        mso-level-number-format:bullet;
        mso-level-text:-;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        margin-left:21.0pt;
        text-indent:-.25in;
        font-family:"Calibri","sans-serif";
        mso-fareast-font-family:Calibri;
        mso-bidi-font-family:"Times New Roman";}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='font-size:14.0pt'>All,<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>&nbsp; I&#8217;m running Torque 2.5.4 on an homogenous cluster with just Opteron Cpus, and someone <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>wants to add similar machines with two GPU cards in them.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>&nbsp; I am unsure whether this person will want these machines held exclusively for<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>his group&#8217;s use, and whether/how Torque can accommodate this.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>&nbsp; How have others handled the technical end of this?<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>&nbsp; I know that users can easily specify <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&#8211;l nodes=x:ppn=y:gpus=z<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>to get on specifically those nodes, and I can set a property for specific nodes, e.g.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>nogpu so that a job can specify<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -l nodes=x:ppn=y:nogpu<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>so that the job would specifically avoid those nodes (and maybe put that<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>in a job wrapper script.)<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>&nbsp; However, what do you do if the new group wants &#8220;nobody else can run on my nodes&#8221;<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>in an environment where users could specify gpus=z even when they did not need it,<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>or just leave off the nogpu so that they get scheduled on any available nodes.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'> &nbsp;We&#8217;ve never had this, as all the machines were the same, &nbsp;but I may need to implement it,&nbsp; <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>likely be on short notice, so I want to be ahead of the curve.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>&nbsp; Can such a policy be implemented with &nbsp;<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>preferably via <o:p></o:p></span></p><p class=MsoListParagraph style='text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span style='font-size:14.0pt'><span style='mso-list:Ignore'>1)<span style='font:7.0pt "Times New Roman"'>&nbsp;&nbsp;&nbsp; </span></span></span><![endif]><span style='font-size:14.0pt'>pbs_sched&nbsp; or<o:p></o:p></span></p><p class=MsoListParagraph style='text-indent:-.25in;mso-list:l0 level1 lfo1'><![if !supportLists]><span style='font-size:14.0pt'><span style='mso-list:Ignore'>2)<span style='font:7.0pt "Times New Roman"'>&nbsp;&nbsp;&nbsp; </span></span></span><![endif]><span style='font-size:14.0pt'>MAUI ?<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>&nbsp; I can probably hack something together myself, but I&#8217;d guess that others must<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>have crossed this bridge, and I&#8217;d like learn from those with this experience.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'>Thanks,<o:p></o:p></span></p><p class=MsoListParagraph style='margin-left:21.0pt;text-indent:-.25in;mso-list:l1 level1 lfo2'><![if !supportLists]><span style='font-size:14.0pt'><span style='mso-list:Ignore'>-<span style='font:7.0pt "Times New Roman"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </span></span></span><![endif]><span style='font-size:14.0pt'>Jim<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:14.0pt'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal> James Coyle, PhD<o:p></o:p></p><p class=MsoNormal> High Performance Computing Group&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<o:p></o:p></p><p class=MsoNormal>&nbsp;Iowa State Univ.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;<o:p></o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p></div></body></html>