<div dir="ltr"><div>I believe nividia offers values you can set to prevent users from being able to access them. <br><br></div>I know that TORQUE has a feature coming in 4.2.8 to set an environment variable (CUDA_VISIBLE_DEVICES) for gpu jobs. This makes the job only see the gpus with the index that you set. This is coming, but it isn&#39;t available yet.<br>
</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Mar 31, 2014 at 2:42 PM, Lev Givon <span dir="ltr">&lt;<a href="mailto:lev@columbia.edu" target="_blank">lev@columbia.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Received from David Beer on Mon, Mar 31, 2014 at 04:34:25PM EDT:<br>
<div class="">&gt; On Mon, Mar 31, 2014 at 12:47 PM, Lev Givon &lt;<a href="mailto:lev@columbia.edu">lev@columbia.edu</a>&gt; wrote:<br>
&gt;<br>
&gt; &gt; If I configure a compute node (in its server_priv/nodes file) to use X<br>
&gt; &gt; number of GPUs where X &lt; N and N = total number of physical GPUs in the<br>
&gt; &gt; system, are the first X physical GPUs in the system always the ones that are<br>
&gt; &gt; allocated to jobs that require GPUs? In other words, does the above<br>
&gt; &gt; configuration guarantee that torque will never allocate the remaining N-X<br>
&gt; &gt; remaining GPUs to jobs?<br>
&gt; &gt;<br>
&gt; &gt; I&#39;m using torque 4.5.0pre1 on Ubuntu 13.10 with the built-in scheduler.<br>
&gt;<br>
&gt; Let&#39;s say you have 4 gpus but only want 2 to be used for jobs:<br>
&gt;<br>
&gt; 1. Make sure you aren&#39;t allowing it to auto-detect gpus. (This happens when<br>
&gt; you configure the moms to report on each gpu, then -nvidia configure<br>
&gt; options).<br>
&gt; 2. In the nodes file, add gpus=2 to the line with the node.<br>
&gt;<br>
&gt; This doesn&#39;t guarantee that a job is unable to access the other gpus on the<br>
&gt; system, but it guarantees that TORQUE will only tell the scheduler about 2<br>
&gt; gpus, so more than 2 should never be scheduled at a time.<br>
<br>
</div>Is there any way to prevent torque from ever touching a specific GPU (or GPUs)<br>
on a system? The motivation for the question is to set aside those GPUs for<br>
non-torque-related use by potentially more than one simultaneous user and have<br>
torque use the remaining GPUs exclusively for submitted jobs.<br>
<div class="HOEnZb"><div class="h5">--<br>
Lev Givon<br>
Bionet Group<br>
<a href="http://www.columbia.edu/~lev/" target="_blank">http://www.columbia.edu/~lev/</a><br>
<a href="http://lebedov.github.io/" target="_blank">http://lebedov.github.io/</a><br>
<br>
_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br><div>David Beer | Senior Software Engineer</div><div>Adaptive Computing</div>
</div>