You can use mpiexec to start your tasks and use the -pernode option.
<br><br>Clifton Kirby wrote:
<blockquote cite="mid004f01c5ba16$10b98e10$18232d0a@Laptop" type="cite">
  <pre>The user is running parallel code but his single process requires more<br>memory than two processes can address per node. (Make sense?)  I do not want<br>to make them exclusive permanently just for the duration of the job.
<br><br>I want to keep the node definition in the $PBS_HOME/server_priv/nodes file<br>as follows,<br>node01 np=2<br>node02 np=2<br>node03 np=2<br>node04 np=2<br>node05 np=2<br>node06 np=2<br><br>When the user submits a job as &quot;qsub -I -l nodes=3:ppn=1&quot; his job will run
<br>as expected with 3 nodes allocated using 1 process per node and the job runs<br>fine.  When he submits the same job again when the first job is still<br>running PBS will see that the node still has one processor left and will
<br>dump the job on the same set of nodes and there will not be enough memory<br>for both jobs to run.  I would like to see the second job go onto a whole<br>set of new nodes.<br><br>The qstat -n command will show,<br><br>
Job ID          Username Queue    Jobname    SessID NDS TSK Memory Time  S<br>Time<br>--------------- -------- -------- ---------- ------ --- --- ------ ----- - -<br>----<br><a href="http://28451.mach5c.ma">28451.mach5c.ma
</a> joe          long     job1          --  3  --    --  10000 R 00:10<br>   node01/0+node02/0+node03/0<br><br><a href="http://28452.mach5c.ma">28452.mach5c.ma</a> joe          long     job2          --  3  --    --  10000 R 00:03<br>
   node01/1+node02/1+node03/1<br><br>- Cliff<br><br>-----Original Message-----<br>From: Piotr Siwczak [mailto:<a href="mailto:psiwczak@man.poznan.pl">psiwczak@man.poznan.pl</a>]<br>Sent: Thursday, September 15, 2005 8:29 AM
<br>To: Clifton Kirby<br>Cc: Torqueusers (E-mail)<br>Subject: Re: [torqueusers] Exclusive Nodes<br><br><br>You could probably define the node as np=1 in pbs_server's config file<br>called &quot;nodes&quot;.<br><br>This would allow only one job to run at a time. Anyway I don't know if I
<br>get it right: do You want to assign jobs exclusively only to a given job,<br>or to make them &quot;exclusive&quot; permanently (only one job at a time regardles<br>of the user running it).<br><br>Cheers,<br>Piotr<br><br>
<br>  --<br>  Piotr Siwczak &lt;<a href="mailto:psiwczak@man.poznan.pl">psiwczak@man.poznan.pl</a>&gt;<br>  System Administrator<br><br>  Poznan Supercomputing and Networking Center<br>  Supercomputing Department<br><br>  (
<a href="http://www.eu-egee.org">www.eu-egee.org</a> &lt;<a href="mailto:piotr.siwczak@cern.ch">piotr.siwczak@cern.ch</a>&gt;)<br>  --<br><br>On Thu, 15 Sep 2005, Clifton Kirby wrote:<br><br></pre>
  <blockquote type="cite"><pre>On page 4 of the PBS administrators guide there is mention of &quot;Exclusive<br>Nodes&quot;.  How would you define them in the server nodes file?<br>I have a situation where my user only wants one CPU from a dual CPU system
<br>but wants exclusive access to the system to avoid a second job running on<br>the system since one CPU is still available from PBS.  The PBS directive<br></pre></blockquote>
  <pre>is<br></pre>
  <blockquote type="cite"><pre>&quot;nodes=2:ppn=1&quot; and he does not want two processes on the machine as in<br>&quot;nodes=2:ppn=2&quot;.  Is there a mechanism for qsub or a PBS directive to<br></pre></blockquote>
  <pre>allow<br></pre>
  <blockquote type="cite"><pre>for what he is doing or can I simply define the nodes as &quot;Exclusive&quot;?<br><br>Thanks!<br><br>_______________________________________________<br>torqueusers mailing list<br><a href="mailto:torqueusers@supercluster.org">
torqueusers@supercluster.org</a><br><a href="http://www.supercluster.org/mailman/listinfo/torqueusers">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br><br></pre></blockquote>
  <pre><br><br>--<br>No virus found in this incoming message.<br>Checked by AVG Anti-Virus.<br>Version: 7.0.344 / Virus Database: 267.11.0/103 - Release Date: 9/15/2005<br><br><br>_______________________________________________
<br>torqueusers mailing list<br><a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br><a href="http://www.supercluster.org/mailman/listinfo/torqueusers">http://www.supercluster.org/mailman/listinfo/torqueusers
</a></pre>
</blockquote>