Well I am using torque+maui but even so i cant get the maui to assign the nodes correctly; a job just runs on all nodes not just the ones i want ...<br><br><div class="gmail_quote">On Wed, Nov 30, 2011 at 2:01 PM, Lloyd Brown <span dir="ltr">&lt;<a href="mailto:lloyd_brown@byu.edu">lloyd_brown@byu.edu</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Not so much the wrong mailing list, but the wrong product.  In the end<br>
Torque is really about resource management, launching jobs, etc., but<br>
not the decision making.  They happen to include a very basic scheduler<br>
(&quot;pbs_sched&quot;), but it&#39;s very, very basic.  If you want anything more,<br>
you&#39;re going to have to look at Moab or Maui, to use with Torque.  Or<br>
there are other scheduling systems out there as well, that don&#39;t use Torque.<br>
<br>
For such a small/simple cluster, I&#39;d recommend Torque with Maui, but<br>
you&#39;ll have to do some investigation.<br>
<div class="im"><br>
<br>
Lloyd Brown<br>
Systems Administrator<br>
Fulton Supercomputing Lab<br>
Brigham Young University<br>
<a href="http://marylou.byu.edu" target="_blank">http://marylou.byu.edu</a><br>
<br>
<br>
<br>
</div><div class="im">On 11/30/2011 12:56 PM, Ricardo Román Brenes wrote:<br>
&gt; so wrong mailing list huh?<br>
&gt;<br>
&gt; sorry to bother<br>
&gt;<br>
&gt; thanks for your time<br>
&gt;<br>
&gt; On Wed, Nov 30, 2011 at 1:52 PM, Lloyd Brown &lt;<a href="mailto:lloyd_brown@byu.edu">lloyd_brown@byu.edu</a><br>
</div><div><div class="h5">&gt; &lt;mailto:<a href="mailto:lloyd_brown@byu.edu">lloyd_brown@byu.edu</a>&gt;&gt; wrote:<br>
&gt;<br>
&gt;     Ricardo,<br>
&gt;<br>
&gt;     Have you seen section 4.1.4 (&quot;Mapping a Queue to a Subset of Resources&quot;)<br>
&gt;     in the Torque documentation?  It might give you some ideas.  However,<br>
&gt;     the short answer to your question, as seen in that section is this:<br>
&gt;<br>
&gt;     &gt; TORQUE does not currently provide a simple mechanism for mapping<br>
&gt;     queues to nodes. However, schedulers such as Moab and Maui can<br>
&gt;     provide this functionality.<br>
&gt;<br>
&gt;<br>
&gt;     Lloyd Brown<br>
&gt;     Systems Administrator<br>
&gt;     Fulton Supercomputing Lab<br>
&gt;     Brigham Young University<br>
&gt;     <a href="http://marylou.byu.edu" target="_blank">http://marylou.byu.edu</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;     On 11/30/2011 12:37 PM, Ricardo Román Brenes wrote:<br>
&gt;     &gt; Hello everyone thanks for the time of reading and the long post :P<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt; The question is about multiple queues with Torque:<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt; We have here different clusternodes with difrente architectures:<br>
&gt;     &gt; 4 PS-3<br>
&gt;     &gt; 3 CPU+GPU<br>
&gt;     &gt; 2 CPU<br>
&gt;     &gt;<br>
&gt;     &gt; and i want to be able to send jobs to each of hte nodes independly<br>
&gt;     &gt; (using torque). Im guessing that having several queues and that each<br>
&gt;     &gt; node belonging to a queue in particular and then submittint jobs<br>
&gt;     to that<br>
&gt;     &gt; queue will do the trick:<br>
&gt;     &gt;<br>
&gt;     &gt; say i got 4 queues<br>
&gt;     &gt; IBMCELL with the 4 PS-3<br>
&gt;     &gt; TESLA with the 3 nodes that have GPUs<br>
&gt;     &gt; XEON with te 5 nodes that have Xeons (which in turn 3 of them have<br>
&gt;     &gt; teslas :P)<br>
&gt;     &gt;<br>
&gt;     &gt; and when i submit a job:<br>
&gt;     &gt; qsub -q IBMCELL a.pbs<br>
&gt;     &gt; should run on the PS-3 only, but im not being able to make it work<br>
&gt;     like<br>
&gt;     &gt; that.<br>
&gt;     &gt;<br>
&gt;     &gt; As a test i made 2 queues in the PS3 pbs_server (&quot;uno&quot; and &quot;dos&quot;):<br>
&gt;     &gt;<br>
&gt;     &gt;     #<br>
&gt;     &gt;     # Create queues and set their attributes.<br>
&gt;     &gt;     #<br>
&gt;     &gt;     #<br>
&gt;     &gt;     # Create and define queue uno<br>
&gt;     &gt;     #<br>
&gt;     &gt;     *create queue uno<br>
&gt;     &gt;     **set queue uno queue_type = Execution<br>
&gt;     &gt;     **set queue uno acl_host_enable = False<br>
&gt;     &gt;     **set queue uno acl_hosts = zarate-0+zarate-1<br>
&gt;     &gt;     **set queue uno enabled = True<br>
&gt;     &gt;     **set queue uno started = True<br>
&gt;     &gt;     *#<br>
&gt;     &gt;     # Create and define queue dos<br>
&gt;     &gt;     #<br>
&gt;     &gt;     *create queue dos<br>
&gt;     &gt;     **set queue dos queue_type = Execution<br>
&gt;     &gt;     **set queue dos acl_host_enable = **False**<br>
&gt;     &gt;     **set queue dos acl_hosts = zarate-2+zarate-3<br>
&gt;     &gt;     **set queue dos enabled = True<br>
&gt;     &gt;     **set queue dos started = True<br>
&gt;     &gt;     *#<br>
&gt;     &gt;     # Set server attributes.<br>
&gt;     &gt;     #<br>
&gt;     &gt;     set server scheduling = True<br>
&gt;     &gt;     set server acl_hosts = zarate-0<br>
&gt;     &gt;     set server log_events = 511<br>
&gt;     &gt;     set server mail_from = adm<br>
&gt;     &gt;     set server scheduler_iteration = 600<br>
&gt;     &gt;     set server node_check_rate = 150<br>
&gt;     &gt;     set server tcp_timeout = 6<br>
&gt;     &gt;     set server next_job_number = 22<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt; and i changed the _nodes_ file in the server_priv directory so it is<br>
&gt;     &gt; like this (zarate are just the hostname :P):<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt;     zarate-0 np=2 uno<br>
&gt;     &gt;     zarate-1 np=2 uno<br>
&gt;     &gt;     zarate-2 np=2 dos<br>
&gt;     &gt;     zarate-3 np=2 dos<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt; but its not working... when i launch a job:<br>
&gt;     &gt;<br>
&gt;     &gt;     #PBS -N mpi_hello<br>
&gt;     &gt;     /usr/local/bin/mpiexec -n 8 /home/rroman/a.out<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt; with teh command:<br>
&gt;     &gt;<br>
&gt;     &gt; #PBS -N mpi_hello<br>
&gt;     &gt;<br>
&gt;     &gt;     /usr/local/bin/mpiexec -n 8 /home/rroman/a.out<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt; the output file is:<br>
&gt;     &gt;<br>
&gt;     &gt;     zarate-1: hello world from process 2 of 8<br>
&gt;     &gt;     zarate-2: hello world from process 5 of 8<br>
&gt;     &gt;     zarate-2: hello world from process 6 of 8<br>
&gt;     &gt;     zarate-3: hello world from process 0 of 8<br>
&gt;     &gt;     zarate-3: hello world from process 7 of 8<br>
&gt;     &gt;     zarate-1: hello world from process 3 of 8<br>
&gt;     &gt;     zarate-0: hello world from process 4 of 8<br>
&gt;     &gt;     zarate-3: hello world from process 1 of 8<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt; And there it shows that the job is running in ALL the nodes instead of<br>
&gt;     &gt; running only in zarate-0 and zarate-1 as the queue said (according<br>
&gt;     to me :P)<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt; SO! the question is: is it possible to do waht i want like this?<br>
&gt;     and if<br>
&gt;     &gt; so, what am i doing wrong! :P<br>
&gt;     &gt;<br>
&gt;     &gt; Thank you Kay!<br>
&gt;     &gt;<br>
&gt;     &gt; -ricardo<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt;<br>
&gt;     &gt; _______________________________________________<br>
&gt;     &gt; torqueusers mailing list<br>
</div></div>&gt;     &gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
<div class="im">&gt;     &gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;     _______________________________________________<br>
&gt;     torqueusers mailing list<br>
</div>&gt;     <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a> &lt;mailto:<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a>&gt;<br>
<div class="HOEnZb"><div class="h5">&gt;     <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; torqueusers mailing list<br>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</div></div></blockquote></div><br>