hi!<div><br></div><div>How does your node config file looks like?<br><br><div class="gmail_quote">On Thu, Feb 7, 2013 at 3:10 AM, Andrew Dawson <span dir="ltr">&lt;<a href="mailto:dawson@atm.ox.ac.uk" target="_blank">dawson@atm.ox.ac.uk</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi all,<div><br></div><div>I&#39;m configuring a recent torque/maui installation and I&#39;m having trouble with submitting MPI jobs. I would like for MPI jobs to specify the number of processors they require and have those come from any available physical machine, the users shouldn&#39;t need to specify processors per node etc.</div>


<div><br></div><div>The torque manual says that the nodes option is mapped to virtual processors, so for example:</div><div><br></div><div>    #PBS -l nodes=8</div><div><br></div><div>should request 8 virtual processors. The problem I&#39;m having is that our cluster currently has only 5 physical machines (nodes), and setting nodes to anything greater than 5 gives the error:</div>


<div><br></div><div>    qsub: Job exceeds queue resource limits MSG=cannot locate feasible nodes (nodes file is empty or all systems are busy)<br></div><div><br></div><div>I&#39;m confused by this, we have 33 virtual processors available across the 5 nodes (4 8-core machines and one single core) so my interpretation of the manual is that I should be able to request 8 nodes, since these should be understood as virtual processors? Am I doing something wrong?</div>


<div><br></div><div>I tried setting</div><div><br></div><div>#PBS -l procs=8</div><div><br></div><div>but that doesn&#39;t seem to do anything, MPI stops due to having only 1 worker available (single core allocated to the job).</div>


<div><br></div><div>Thanks,</div><div>Andrew</div><div><br></div><div>p.s.</div><div><br></div><div>The queue I&#39;m submitting jobs to is defined as:</div><div><br></div><div>
<div>create queue normal</div><div>set queue normal queue_type = Execution</div><div>set queue normal resources_min.cput = 12:00:00</div><div>set queue normal resources_default.cput = 24:00:00</div><div>set queue normal disallowed_types = interactive</div>


<div>set queue normal enabled = True</div><div>set queue normal started = True</div><div><br></div></div><div>and we are using torque version 2.5.12 and we are using maui 3.3.1 for scheduling<br clear="all"><div><br></div>



</div></div>
<br>_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br></blockquote></div><br></div>