<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
  <meta content="text/html;charset=ISO-8859-1" http-equiv="Content-Type">
</head>
<body bgcolor="#ffffff" text="#000000">
<tt>Try: <br>
</tt><font face="Verdana"><font size="2">echo "sleep 10" | qsub -l
nodes=node4:ppn=4<br>
</font></font><font size="2"><tt>or <br>
</tt></font><font face="Verdana"><font size="2">echo "sleep 10" | qsub
-l nodes=1:ppn=4<br>
</font></font><font size="2"><tt><br>
</tt></font><tt>Does this change anything?</tt><br>
<font size="2"><tt><br>
--Jerry<br>
</tt></font><br>
Edsall, William (WJ) wrote:
<blockquote
 cite="mid:52CD990A674498429E6A7B4FCAE3F7D3028F71EF@USMDLMDOWX025.dow.com"
 type="cite">
  <title>PBS Scheduling Weirdness</title>
  <meta http-equiv="Content-Type" content="text/html; ">
  <meta content="MSHTML 6.00.2900.3492" name="GENERATOR">
  <div dir="ltr" align="left"><font face="Verdana"><font size="2"><span
 class="357351016-20052009">I usually test with a STDIN command such as
this. </span></font></font></div>
  <div dir="ltr" align="left"><font face="Verdana"><font size="2"><span
 class="357351016-20052009"></span></font></font>&nbsp;</div>
  <div dir="ltr" align="left"><font face="Verdana"><font size="2"><span
 class="357351016-20052009">&gt; </span>echo "sleep 10" | qsub -l
nodes=1:node4:ppn=4</font></font></div>
  <div>&nbsp;</div>
  <div><font face="Verdana" size="2"><span class="357351016-20052009">My
job runs, but as you can see i only get one cpu, on the wrong resource.
This is the same as requesting multiple nodes. This was working and
works on our other clusters but as of monday this week it fails.</span></font></div>
  <div><font face="Verdana" size="2"><span class="357351016-20052009"></span></font>&nbsp;</div>
  <div><font face="Verdana" size="2"><span class="357351016-20052009">&gt;
qstat -f 1059<br>
Job Id: 1059<br>
&nbsp;&nbsp;&nbsp; Job_Name = STDIN<br>
&nbsp;&nbsp;&nbsp; Job_Owner =&nbsp; &lt;deleted&gt;<br>
&nbsp;&nbsp;&nbsp; job_state = R<br>
&nbsp;&nbsp;&nbsp; queue = batch<br>
&nbsp;&nbsp;&nbsp; server = &lt;deleted&gt;com<br>
&nbsp;&nbsp;&nbsp; Checkpoint = u<br>
&nbsp;&nbsp;&nbsp; ctime = Wed May 20 11:46:18 2009<br>
&nbsp;&nbsp;&nbsp; Error_Path = &lt;deleted&gt;</span></font></div>
  <div><font face="Verdana" size="2"><span class="357351016-20052009"><strong>&nbsp;&nbsp;&nbsp;
exec_host = node2/0</strong><br>
&nbsp;&nbsp;&nbsp; Hold_Types = n<br>
&nbsp;&nbsp;&nbsp; Join_Path = n<br>
&nbsp;&nbsp;&nbsp; Keep_Files = n<br>
&nbsp;&nbsp;&nbsp; Mail_Points = a<br>
&nbsp;&nbsp;&nbsp; mtime = Wed May 20 11:46:26 2009<br>
&nbsp;&nbsp;&nbsp; Output_Path = &lt;deleted&gt;/STDIN.o1059<br>
&nbsp;&nbsp;&nbsp; Priority = 0<br>
&nbsp;&nbsp;&nbsp; qtime = Wed May 20 11:46:18 2009<br>
&nbsp;&nbsp;&nbsp; Rerunable = True<br>
&nbsp;&nbsp;&nbsp; Resource_List.neednodes = 1<br>
&nbsp;&nbsp;&nbsp; Resource_List.nodect = 1<br>
&nbsp;&nbsp;&nbsp; Resource_List.nodes = 1<br>
&nbsp;&nbsp;&nbsp; Resource_List.walltime = 01:00:00<br>
&nbsp;&nbsp;&nbsp; session_id = 12814<br>
&nbsp;&nbsp;&nbsp; substate = 42<br>
&nbsp;&nbsp;&nbsp; Variable_List = PBS_O_HOME=/home/&lt;deleted&gt;,PBS_O_LANG=POSIX,<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PBS_O_LOGNAME=&lt;deleted&gt;,<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
PBS_O_PATH=/usr/local/torque/sbin:/usr/local/torque/bin:/usr/bin:/bin<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
:/usr/sbin:/sbin:/usr/local/bin:/usr/bin/X11:/usr/X11R6/bin:/usr/games<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
:/opt/kde3/bin:/usr/lib/mit/bin:/usr/lib/mit/sbin:/usr/lib/qt3/bin,<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PBS_O_MAIL=/var/mail/&lt;deleted&gt;,PBS_O_SHELL=/bin/tcsh,<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PBS_SERVER=txmerig.nam.dow.com,PBS_O_HOST=txmerig.nam.dow.com,<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; PBS_O_WORKDIR=/home/&lt;deleted&gt;,PBS_O_QUEUE=batch<br>
&nbsp;&nbsp;&nbsp; euser = &lt;deleted&gt;<br>
&nbsp;&nbsp;&nbsp; egroup = users<br>
&nbsp;&nbsp;&nbsp; hashname = 1059.&lt;deleted&gt;.com<br>
&nbsp;&nbsp;&nbsp; queue_rank = 996<br>
&nbsp;&nbsp;&nbsp; queue_type = E<br>
&nbsp;&nbsp;&nbsp; comment = Job started on Wed May 20 at 11:46<br>
&nbsp;&nbsp;&nbsp; etime = Wed May 20 11:46:18 2009<br>
&nbsp;&nbsp;&nbsp; submit_args = -l nodes=1:node4:ppn=4<br>
&nbsp;&nbsp;&nbsp; start_time = Wed May 20 11:46:26 2009<br>
&nbsp;&nbsp;&nbsp; start_count = 1<br>
  </span></font></div>
  <div>&nbsp;</div>
  <div><span class="357351016-20052009"></span><font face="Verdana"><font
 size="2">o<span class="357351016-20052009">n other known working
clusters, requesting resources in the same fasion works fine as seen
here:</span></font></font></div>
  <div><font face="Verdana"><font size="2"><span
 class="357351016-20052009">&nbsp;&nbsp;&nbsp; exec_host =
node14/3+node14/2+node14/1+node14/0+node13/3+node13/2+node13/1<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; +node13/0<br>
  </span></font></font><br>
  </div>
  <blockquote dir="ltr" style="margin-right: 0px;">
    <div class="OutlookMessageHeader" dir="ltr" align="left"
 lang="en-us">
    <hr tabindex="-1"> <font face="Tahoma" size="2"><b>From:</b> Jerry
Smith [<a class="moz-txt-link-freetext" href="mailto:jdsmit@sandia.gov">mailto:jdsmit@sandia.gov</a>] <br>
    <b>Sent:</b> Wednesday, May 20, 2009 12:02 PM<br>
    <b>To:</b> Edsall, William (WJ)<br>
    <b>Cc:</b> <a class="moz-txt-link-abbreviated" href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
    <b>Subject:</b> Re: [torqueusers] PBS Scheduling Weirdness<br>
    </font><br>
    </div>
    <tt>Sorry I forgot to ask this as well, can we get a copy of the
script you are submitting and the qsub command you are using?<br>
    <br>
Jerry<br>
    </tt><br>
Edsall, William (WJ) wrote:
    <blockquote
 cite="mid:52CD990A674498429E6A7B4FCAE3F7D3028F71A4@USMDLMDOWX025.dow.com"
 type="cite">
      <meta content="MSHTML 6.00.2900.3492" name="GENERATOR">
      <div dir="ltr" align="left"><span class="971522515-20052009"><font
 face="Verdana" size="2">Hello,</font></span></div>
      <div dir="ltr" align="left"><span class="971522515-20052009"><font
 face="Verdana" size="2">&nbsp;Here is the output. I'm using the torque
scheduler - maui is on the system but not running.</font></span></div>
      <div dir="ltr" align="left"><span class="971522515-20052009"></span>&nbsp;</div>
      <div dir="ltr" align="left"><span class="971522515-20052009"><font
 face="Verdana" size="2"># qmgr -c "p s"<br>
#<br>
# Create queues and set their attributes.<br>
#<br>
#<br>
# Create and define queue batch<br>
#<br>
create queue batch<br>
set queue batch queue_type = Execution<br>
set queue batch resources_default.nodes = 1<br>
set queue batch resources_default.walltime = 01:00:00<br>
set queue batch enabled = True<br>
set queue batch started = True<br>
#<br>
# Set server attributes.<br>
#<br>
set server scheduling = True<br>
set server acl_hosts = txmerig<br>
      <u><font color="#0000ff">//stripped out the list of managers and
operators</font></u><br>
set server default_queue = batch<br>
set server log_events = 511<br>
set server mail_from = adm<br>
set server scheduler_iteration = 600<br>
set server node_check_rate = 150<br>
set server tcp_timeout = 6<br>
set server next_job_number = 1054<br>
      </font></span></div>
      <br>
      <blockquote dir="ltr" style="margin-right: 0px;">
        <div class="OutlookMessageHeader" dir="ltr" align="left"
 lang="en-us">
        <hr tabindex="-1"> <font face="Tahoma" size="2"><b>From:</b>
Jerry Smith [<a moz-do-not-send="true" class="moz-txt-link-freetext"
 href="mailto:jdsmit@sandia.gov">mailto:jdsmit@sandia.gov</a>] <br>
        <b>Sent:</b> Tuesday, May 19, 2009 4:05 PM<br>
        <b>To:</b> Edsall, William (WJ)<br>
        <b>Cc:</b> <a moz-do-not-send="true"
 class="moz-txt-link-abbreviated"
 href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
        <b>Subject:</b> Re: [torqueusers] PBS Scheduling Weirdness<br>
        </font><br>
        </div>
        <tt>Can you give us the output from:<br>
        <br>
qmgr -c "p s" <br>
        <br>
and are you using any external scheduler, Maui or Moab or the like?<br>
        <br>
Thanks,<br>
        <br>
--Jerry<br>
        </tt><br>
Edsall, William (WJ) wrote:
        <blockquote
 cite="mid:52CD990A674498429E6A7B4FCAE3F7D3028F6EB1@USMDLMDOWX025.dow.com"
 type="cite">
          <meta content="MS Exchange Server version 6.5.7654.12"
 name="Generator">
<!-- Converted from text/rtf format -->
          <p><font face="Verdana" size="2">Hello list,</font> <br>
          <font face="Verdana" size="2">&nbsp;Having a strange problem with
torque version: 2.4.0b1.</font> </p>
          <p><font face="Verdana" size="2">It seems that no matter how
much resource I request, I only get one cpu on the first available node.</font>
          </p>
          <p><font face="Verdana" size="2">Please help me brainstorm
the possible causes.</font> <br>
          <br>
          <b><font color="#ff0000" face="Courier New" size="2">_______________________________________</font></b><br>
          <font color="#808080" face="Courier New" size="2">William J.
Edsall</font><font color="#808080" face="Times New Roman"><br>
          </font></p>
          <br>
        </blockquote>
      </blockquote>
    </blockquote>
  </blockquote>
</blockquote>
</body>
</html>