Matt,<br><br>I guess you would call it a bug. I think it is simply years of maintenance without knowledge of the original intent. Rick made a ticket for this and we will see what it currently does and try to figure out what it should do and then let everyone know.<br>
<br>Ken<br><br><div class="gmail_quote">On Wed, Jan 23, 2013 at 3:30 PM, Matthew Britt <span dir="ltr">&lt;<a href="mailto:msbritt@umich.edu" target="_blank">msbritt@umich.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
As a counter argument, the value of PBS_NODEFILE isn&#39;t getting set to the same value for the second job.   Like PBS_NODEFILE, I would expect the PBS_O variables get set correctly for the submitted job and not the environment passed into it.  It isn&#39;t consistent w/ PBS_O variables either, as PBS_O_QUEUE is overwritten w/ the correct value (I exported a different value into PBS_O_QUEUE to check).<br>

<br>
fwiw, we&#39;re using Environmental Modules, so we set several variables for software packages, like license servers, process launchers (like hydra), etc.  The users might not be aware that these variables are necessary, so we have the users load appropriate module(s) and submit with -V.<br>

<br>
If the PBS_O_ variables are treated differently than PBS_ variables, that&#39;s fine; I was curious if it was by design or was a bug.<br>
<div class="im HOEnZb"><br>
 - Matt<br>
<br>
--------------------------------------------<br>
Matthew Britt<br>
CAEN HPC Group - College of Engineering<br>
<a href="mailto:msbritt@umich.edu">msbritt@umich.edu</a><br>
<br>
<br>
</div><div class="HOEnZb"><div class="h5">On Jan 23, 2013, at 2:54 PM, &quot;Andrus, Brian Contractor&quot; &lt;<a href="mailto:bdandrus@nps.edu">bdandrus@nps.edu</a>&gt; wrote:<br>
<br>
&gt; Seems to me that would be by design and you need to be aware of it.<br>
&gt; -V basically just takes the output of &#39;env&#39; and sets anything that is set.<br>
&gt; Since you already have PBS_* variables, I would expect them to be set already.<br>
&gt;<br>
&gt; This could be handled by pbs_mom if it were to first sent the -V stuff and then set the PBS_* stuff.<br>
&gt; You can do this by iterating through and &#39;unset&#39; all the PBS_* variables before doing the qsub.<br>
&gt;<br>
&gt; I tend to rend this moot by highly discouraging the use of -V<br>
&gt; It&#39;s use makes it difficult to troubleshoot when folks use things like &quot;./a.out&quot; to run their programs.<br>
&gt;<br>
&gt;<br>
&gt; Brian Andrus<br>
&gt; ITACS/Research Computing<br>
&gt; Naval Postgraduate School<br>
&gt; Monterey, California<br>
&gt; voice: <a href="tel:831-656-6238" value="+18316566238">831-656-6238</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;&gt; -----Original Message-----<br>
&gt;&gt; From: <a href="mailto:torqueusers-bounces@supercluster.org">torqueusers-bounces@supercluster.org</a> [mailto:<a href="mailto:torqueusers-">torqueusers-</a><br>
&gt;&gt; <a href="mailto:bounces@supercluster.org">bounces@supercluster.org</a>] On Behalf Of Matthew Britt<br>
&gt;&gt; Sent: Tuesday, January 22, 2013 11:22 AM<br>
&gt;&gt; To: Torque Users Mailing List<br>
&gt;&gt; Subject: [torqueusers] PBS environmental variables and -V<br>
&gt;&gt;<br>
&gt;&gt; Hello everyone.   What is the expected behavior in precedence between<br>
&gt;&gt; PBS environmental variables and -V when a job is submitted  from an<br>
&gt;&gt; interactive job.  With torque 4.1.4 (and possibly earlier), the variables from<br>
&gt;&gt; the environment of the interactive shell are passed along w/ the newly<br>
&gt;&gt; submitted job (either interactive or batch).   We&#39;ve seen both PBS_O_HOST<br>
&gt;&gt; and PBS_O_WORKDIR be set to values of the first job rather than the<br>
&gt;&gt; attributes of the second job.<br>
&gt;&gt;<br>
&gt;&gt; As an example:<br>
&gt;&gt;<br>
&gt;&gt; [msbritt@nyx ~]$ cd bin<br>
&gt;&gt; [msbritt@nyx bin]$ pwd<br>
&gt;&gt; /home/msbritt/bin<br>
&gt;&gt; [msbritt@nyx bin]$ qsub -I -l nodes=1,walltime=5:00 -q flux -A msbritt_flux -<br>
&gt;&gt; V<br>
&gt;&gt; qsub: waiting for job <a href="http://9445802.nyx.engin.umich.edu" target="_blank">9445802.nyx.engin.umich.edu</a> to start<br>
&gt;&gt; qsub: job <a href="http://9445802.nyx.engin.umich.edu" target="_blank">9445802.nyx.engin.umich.edu</a> ready<br>
&gt;&gt;<br>
&gt;&gt; [msbritt@nyx5515 ~]$ echo $PBS_O_WORKDIR<br>
&gt;&gt; /home/msbritt/bin<br>
&gt;&gt; [msbritt@nyx5515 ~]$ echo $PBS_O_HOST<br>
&gt;&gt; <a href="http://nyx.engin.umich.edu" target="_blank">nyx.engin.umich.edu</a><br>
&gt;&gt; [msbritt@nyx5515 ~]$ pwd<br>
&gt;&gt; /home/msbritt<br>
&gt;&gt;<br>
&gt;&gt; [msbritt@nyx5515 ~]$ qsub -I -l nodes=1,walltime=5:00 -q flux -A<br>
&gt;&gt; msbritt_flux -V<br>
&gt;&gt; qsub: waiting for job <a href="http://9445813.nyx.engin.umich.edu" target="_blank">9445813.nyx.engin.umich.edu</a> to start<br>
&gt;&gt; qsub: job <a href="http://9445813.nyx.engin.umich.edu" target="_blank">9445813.nyx.engin.umich.edu</a> ready<br>
&gt;&gt;<br>
&gt;&gt; [msbritt@nyx5623 ~]$ pwd<br>
&gt;&gt; /home/msbritt<br>
&gt;&gt; [msbritt@nyx5623 ~]$ echo $PBS_O_WORKDIR<br>
&gt;&gt; /home/msbritt/bin    (arguably should be /home/msbritt)<br>
&gt;&gt; [msbritt@nyx5623 ~]$ echo $PBS_O_HOST<br>
&gt;&gt; <a href="http://nyx.engin.umich.edu" target="_blank">nyx.engin.umich.edu</a>  (arguably should be nyx5515)<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; Should -V not read the PBS_O_* variables on job submission or at least be<br>
&gt;&gt; overwritten and correctly set in the next job, or should -V trump ?<br>
&gt;&gt;<br>
&gt;&gt; Thanks,<br>
&gt;&gt;   - Matt<br>
&gt;&gt;<br>
&gt;&gt; --------------------------------------------<br>
&gt;&gt; Matthew Britt<br>
&gt;&gt; CAEN HPC Group - College of Engineering<br>
&gt;&gt; <a href="mailto:msbritt@umich.edu">msbritt@umich.edu</a><br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; torqueusers mailing list<br>
&gt;&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt;&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
&gt; _______________________________________________<br>
&gt; torqueusers mailing list<br>
&gt; <a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
&gt; <a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
<br>
_______________________________________________<br>
torqueusers mailing list<br>
<a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br>
<a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><br>
</div></div></blockquote></div><br>