<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:Helvetica;
        panose-1:2 11 6 4 2 2 2 2 2 4;}
@font-face
        {font-family:Wingdings;
        panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.apple-style-span
        {mso-style-name:apple-style-span;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:475343594;
        mso-list-template-ids:312775474;}
@list l0:level1
        {mso-level-number-format:bullet;
        mso-level-text:\F0B7;
        mso-level-tab-stop:.5in;
        mso-level-number-position:left;
        text-indent:-.25in;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple style='word-wrap: break-word;-webkit-nbsp-mode: space;-webkit-line-break: after-white-space'><div class=WordSection1><p class=MsoNormal>Guilherme Rocha,<o:p></o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal>  To add to the options <span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>Bas van der Vlies sent to you, I suggest users also add the &#8211;V option to qsub.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>Make sure to add all the &#8211;lnodes=&#8230;,walltime=&#8230;  options to the command line sinceyou are not submitting a script.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>E.g. <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>qsub &#8211;V &#8211;I  -X  -l nodes=5:ppn=16,walltime=3:00:00<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>  Also, clustallw and OpenMPI must be installed on all nodes for this to work.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>I use (and recommend) a common network mounted (e.g. NFS)   /opt  directory <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>which is hosted from my head node so that I keep a consistent set of binaries <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>and libraries on all nodes.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>Why I did it this way:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>------------------------<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>  I did this because early on in cluster computing, I was a user on a cluster which had locally <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>mounted non-system libraries.  I had lots of jobs fail because one node in the set that my <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>job ran on did not have the latest version of some   libxxx.so library.  This wasted lots of <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>time for both me and the sysadmin, especially because I was running from several time <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>zones away, making real-time responses nearly impossible, and because the jobs did not run <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>immediately, so I would not know that the job failed until the next day.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>  <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:16.0pt;font-family:Consolas;color:#1F497D'>James Coyle, PhD<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:16.0pt;font-family:Consolas;color:#1F497D'> High Performance Computing Group        <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:16.0pt;font-family:Consolas;color:#1F497D'> Iowa State Univ.          <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:16.0pt;font-family:Consolas;color:#1F497D'>web: <a href="http://www.public.iastate.edu/~jjc"><span style='color:blue'>http://jjc.public.iastate.edu/</span></a><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><div style='border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt'><div><div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in'><p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> torqueusers-bounces@supercluster.org [mailto:torqueusers-bounces@supercluster.org] <b>On Behalf Of </b>Bas van der Vlies<br><b>Sent:</b> Friday, September 16, 2011 8:34 AM<br><b>To:</b> Torque Users Mailing List<br><b>Cc:</b> rbzucoloto@gmail.com; vitorvilas@gmail.com<br><b>Subject:</b> Re: [torqueusers] Success setting up a new Torque Environment in University<o:p></o:p></span></p></div></div><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><div><div><p class=MsoNormal>On 16 sep 2011, at 13:34, Guilherme Rocha wrote:<o:p></o:p></p></div><p class=MsoNormal><br><br><o:p></o:p></p><p class=MsoNormal><br><br><br>Hello folks,<br><br><br><br>thanks a lot for all answers, I'm doing a troubleshooting now, considering your answers, in order to get my target acquired.<br>Thanks a lot once more.<br><br>I already start to research how to use MPI, in fact we have the clustalw-mpi installed on the head node,<br>but no in the nodes (yet), I will try to do your recommendations now.<br><br>We alson have open-mpi installed.<br><br><br>We are using Debian, all software installed via #aptitude. <br><br><br>I have this question from my teacher, the lab coordinator<o:p></o:p></p><ul type=disc><li class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;mso-list:l0 level1 lfo1'>Is possible to run X programs (like clustalx)&nbsp; interactivelly under Torque?<o:p></o:p></li></ul><p class=MsoNormal><o:p>&nbsp;</o:p></p><div><p class=MsoNormal>qsub - I -X<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal>-I: interactively&nbsp;<o:p></o:p></p></div><div><p class=MsoNormal>-X: X11 forwarding<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal>You get a shell prompt:<o:p></o:p></p></div><div><p class=MsoNormal>&nbsp;* xcalc<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal>PS) man qsub&nbsp;<o:p></o:p></p></div><p class=MsoNormal><br><br><o:p></o:p></p><p class=MsoNormal style='margin-bottom:12.0pt'><br><br><br><o:p></o:p></p><div><p class=MsoNormal>2011/9/2 Coyle, James J [ITACD] &lt;<a href="mailto:jjc@iastate.edu">jjc@iastate.edu</a>&gt;<o:p></o:p></p><div><div><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp; You&#8217;ll need and MPI application to use multiple nodes.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp;</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp; Perhaps this application would be&nbsp; Clustalw-MPI .</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>It looks like this is available at:</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'><a href="http://www.bii.a-star.edu.sg/achievements/applications/clustalw/download.php" target="_blank">http://www.bii.a-star.edu.sg/achievements/applications/clustalw/download.php</a></span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>Information on this can be found at:</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'><a href="http://www.bii.a-star.edu.sg/docs/software/README.clustalw-mpi" target="_blank">http://www.bii.a-star.edu.sg/docs/software/README.clustalw-mpi</a></span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp;</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp;</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp; Torque just reserves node, you need something like MPi and program written in MPI to use</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>multiple nodes.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp;</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp; If you need a suggestion on MPI,&nbsp; I use OpenMPI because it installs easily and can use </span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>multiple network interconnects, it also works well with Torque.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp;</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>Ethernet works, but is slow, however, that is likely what you have.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>We use Infiniband and Myrinet networks in addition to Ethernet. They give much better </span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>performance for our workloads, but the cards and switches are very expensive.</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp;</span><o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><span style='font-size:11.0pt;color:#1F497D'>&nbsp;</span><o:p></o:p></p><div style='border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt'><div><div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in'><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'><b><span style='font-size:10.0pt'>From:</span></b><span style='font-size:10.0pt'> <a href="mailto:torqueusers-bounces@supercluster.org" target="_blank">torqueusers-bounces@supercluster.org</a> [mailto:<a href="mailto:torqueusers-bounces@supercluster.org" target="_blank">torqueusers-bounces@supercluster.org</a>] <b>On Behalf Of </b>Guilherme Rocha<br><b>Sent:</b> Friday, September 02, 2011 4:18 AM<br><b>To:</b> <a href="mailto:torqueusers@supercluster.org" target="_blank">torqueusers@supercluster.org</a></span><o:p></o:p></p><div><p class=MsoNormal><br><b>Subject:</b> [torqueusers] Success setting up a new Torque Environment in University<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div></div></div><p class=MsoNormal style='mso-margin-top-alt:auto;mso-margin-bottom-alt:auto'>&nbsp;<o:p></o:p></p><p class=MsoNormal style='mso-margin-top-alt:auto;margin-bottom:12.0pt'><span style='font-size:10.0pt'>Hello folks,</span><o:p></o:p></p><div><div><p class=MsoNormal><br><br><br>My name is Guilherme and this is my first post here.<br>Thanks for this great project.<br><br>We're setting-up a Torque Cluster with 23 nodes and will be used to bioinformatics tasks.<br><br>I'm completely newbie to all of this, so after hard steps of troubleshooting, we finally<br>received good news in logs.&nbsp; We did a small alginment using clustalw. <br><br>But we have some doubts about how to use a program in parallel, like:<br><br><br>Question 1)&nbsp; I need to have clustalw (or the script programs installed in all nodes?) <br>Clustalw is only installed&nbsp; in head node by now.<br><br>Question 2:&nbsp; Can we use/open GUI program's interfaces to work&nbsp; using torque?<br><br>Question 3: When I submit a job, even requesting 10 nodes, clustal are being runned<br>only in one node. What can be wrong?<br><br><br>thanks in advance<br><br>thanks in advance,<o:p></o:p></p></div></div><div><div><p class=MsoNormal><br clear=all><br>-- <br>-- <br>Guilherme Rocha<br>GF7 Doc &amp; Systems - Soluções Tecnológicas<br>Pesquisa e Desenvolvimento - World Wide<br>R. João Goulart, 170&nbsp; - Rio Pardo - RS - CEP 96640-000<br>Mobile:&nbsp; <a href="tel:%2B55%2051%2081400360" target="_blank">+55 51 81400360</a> - Home Page:&nbsp;&nbsp; <a href="http://www.gf7.com.br/" target="_blank">http://www.gf7.com.br</a> <o:p></o:p></p></div></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div></div></div></div><p class=MsoNormal style='margin-bottom:12.0pt'><br>_______________________________________________<br>torqueusers mailing list<br><a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a><br><a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a><o:p></o:p></p></div><p class=MsoNormal><br><br clear=all><br>-- <br>-- <br>Guilherme Rocha<br>GF7 Doc &amp; Systems - Soluções Tecnológicas<br>Pesquisa e Desenvolvimento - World Wide<br>R. João Goulart, 170&nbsp; - Rio Pardo - RS - CEP 96640-000<br>Mobile:&nbsp; +55 51 81400360 - Home Page:&nbsp;&nbsp; <a href="http://www.gf7.com.br/">http://www.gf7.com.br</a> <br><br>&lt;ATT00001..txt&gt;<o:p></o:p></p></div><p class=MsoNormal><o:p>&nbsp;</o:p></p><div><div><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>--<o:p></o:p></span></p></div><div><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'>Bas van der Vlies<o:p></o:p></span></p></div><div><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><a href="mailto:basv@sara.nl">basv@sara.nl</a><o:p></o:p></span></p></div><div><p class=MsoNormal><span style='font-size:9.0pt;font-family:"Helvetica","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p></div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div></div></body></html>