<html><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">
The addition of the lockable memory is trivial.  Just put it in the torque init script so pbs_mom inherits the limits.  If you want good RDMA to work you have to have Pinned memory (from what I understand from talking to Jeff from Cisco)  so you are going to want this anyway.  <div><br></div><div>I could ask jeff what Cisco's official plan is, but even if they don't recommend OMPI right now (be crazy if they didn't) it will be their solution in the future (I know its sun's right now for sure).  So to not have to change everything latter I would just do OMPI right now, and not have to move everyone over in the future. If you want cisco's supported solution.  </div><div><br></div><div>Good luck,  Listening to Dave Talk.<br><div> <span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0; "><div><br class="Apple-interchange-newline">Brock Palen</div><div>www.umich.edu/~brockp</div><div>Center for Advanced Computing</div><div><a href="mailto:brockp@umich.edu">brockp@umich.edu</a></div><div>(734)936-1985</div><br class="Apple-interchange-newline"></span><br class="Apple-interchange-newline"> </div><br><div><html>On May 30, 2008, at 3:39 AM, Walid wrote:</html><br class="Apple-interchange-newline"><blockquote type="cite">2008/5/29 Brock Palen &lt;<a href="mailto:brockp@umich.edu">brockp@umich.edu</a>>:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"> <div style=""> Strange, I thought CISCO was now pushing OpenMPI,  they only employ one of the main devs to make sure it works on their TopSpin IB.  </div></blockquote><div><br>CISCO is big, and most likely you will get different views from the inside, however is there an officel statement from CISCO or known Roadmap that shows that they are favouring OpenMPI for its technical merits?<br> <br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div style=""><br><div><br></div><div>We run Cisco IB with OFED for the VERBS and OpenMPI.  Works well little if any issues.  Just be sure your pbs_mom starts with enough locked memory.  </div> </div></blockquote><div><br>Thanks, we are aware of the issue, however does not like the workaround to have it set in both limits.conf, and the init script of pbs_mom, is there a better standard way to ease maintance as the turnaround of sysadmins where i work is a bit high, and if not following standard operating system/distro procedures means going back to docuemantion that could be missing/outdated :)<br> <br> <br></div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div style=""><div><br></div><div><br></div><div>If you do choose to go with the cisco VAPI verbs, note they are planed to be deprecated.  everything is going OFED.  </div> <div>They all work well, I use OpenMPI because it integrates with TM on torque and can support myrinet as well as IB and TCP all in one lib with no recompiles needed.  Many options are tweak-able at runtime, which I love my self.  All of those will work though.<br> <div> <span style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px;"><div> <br>Brock Palen</div><div><a href="http://www.umich.edu/%7Ebrockp" target="_blank">www.umich.edu/~brockp</a></div><div>Center for Advanced Computing</div><div><a href="mailto:brockp@umich.edu" target="_blank">brockp@umich.edu</a></div> <div>(734)936-1985</div><br></span><br> </div><br><div><div><div></div><div class="Wj3C7c">On May 29, 2008, at 10:46 AM, Walid wrote:<br></div></div><blockquote type="cite"><div><div></div><div class="Wj3C7c">Hi,<br><br>I do not have a problem yet, however in the next couple of days i might be :)<br> We are deploying an IB large cluster, and with IB we have a choice of openMPI, mvapich, mvapich, among other commercial mpi implementations, our code used to run on mpich-gm over myrinet, and CISCO advice is to go with mvapich, our developers would like to have mvapcih2, and quick research on the net shows that openMPI is easier to depoly and have lesser issues<br> <br>My question is if you used any of the above and have any hints,gotches? or be aware of advice, could you please pass it on, or any useful URLs?<br>Where is the best way to set the limits of memory unlocked so that pbs mom honours it?<br> can you please share any epilogue/prolog that is needed for this kind of environments?<br><br>regards<br><br>Walid.<br><br></div></div><div style="margin: 0px;">_______________________________________________</div><div style="margin: 0px;"> torqueusers mailing list</div><div style="margin: 0px;"><a href="mailto:torqueusers@supercluster.org" target="_blank">torqueusers@supercluster.org</a></div><div style="margin: 0px;"><a href="http://www.supercluster.org/mailman/listinfo/torqueusers" target="_blank">http://www.supercluster.org/mailman/listinfo/torqueusers</a></div> </blockquote></div><br></div></div></blockquote></div><br></blockquote></div><br></div></body></html>