<html><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">
Strange, I thought CISCO was now pushing OpenMPI,  they only employ one of the main devs to make sure it works on their TopSpin IB.  <div><br></div><div>We run Cisco IB with OFED for the VERBS and OpenMPI.  Works well little if any issues.  Just be sure your pbs_mom starts with enough locked memory.  </div><div><br></div><div>If you do choose to go with the cisco VAPI verbs, note they are planed to be deprecated.  everything is going OFED.  </div><div>They all work well, I use OpenMPI because it integrates with TM on torque and can support myrinet as well as IB and TCP all in one lib with no recompiles needed.  Many options are tweak-able at runtime, which I love my self.  All of those will work though.<br><div> <span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-size: 12px; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0; "><div><br class="Apple-interchange-newline">Brock Palen</div><div>www.umich.edu/~brockp</div><div>Center for Advanced Computing</div><div><a href="mailto:brockp@umich.edu">brockp@umich.edu</a></div><div>(734)936-1985</div><br class="Apple-interchange-newline"></span><br class="Apple-interchange-newline"> </div><br><div><html>On May 29, 2008, at 10:46 AM, Walid wrote:</html><br class="Apple-interchange-newline"><blockquote type="cite">Hi,<br><br>I do not have a problem yet, however in the next couple of days i might be :)<br>We are deploying an IB large cluster, and with IB we have a choice of openMPI, mvapich, mvapich, among other commercial mpi implementations, our code used to run on mpich-gm over myrinet, and CISCO advice is to go with mvapich, our developers would like to have mvapcih2, and quick research on the net shows that openMPI is easier to depoly and have lesser issues<br> <br>My question is if you used any of the above and have any hints,gotches? or be aware of advice, could you please pass it on, or any useful URLs?<br>Where is the best way to set the limits of memory unlocked so that pbs mom honours it?<br> can you please share any epilogue/prolog that is needed for this kind of environments?<br><br>regards<br><br>Walid.<br><br><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">_______________________________________________</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; ">torqueusers mailing list</div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; "><a href="mailto:torqueusers@supercluster.org">torqueusers@supercluster.org</a></div><div style="margin-top: 0px; margin-right: 0px; margin-bottom: 0px; margin-left: 0px; "><a href="http://www.supercluster.org/mailman/listinfo/torqueusers">http://www.supercluster.org/mailman/listinfo/torqueusers</a></div> </blockquote></div><br></div></body></html>