<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2//EN">
<HTML>
<HEAD>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=us-ascii">
<META NAME="Generator" CONTENT="MS Exchange Server version 6.5.7653.2">
<TITLE>Fluent Infiniband jobs fail, only in PBS</TITLE>
</HEAD>
<BODY>
<!-- Converted from text/rtf format -->

<P><FONT SIZE=2 FACE="Verdana">Hello!</FONT>

<BR><FONT SIZE=2 FACE="Verdana">&nbsp; I'm experiencing a strange issue with PBS and the application Fluent. We experienced a power outage, and have since had trouble running Fluent through PBS over Infiniband.</FONT></P>

<P><FONT SIZE=2 FACE="Verdana">- Fluent runs fine through PBS on Ethernet</FONT>

<BR><FONT SIZE=2 FACE="Verdana">- Fluent runs fine outside of PBS on Infiniband</FONT>

<BR><FONT SIZE=2 FACE="Verdana">- Fluent only fails when run through PBS, over Infiniband</FONT>
</P>

<P><FONT SIZE=2 FACE="Verdana">Any suggestions? Even if I run PBS with the -I switch, I can't run fluent successfully over infiniband. Something environmentally changed by PBS is causing MPI to fail. My PBS version is 2.1.7.</FONT></P>

<P><FONT SIZE=2 FACE="Verdana">Here is the failure result of a job on 2 nodes running through PBS:</FONT>

<BR><FONT SIZE=2 FACE="Verdana">Host spawning Node 0 on machine &quot;node30&quot; (unix).</FONT>

<BR><FONT SIZE=2 FACE="Verdana">/apps/fluent/Fluent.Inc/fluent6.3.35/bin/fluent -r6.3.35 3ddp -node -t16 -pib -mpi=hp -cnf=/home/u396929/fluent_test/nodes2 -mport 192.168.0.30:192.168.0.30:46683:0</FONT></P>

<P><FONT SIZE=2 FACE="Verdana">Starting /apps/fluent/Fluent.Inc/fluent6.3.35/multiport/mpi/lnamd64/hp/bin/mpirun -prot -IBV -e MPI_HASIC_IBV=1 -f /tmp/fluent-appfile.8049</FONT></P>

<P><FONT SIZE=2 FACE="Verdana">fluent_mpi.6.3.35: Rank 0:4: MPI_Init: ibv_create_qp() failed</FONT>

<BR><FONT SIZE=2 FACE="Verdana">fluent_mpi.6.3.35: Rank 0:4: MPI_Init: probably you need to increase pinnable memory in /etc/security/limits.conf</FONT>

<BR><FONT SIZE=2 FACE="Verdana">fluent_mpi.6.3.35: Rank 0:4: MPI_Init: Can't initialize RDMA device</FONT>

<BR><FONT SIZE=2 FACE="Verdana">fluent_mpi.6.3.35: Rank 0:4: MPI_Init: MPI BUG: Cannot initialize RDMA protocol</FONT>

<BR><FONT SIZE=2 FACE="Verdana">MPI Application rank 4 exited before MPI_Init() with status 1</FONT>
</P>
<BR>

<P><FONT SIZE=2 FACE="Verdana">Here is the success result from the command line (same nodes):</FONT>

<BR><FONT SIZE=2 FACE="Verdana">Host spawning Node 0 on machine &quot;node30&quot; (unix).</FONT>

<BR><FONT SIZE=2 FACE="Verdana">/apps/fluent/Fluent.Inc/fluent6.3.35/bin/fluent -r6.3.35 3ddp -node -t16 -pib -mpi=hp -cnf=/home/u396929/fluent_test/nodes2 -mport 192.168.0.30:192.168.0.30:43334:0</FONT></P>

<P><FONT SIZE=2 FACE="Verdana">Starting /apps/fluent/Fluent.Inc/fluent6.3.35/multiport/mpi/lnamd64/hp/bin/mpirun -prot -IBV -e MPI_HASIC_IBV=1 -f /tmp/fluent-appfile.8871</FONT></P>

<P><FONT SIZE=2 FACE="Verdana">HP-MPI licensed for Fluent.</FONT>

<BR><FONT SIZE=2 FACE="Verdana">Host 0 -- ip 192.168.0.30 -- ranks 0 - 7</FONT>

<BR><FONT SIZE=2 FACE="Verdana">Host 1 -- ip 192.168.0.31 -- ranks 8 - 15</FONT>
</P>

<P><FONT SIZE=2 FACE="Verdana">Please help! Thanks much!</FONT>
</P>

<P><FONT SIZE=2 FACE="Verdana">William</FONT>
</P>

</BODY>
</HTML>