<div>
                    Hi Everyone,
                </div><div><br></div><div>I am having an unusual problem: I have an Infiniband network connecting my nodes and I have a RAID array mounted over NFS on every node. &nbsp;What is happening is that the nodes are reading/writing too fast to the NFS mount, and the IO of the array is being maxed out, which results in terrible performance for interactive commands (e.g. ls). &nbsp;I have tried traffic shaping with iptables and tc on both the server and slave nodes with no success at all. &nbsp;I am not even certain those commands are working properly on an IPoIB NIC (ib0).</div><div><br></div><div>The TC command I am trying is:</div><div><br></div><div><div>&nbsp; $TC qdisc add dev ib0 root handle 1:0 htb&nbsp;</div><div>&nbsp; $TC class add dev ib0 parent 1:0 classid 1:1 htb rate 50mbps ceil 50mbps</div><div>&nbsp; $TC class add dev ib0 parent 1:1 classid 1:2 htb rate 10mbps ceil 20mbps &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</div><div>&nbsp; $TC qdisc add dev ib0 parent 1:2 sfq&nbsp;</div><div>&nbsp; $TC filter add dev ib0 parent 1:0 protocol ip u32 match ip sport 2049 0xffff flowid 1:2&nbsp;</div><div>&nbsp; $TC filter add dev ib0 parent 1:0 protocol ip u32 match ip dport 2049 0xffff flowid 1:2&nbsp;</div><div><br></div></div><div>or&nbsp;</div><div><br></div><div><div>&nbsp; $TC qdisc add dev ib0 root handle 1:0 htb&nbsp;</div><div>&nbsp; $TC class add dev ib0 parent 1:0 classid 1:1 htb rate 50mbps ceil 50mbps</div><div>&nbsp; $TC class add dev ib0 parent 1:1 classid 1:2 htb rate 10mbps ceil 20mbps &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</div><div>&nbsp; $TC qdisc add dev ib0 parent 1:2 sfq&nbsp;</div><div>&nbsp; $TC filter add dev ib0 parent 1:0 protocol ip prio 1 handle 6 fw flowid 1:2&nbsp;</div></div><div><br></div><div>With the following iptables:</div><div><br></div><div><div>/sbin/iptables -A POSTROUTING -t mangle -o ib0 -p tcp -m multiport --sport 2049 -j MARK --set-mark 6</div><div>/sbin/iptables -A POSTROUTING -t mangle -o ib0 -p tcp -m multiport --sport 2049 -j RETURN</div><div>/sbin/iptables -A POSTROUTING -t mangle -o ib0 -p udp -m multiport --sport 2049 -j MARK --set-mark 6</div><div>/sbin/iptables -A POSTROUTING -t mangle -o ib0 -p udp -m multiport --sport 2049 -j RETURN</div><div>/sbin/iptables -A POSTROUTING -t mangle -o ib0 -p tcp -m multiport --dport 2049 -j MARK --set-mark 6</div><div>/sbin/iptables -A POSTROUTING -t mangle -o ib0 -p tcp -m multiport --dport 2049 -j RETURN</div><div>/sbin/iptables -A POSTROUTING -t mangle -o ib0 -p udp -m multiport --dport 2049 -j MARK --set-mark 6</div><div>/sbin/iptables -A POSTROUTING -t mangle -o ib0 -p udp -m multiport --dport 2049 -j RETURN&nbsp;</div></div><div><br></div><div>I don't want to go back to ethernet NFS and only use Infiniband for MPI because I want to maximize IO when there is a single node doing all the IO, and ethernet is just too slow for that.</div><div><br></div><div>Any thoughts?</div><div><br></div><div>Thanks,</div><div><br></div><div>Mike</div>
                <div></div>