<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">

<html>

<head>

  <meta content="text/html;charset=ISO-8859-1" http-equiv="Content-Type">

</head>

<body bgcolor="#ffffff" text="#000000">

<br>

John Marshall wrote:

<blockquote cite="mid:4884ACED.60906@ec.gc.ca" type="cite">

  <pre wrap="">Jean Spirat wrote:

  </pre>

  <blockquote type="cite">

    <pre wrap="">Hi,

 I have seen the benchmarks on the gluster website and i wondered if 

there is a big difference between infiniband and tcp/ip performances. 

Anyone can share some stats on this i do not know the infiniband 

technology at all.

    </pre>

  </blockquote>

  <pre wrap=""><!---->Hi,

Some preliminary numbers I have for a 4x SDR IB network, single

disk (RAID 5, 4+1, SAS, 300G 15K disks), single user:

transport        read    write   notes

---------        ----    -----   -----

local            ~254     ~255   for a 100G file, not compensating for 

caching

                                 take them for what their worth :)

nfs              158     76      not gluster, of course!

tcp (ipoib)      171     118     no optimizations

sdp              211     108     no optimizations

sdp              210     128     iot 4, 32MB

verbs            218     150     no optimizations

verbs            220     150     recv/send size 1048675, recv/send-count 16

John

_______________________________________________

Gluster-users mailing list

<a class="moz-txt-link-abbreviated" href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a>

<a class="moz-txt-link-freetext" href="http://zresearch.com/cgi-bin/mailman/listinfo/gluster-users">http://zresearch.com/cgi-bin/mailman/listinfo/gluster-users</a>

  </pre>

</blockquote>

The tuning is just overall so the block sizes can make a huge

difference.&nbsp; The numbers just give a good feeling for speeds.<br>

<br>

We have 8 servers that are also clients of each other with DDR IB each

with 4x750 SATA II in RAID 5 with 16GB RAM.<br>

<br>

rates are in MBs.&nbsp; A = aggregat&nbsp;&nbsp;&nbsp; S = per server<br>

<br>

Transport&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; Read&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; Write&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; Read notes<br>

----------&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; ------&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; ------&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp; ------<br>

IBverbs&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp; 5993 (A)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5111 (A) &nbsp;&nbsp;&nbsp; cache<br>

IBverbs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 749 (S) &nbsp;&nbsp;&nbsp;&nbsp; &nbsp; 638&nbsp; (S) &nbsp;&nbsp;&nbsp; cache<br>

IBverbs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3616 (A) &nbsp; &nbsp;&nbsp; 2598 (A)&nbsp; &nbsp;&nbsp; exceeding cache, but

mixed<br>

IBverbs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 452 (S)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 325 (S)&nbsp;&nbsp; &nbsp;&nbsp; exceeding cache, bu

tmixed<br>

IBverbs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; 958 (A)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 747 (A)&nbsp;&nbsp;&nbsp;&nbsp; no cache<br>

IBverbs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 120 (S)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 93 (S)&nbsp;&nbsp;&nbsp;&nbsp; no cache<br>

NFS (GigE)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 874 (A)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 739 (A)&nbsp;&nbsp;&nbsp;&nbsp; cache<br>

NFS (GigE)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 109 (S) &nbsp; &nbsp; &nbsp;&nbsp;&nbsp; 92&nbsp; (S) &nbsp; &nbsp; cache<br>

<br>

Hope it helps.<br>

-robert<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>

<br>

</body>

</html>