<div dir="ltr">Hi Robert, John,<br>&nbsp;Thanks for sharing these numbers.<br><br>One question for John, are you using performance translators ? we expect to get higher numbers over IB.<br><br>Regards,<br>Amar<br><br><br><div class="gmail_quote">
2008/7/21 Robert Dildy &lt;<a href="mailto:Robert@dildy.net">Robert@dildy.net</a>&gt;:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">


  

<div bgcolor="#ffffff" text="#000000"><div><div></div><div class="Wj3C7c">
<br>
John Marshall wrote:
<blockquote type="cite">
  <pre>Jean Spirat wrote:
  </pre>
  <blockquote type="cite">
    <pre>Hi,

 I have seen the benchmarks on the gluster website and i wondered if 
there is a big difference between infiniband and tcp/ip performances. 
Anyone can share some stats on this i do not know the infiniband 
technology at all.
  
    </pre>
  </blockquote>
  <pre>Hi,

Some preliminary numbers I have for a 4x SDR IB network, single
disk (RAID 5, 4+1, SAS, 300G 15K disks), single user:

transport        read    write   notes
---------        ----    -----   -----
local            ~254     ~255   for a 100G file, not compensating for 
caching
                                 take them for what their worth :)
nfs              158     76      not gluster, of course!
tcp (ipoib)      171     118     no optimizations
sdp              211     108     no optimizations
sdp              210     128     iot 4, 32MB
verbs            218     150     no optimizations
verbs            220     150     recv/send size 1048675, recv/send-count 16


John

_______________________________________________
Gluster-users mailing list
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a>
<a href="http://zresearch.com/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://zresearch.com/cgi-bin/mailman/listinfo/gluster-users</a>
  </pre>
</blockquote></div></div>
The tuning is just overall so the block sizes can make a huge
difference.&nbsp; The numbers just give a good feeling for speeds.<br>
<br>
We have 8 servers that are also clients of each other with DDR IB each
with 4x750 SATA II in RAID 5 with 16GB RAM.<br>
<br>
rates are in MBs.&nbsp; A = aggregat&nbsp;&nbsp;&nbsp; S = per server<br>
<br>
Transport&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; Read&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; Write&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; Read notes<br>
----------&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; ------&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; ------&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp; ------<br>
IBverbs&nbsp;&nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp; 5993 (A)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5111 (A) &nbsp;&nbsp;&nbsp; cache<br>
IBverbs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 749 (S) &nbsp;&nbsp;&nbsp;&nbsp; &nbsp; 638&nbsp; (S) &nbsp;&nbsp;&nbsp; cache<br>
IBverbs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 3616 (A) &nbsp; &nbsp;&nbsp; 2598 (A)&nbsp; &nbsp;&nbsp; exceeding cache, but
mixed<br>
IBverbs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 452 (S)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 325 (S)&nbsp;&nbsp; &nbsp;&nbsp; exceeding cache, bu
tmixed<br>
IBverbs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; 958 (A)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 747 (A)&nbsp;&nbsp;&nbsp;&nbsp; no cache<br>
IBverbs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 120 (S)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 93 (S)&nbsp;&nbsp;&nbsp;&nbsp; no cache<br>
NFS (GigE)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 874 (A)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 739 (A)&nbsp;&nbsp;&nbsp;&nbsp; cache<br>
NFS (GigE)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 109 (S) &nbsp; &nbsp; &nbsp;&nbsp;&nbsp; 92&nbsp; (S) &nbsp; &nbsp; cache<br>
<br>
Hope it helps.<br>
-robert<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>
<br>
</div>

<br>_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://zresearch.com/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://zresearch.com/cgi-bin/mailman/listinfo/gluster-users</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br>Amar Tumballi<br>Gluster/GlusterFS Hacker<br>[bulde on #gluster/<a href="http://irc.gnu.org">irc.gnu.org</a>]<br><a href="http://www.zresearch.com">http://www.zresearch.com</a> - Commoditizing Super Storage!
</div>