<br><br><div class="gmail_quote">2009/4/23 Harald Stürzebecher <span dir="ltr">&lt;<a href="mailto:haralds@cs.tu-berlin.de">haralds@cs.tu-berlin.de</a>&gt;</span><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Hello!<br>
<br>
2009/4/21 randall &lt;<a href="mailto:randall@ciparo.nl">randall@ciparo.nl</a>&gt;:<br>
&gt; dear all,<br>
&gt;<br>
&gt; second post ;)<br>
&gt;<br>
&gt; another question here, also in most examples i noticed the infiniband or 10<br>
&gt; GigE recommendation, does this really do any good for the individual server<br>
&gt; connection?<br>
<br>
IIRC, another recommendation is a RAID-6 array with 8-12 disks. I&#39;d<br>
expect 400-600MB/s on linear read with hardware like that. In that<br>
case, 1GigE would be a bottleneck so 10 GigE or Infiniband might be a<br>
reasonable recommendation.<br>
<br>
IIRC, some posts on the mailing list point out that the performance of<br>
GlusterFS (and most or all other distributed filesystems) is limited<br>
by connection latency (e.g. &#39;replicate&#39; has to ask each of the servers<br>
if it has a newer version of a file and wait for the answer). On<br>
100Mbit/s it takes longer to push a packet (of equal size) through the<br>
wire than it takes at 1GBit/s or even 10GBit/s.<br>
<br>
Maybe someone with access to a test setup with GigE, 10GigE and/or<br>
Infiniband could benchmark this so that others might have a base line<br>
of what to expect?<br>
<br>
&gt; another assumption on my side was that 1 individual server can never<br>
&gt; saturate a full gigabit link due to the disk throughput limitation, (maybe a<br>
&gt; few 100 MBps at most)<br>
<br>
AFAIK, a modern disk (&gt;=1TB SATA) can deliver more than 100MB/s<br>
locally on linear read:<br>
<br>
# hdparm -t /dev/sdc<br>
<br>
/dev/sdc:<br>
 Timing buffered disk reads:  306 MB in  3.00 seconds = 101.84 MB/sec<br>
# fdisk -l /dev/sdc<br>
<br>
Disk /dev/sdc: 1000.2 GB, 1000204886016 bytes<br>
<br>
<br>
Even a server with just two of these disks in a &#39;dht&#39; or &#39;unify&#39;<br>
configuration might be able to saturate a 1GigE network link under<br>
specific conditions.<br>
Some Solid State Disks are even rated at 250MB/s for read.<br>
<br>
&gt; so if every server has a 1 Gigabit connection to a switch which in turn has<br>
&gt; a 10 GigE uplink it would not be a bottleneck (as long as there are not too<br>
&gt; many servers sharing the 10 GigE uplink)<br>
&gt;<br>
&gt; correct?<br>
<br>
I&#39;m not sure about that, but after looking at prices I&#39;d do a lot of<br>
testing that the 1GigE network adapter really is a bottleneck before<br>
buying 10GigE or Infiniband hardware. On a cost/value comparison GigE<br>
might win on small systems with only one or two disks.<br>
</blockquote><div><br>And, while it may be a pain, I think it is possible to aggregate multiple GigE connections....<br><br>Sean<br> <br></div></div><br>