<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2//EN">
<HTML>
<HEAD>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<META NAME="Generator" CONTENT="MS Exchange Server version 6.5.7653.38">
<TITLE>Re: help, glusterfs test caused very high tcp segment retransmission rate (Collin Douglas)</TITLE>
</HEAD>
<BODY>
<!-- Converted from text/plain format -->
<BR>

<P><FONT SIZE=2>Hi Collin,<BR>
<BR>
&nbsp; Thanks a lot for your help. The interconnect is Gigabit Ethernet.<BR>
<BR>
&nbsp; I am guessing that it is caused by the router. Computing nodes that connect to this router always retransmit 5% of segments under heavy load. My test on other router has lower ratio, around 0.3%. I am about to replace the router and perform another test.<BR>
<BR>
&nbsp; Anyway this problem is not related to glusterfs at all. Although I do have another question that is about glusterfs, which I will send in a separated email.<BR>
<BR>
Best,<BR>
Manhong<BR>
<BR>
Date: Mon, 25 Aug 2008 08:41:25 -0500<BR>
From: Collin Douglas &lt;cbd@adfitech.com&gt;<BR>
Subject: Re: [Gluster-users] help, glusterfs test caused very high tcp<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; segment retransmission rate<BR>
Cc: gluster-users@gluster.org<BR>
Message-ID: &lt;48B2B685.2050603@adfitech.com&gt;<BR>
Content-Type: text/plain; charset=&quot;ISO-8859-1&quot;<BR>
<BR>
-----BEGIN PGP SIGNED MESSAGE-----<BR>
Hash: SHA256<BR>
<BR>
This sounds a lot like a physical layer issue -- most notably a<BR>
speed/duplex issue.&nbsp; Any time I've seen a large number of retransmits<BR>
occur during heavy load, this is what I suspect.<BR>
<BR>
That said, I don't know what type of interconnect you're using.&nbsp; Tell us<BR>
more about your configuration.<BR>
<BR>
- -Collin<BR>
<BR>
Dai, Manhong wrote:<BR>
&gt;<BR>
&gt;<BR>
&gt; Hi,<BR>
&gt;<BR>
&gt;&nbsp;<BR>
&gt;&nbsp;&nbsp;&nbsp; I found the aggregated IO speed is only about 100MB/s on 4 Giga-bit<BR>
&gt; Brick. This test is done over 12 computing nodes with command dd<BR>
&gt; if=/dev/zero of=bar bs=1048576 count=20480. Because our brick has very<BR>
&gt; fast local IO speed, the problem could be network.<BR>
&gt;<BR>
&gt;<BR>
&gt;&nbsp;&nbsp; Then I found computing nodes got too many retransmited segments<BR>
&gt; during test according to netstat -st. The retransmission ratio is<BR>
&gt; about 5%, but brick node has a normally low transmission rate.<BR>
&gt;<BR>
&gt;<BR>
&gt;&nbsp;&nbsp; Could some shed some light?<BR>
&gt;<BR>
&gt; Best,<BR>
&gt; Manhong<BR>
</FONT>
</P>

</BODY>
</HTML>