<div dir="ltr"><div>P.S. <br></div>  we use single 10000Mbps NIC. I found the networks bandwidth is not a issue.<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Jan 28, 2014 at 4:49 PM, Mingfan Lu <span dir="ltr">&lt;<a href="mailto:mingfan.lu@gmail.com" target="_blank">mingfan.lu@gmail.com</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><br></div>Hi,<br></div><div>  I have a  distributed and replica=3 volume (not to use stripe ) in a cluster. I used dd to write 120 files to test. I foundthe write performane of some files are much lower than others. all these &quot;BAD&quot; files are stored in the same three brick servers for replication (I called node1 node2 node3)<br>


<br></div><div>e.g the bad write performance could be 10MBps while good performance could be 150Mbps+<br><br></div><div>there are no problems about raid and networks.<br></div><div>If i stopped node1 &amp; node2, the write performance of &quot;BAD&quot; files are the similar to (even better) GOOD ones. <br>


<br></div><div>One thing I must metion is  the raids of node1 and node2 are reformated for some reason, there are many self-heal activities to restore files in node1 and node2.<br></div><div>Is the BAD write performance caused by aggresive self-heal? <br>


</div><div>How could I slow down the self-heal?<br></div><div>Any advise? <br></div><div><br></div><div>  <br></div></div>
</blockquote></div><br></div>