Thanks for the response.  Yes, only gluster bricks on the disk.  I know about the large count of small files issue, but we changed how we organized the files.  Each directory has about 30 files in it.  Am I missing something?<br>
<br><div class="gmail_quote">On Thu, Nov 1, 2012 at 9:24 PM, Jules Wang <span dir="ltr">&lt;<a href="mailto:lancelotds@163.com" target="_blank">lancelotds@163.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div style="line-height:1.7;font-size:14px;font-family:arial">Hi John:<br>    Glusterfs is not designed for handling large count  small files, because it has no meta data server, every lookup operation cost a lot in your situation.<br>
    The disk usage is abnormal, does your disk only have gluster bricks? <br><br>Best Regards.<span class="HOEnZb"><font color="#888888"><br>Jules Wang</font></span><div><div class="h5"><br><br><br><div></div><div></div><br>
At 2012-11-02 08:03:21,&quot;Jonathan Lefman&quot; &lt;<a href="mailto:jonathan.lefman@essess.com" target="_blank">jonathan.lefman@essess.com</a>&gt; wrote:<br> <blockquote style="PADDING-LEFT:1ex;MARGIN:0px 0px 0px 0.8ex;BORDER-LEFT:#ccc 1px solid">
Hi all,<div><br></div><div>I am having problems with painfully slow directory listings on a freshly created replicated volume.  The configuration is as follows:   2 nodes with 3 replicated drives each.  The total volume capacity is 5.6T.  We would like to expand the storage capacity much more, but first we need to figure this problem out.</div>

<div><br></div><div>Soon after loading up about 100 MB of small files (about 300kb each), the drive usage is at 1.1T.  I am not sure if this to be expected.  The main problem is that directory listing (ls or find) takes a very long time.  The CPU usage on the nodes is high for each of the glusterfsd processes - 3 on each machine 54%, 43%, and 25% per core is an example of the usage.  Memory is very low for each process.  It is incredibly difficult to diagnose this issue.  We have wiped previous gluster installs, all directories, and mount points as well as reformatting the disks.  Each drive is formatted with ext4.  </div>

<div><br></div><div>Has anyone had a similar result?  Any ideas on how to debug this one?</div><div><br></div><div>Thank you,</div><div><br></div><div>Jon</div><div><br></div>
</blockquote></div></div></div><br><br><span title="neteasefooter"><span></span></span></blockquote></div><br>