Hi,<br>  We dug deeper and found the answer. <br><br>SInce we are deploying in the EC2 environment, we had multiple gluster machines based of the same image. As you can imagine, each of them had the same UUID. This issue manifested itself when we tried to grow our cluster beyond more than 2 nodes - other than directory listings, we appeared to have full functionality on two nodes despite this misconfiguration. After changing the UUIDs on each of the boxes, everything worked like a dream. <br>
<br><br>Just as an FYI, using 24 EBS volumes across 3 HPC nodes on AWS, we were able to obtain ~1.3Gpbs of write throughput to our volumes from a single client node for a several hundred gigabytes write tests. Breaking the 1Gbps barrier so easily feels nice :). We will continue to optimize our setup and share the results with the community as we get them. <br>
<br>Thanks for all your help.<br><br>Regards,<br>Khawaja<br><br><div class="gmail_quote">On Thu, Oct 6, 2011 at 10:10 PM, Shishir Nagaraja. Gowda <span dir="ltr">&lt;<a href="mailto:shishirng@gluster.com">shishirng@gluster.com</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Hi Khawaja,<br>
<br>
Can you please provide the client logs to help us triage the issue?<br>
<br>
With regards,<br>
Shishir<br>
________________________________________<br>
From: <a href="mailto:gluster-users-bounces@gluster.org">gluster-users-bounces@gluster.org</a> [<a href="mailto:gluster-users-bounces@gluster.org">gluster-users-bounces@gluster.org</a>] on behalf of <a href="mailto:gluster-users-request@gluster.org">gluster-users-request@gluster.org</a> [<a href="mailto:gluster-users-request@gluster.org">gluster-users-request@gluster.org</a>]<br>

Sent: Friday, October 07, 2011 12:30 AM<br>
To: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
Subject: Gluster-users Digest, Vol 42, Issue 8<br>
<br>
Send Gluster-users mailing list submissions to<br>
        <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
<br>
To subscribe or unsubscribe via the World Wide Web, visit<br>
        <a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><br>
or, via email, send a message with subject or body &#39;help&#39; to<br>
        <a href="mailto:gluster-users-request@gluster.org">gluster-users-request@gluster.org</a><br>
<br>
You can reach the person managing the list at<br>
        <a href="mailto:gluster-users-owner@gluster.org">gluster-users-owner@gluster.org</a><br>
<br>
When replying, please edit your Subject line so it is more specific<br>
than &quot;Re: Contents of Gluster-users digest...&quot;<br>
<br>
<br>
Today&#39;s Topics:<br>
<br>
   1. Re: Gluster on EC2 - how to replace failed        EBS     volume?<br>
      (Don Spidell)<br>
   2. Re: Directory listings not working (Khawaja Shams)<br>
<br>
<br>
----------------------------------------------------------------------<br>
<br>
Message: 1<br>
Date: Thu, 06 Oct 2011 13:42:33 -0400 (EDT)<br>
From: Don Spidell &lt;<a href="mailto:dspidell@nxtbookmedia.com">dspidell@nxtbookmedia.com</a>&gt;<br>
Subject: Re: [Gluster-users] Gluster on EC2 - how to replace failed<br>
        EBS     volume?<br>
To: Olivier Nicole &lt;<a href="mailto:Olivier.Nicole@cs.ait.ac.th">Olivier.Nicole@cs.ait.ac.th</a>&gt;<br>
Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
Message-ID: &lt;62d849c4-e532-494f-a0a1-b69af59114b8@dspidell&gt;<br>
Content-Type: text/plain; charset=utf-8<br>
<br>
Olivier,<br>
<br>
That is a brilliant idea.  I implemented it in a test environment today and am doing some benchmarks.  Great idea to eliminate RAID0.  I was only using it to get better I/O throughput on EC2 EBS.  I didn&#39;t know that Gluster would handle the striping like it does.<br>

<br>
Thank you very much!<br>
Don<br>
<br>
<br>
<br>
<br>
----- Original Message -----<br>
From: &quot;Olivier Nicole&quot; &lt;<a href="mailto:Olivier.Nicole@cs.ait.ac.th">Olivier.Nicole@cs.ait.ac.th</a>&gt;<br>
To: <a href="mailto:dspidell@nxtbookmedia.com">dspidell@nxtbookmedia.com</a><br>
Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
Sent: Wednesday, October 5, 2011 10:45:13 PM<br>
Subject: Re: [Gluster-users] Gluster on EC2 - how to replace failed EBS volume?<br>
<br>
Hi Don,<br>
<br>
&gt; Thanks for your reply.  Can you explain what you mean by:<br>
&gt;<br>
&gt; &gt; Instead of configuring your 8 disks in RAID 0, I would use JOBD and<br>
&gt; &gt; let Gluster do the concatenation. That way, when you replace a disk,<br>
&gt; &gt; you just have 125 GB to self-heal.<br>
<br>
If I am not mistaken, RAID 0 provides no redundancy, it just<br>
concatenates the 8 125GB disks together so they appear as one big 1TB<br>
disk.<br>
<br>
So I would not use any RAID on the machine, just have 8 independent<br>
disks and mount the 8 disks at eight locations:<br>
<br>
mount /dev/sda1 /<br>
mount /dev/sdb1 /datab<br>
mount /dev/sdc1 /datac<br>
etc.<br>
<br>
The in gluster I would have the bricks<br>
<br>
server:/data<br>
server:/datab<br>
server:/datac<br>
etc.<br>
<br>
If any disk (except the system disk) fails, you can simply fit in a<br>
new disk and let gluster self-heal.<br>
<br>
Even if RAID 0 increases the disk throughput because it does stripping<br>
(write different blocks to different disks), gluster does the same<br>
more or less, each new file will end up in a different disk. So the<br>
trhoughput should be close.<br>
<br>
The only disadvantage is that gluster will have some space overhead,<br>
as it will create a replicate of the directory tree on each disk.<br>
<br>
I think that you should only use RAID with gluster when RAID provides<br>
local redundancy (RAID 1 or above): in that case, when a disk fails,<br>
gluster will not notice the problem, you swap to a new disk and let<br>
RAID rebuild the information.<br>
<br>
Bests,<br>
<br>
Olivier<br>
<br>
<br>
------------------------------<br>
<br>
Message: 2<br>
Date: Thu, 6 Oct 2011 11:17:45 -0700<br>
From: Khawaja Shams &lt;<a href="mailto:kshams@usc.edu">kshams@usc.edu</a>&gt;<br>
Subject: Re: [Gluster-users] Directory listings not working<br>
To: Luis Cerezo &lt;<a href="mailto:lec@luiscerezo.org">lec@luiscerezo.org</a>&gt;<br>
Cc: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>
Message-ID:<br>
        &lt;CAD7LovQV4Ciz80XTGY4+7d5EDe=<a href="mailto:BriwEH_qWSiVRSpg4RMC1pA@mail.gmail.com">BriwEH_qWSiVRSpg4RMC1pA@mail.gmail.com</a>&gt;<br>
Content-Type: text/plain; charset=&quot;iso-8859-1&quot;<br>
<br>
Hi,<br>
  To clarify, we are not intentionally using a nightly build. We downloaded<br>
the src from here:<br>
<a href="http://download.gluster.com/pub/gluster/glusterfs/LATEST/" target="_blank">http://download.gluster.com/pub/gluster/glusterfs/LATEST/</a><br>
<br>
After installing from the source, we get the version specified in the email<br>
above. Is this incorrect? Where should we be downloading the stable build<br>
from? Thanks!<br>
<br>
Regards,<br>
Khawaja<br>
<br>
On Wed, Oct 5, 2011 at 3:44 PM, Khawaja Shams &lt;<a href="mailto:kshams@usc.edu">kshams@usc.edu</a>&gt; wrote:<br>
<br>
&gt; Hi Luis,<br>
&gt;    Thanks for responding. We are using the nightly build from October 4th.<br>
&gt; Maybe that is our problem.<br>
&gt;<br>
&gt; glusterfs 3.2.4 built on Oct  4 2011 22:49:01<br>
&gt; Repository revision: git://<a href="http://git.gluster.com/glusterfs.git" target="_blank">git.gluster.com/glusterfs.git</a><br>
&gt; Copyright (c) 2006-2011 Gluster Inc. &lt;<a href="http://www.gluster.com" target="_blank">http://www.gluster.com</a>&gt;<br>
&gt; GlusterFS comes with ABSOLUTELY NO WARRANTY.<br>
&gt; You may redistribute copies of GlusterFS under the terms of the GNU General<br>
&gt; Public License.<br>
&gt;<br>
&gt;<br>
&gt; Our ls is the same as /bin/ls:<br>
&gt; # which ls<br>
&gt; alias ls=&#39;ls --color=tty&#39;<br>
&gt;     /bin/ls<br>
&gt;<br>
&gt; Any suggestions?<br>
&gt;<br>
&gt; Regards,<br>
&gt; Khawaja<br>
&gt;<br>
&gt; On Wed, Oct 5, 2011 at 5:48 AM, Luis Cerezo &lt;<a href="mailto:lec@luiscerezo.org">lec@luiscerezo.org</a>&gt; wrote:<br>
&gt;<br>
&gt;&gt; you don&#39;t say what version. is there a difference for you between /bin/ls<br>
&gt;&gt; and ls?<br>
&gt;&gt;<br>
&gt;&gt; -luis<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; On Oct 5, 2011, at 6:04 AM, Khawaja Shams wrote:<br>
&gt;&gt;<br>
&gt;&gt; Hello,<br>
&gt;&gt;   I just finished installing gluster on two machines in server mode in<br>
&gt;&gt; EC2. I have mounted it via fuse on one of the boxes. Here is my volume info:<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; # gluster volume info<br>
&gt;&gt;<br>
&gt;&gt; Volume Name: fast<br>
&gt;&gt; Type: Stripe<br>
&gt;&gt; Status: Started<br>
&gt;&gt; Number of Bricks: 2<br>
&gt;&gt; Transport-type: tcp<br>
&gt;&gt; Bricks:<br>
&gt;&gt; Brick1: server1:/data2<br>
&gt;&gt; Brick2: server2:/data<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; All of this works great, and I can write files at a fairly high<br>
&gt;&gt; throughput. However, I cannot list files in the directory. I can write files<br>
&gt;&gt; and then read them back without any concerns. Furthermore, I can see parts<br>
&gt;&gt; of the files in the /data and /data2 directories on the server.<br>
&gt;&gt;<br>
&gt;&gt;   Did I miss a step? Thank you.<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; Regards,<br>
&gt;&gt; Khawaja<br>
&gt;&gt;<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; Gluster-users mailing list<br>
&gt;&gt; <a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
&gt;&gt; <a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; Luis E. Cerezo<br>
&gt;&gt;<br>
&gt;&gt; <a href="http://www.luiscerezo.org" target="_blank">http://www.luiscerezo.org</a><br>
&gt;&gt; <a href="http://twitter.com/luiscerezo" target="_blank">http://twitter.com/luiscerezo</a><br>
&gt;&gt; <a href="http://flickr.com/photos/luiscerezo" target="_blank">http://flickr.com/photos/luiscerezo</a><br>
&gt;&gt; photos for sale:<br>
&gt;&gt; <a href="http://photos.luiscerezo.org" target="_blank">http://photos.luiscerezo.org</a><br>
&gt;&gt; Voice: <a href="tel:412%20223%207396" value="+14122237396">412 223 7396</a><br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;<br>
-------------- next part --------------<br>
An HTML attachment was scrubbed...<br>
URL: &lt;<a href="http://gluster.org/pipermail/gluster-users/attachments/20111006/36018e47/attachment.html" target="_blank">http://gluster.org/pipermail/gluster-users/attachments/20111006/36018e47/attachment.html</a>&gt;<br>

<br>
------------------------------<br>
<br>
_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><br>
<br>
<br>
End of Gluster-users Digest, Vol 42, Issue 8<br>
********************************************<br>
_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://gluster.org/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://gluster.org/cgi-bin/mailman/listinfo/gluster-users</a><br>
</blockquote></div><br>