<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 14 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";
        color:black;
        mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";
        color:black;}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
span.EmailStyle18
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:Consolas;
        color:black;
        mso-fareast-language:EN-US;}
span.EmailStyle21
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body bgcolor=white lang=EN-AU link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='color:#1F497D'>Thanks Pranith, I hope Susant can help!<o:p></o:p></span></p><p class=MsoNormal><span style='color:#1F497D'><o:p>&nbsp;</o:p></span></p><div><div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif";color:windowtext;mso-fareast-language:EN-AU'>From:</span></b><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif";color:windowtext;mso-fareast-language:EN-AU'> Pranith Kumar Karampuri [mailto:pkarampu@redhat.com] <br><b>Sent:</b> Wednesday, 18 June 2014 11:48 AM<br><b>To:</b> SINCOCK John; gluster-users@gluster.org<br><b>Cc:</b> Susant Palai<br><b>Subject:</b> Re: [Gluster-users] Unable to delete files but getfattr shows file is part of glusterfs<o:p></o:p></span></p></div></div><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal>I think Susant knows about this issue<br><br>CCed him<br><br>Pranith<o:p></o:p></p><div><p class=MsoNormal>On 06/15/2014 07:16 PM, SINCOCK John wrote:<o:p></o:p></p></div><blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'><p class=MsoNormal>Hi Everybody,<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>We have recently setup a 2-node gluster, and are having some problems deleting some files!<o:p></o:p></p><p class=MsoNormal>We haven&#8217;t accessed the gluster bricks directly, all access has been through the glusterfs mount <o:p></o:p></p><p class=MsoNormal>The 1<sup>st</sup> node in our cluster also handles sharing the glusterfs volume via samba, to windows clients.<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>Environment is:<o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>Kernel: 2.6.32-431.1.2.0.1.el6.x86_64 #1 SMP Fri Dec 13 13:06:13 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>CentOS release 6.4 (Final)</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>&nbsp;</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>glusterfs-libs-3.4.1-3.el6.x86_64</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>glusterfs-cli-3.4.1-3.el6.x86_64</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>glusterfs-fuse-3.4.1-3.el6.x86_64</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>glusterfs-server-3.4.1-3.el6.x86_64</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>glusterfs-3.4.1-3.el6.x86_64</span><o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4 bricks on each node<o:p></o:p></p><p class=MsoNormal>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Gluster is setup without replication or striping<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Bricks on one of the two nodes (the other node is setup the same):<o:p></o:p></p><p class=MsoNormal style='margin-left:72.0pt'><span style='font-family:"Courier New"'>/dev/sda1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;9.1T&nbsp; 4.7T&nbsp; 4.5T&nbsp; 51% /mnt/glusterfs/bricks/1</span><o:p></o:p></p><p class=MsoNormal style='margin-left:72.0pt'><span style='font-family:"Courier New"'>/dev/sda2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9.1T&nbsp; 3.7T&nbsp; 5.5T&nbsp; 40% /mnt/glusterfs/bricks/2</span><o:p></o:p></p><p class=MsoNormal style='margin-left:72.0pt'><span style='font-family:"Courier New"'>/dev/sda3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9.1T&nbsp; 3.7T&nbsp; 5.5T&nbsp; 40% /mnt/glusterfs/bricks/3</span><o:p></o:p></p><p class=MsoNormal style='margin-left:72.0pt'><span style='font-family:"Courier New"'>/dev/sda4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9.1T&nbsp; 4.1T&nbsp; 5.0T&nbsp; 46% /mnt/glusterfs/bricks/4</span><o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'>Gluster volume mounted on 1st node:<o:p></o:p></p><p class=MsoNormal style='margin-left:72.0pt'><span style='font-family:"Courier New"'>g-unit-1:/vol00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 73T&nbsp;&nbsp; 31T&nbsp;&nbsp; 43T&nbsp; 42% /gluster/vol00</span><o:p></o:p></p><p class=MsoNormal>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Mount options:<o:p></o:p></p><p class=MsoNormal style='margin-left:72.0pt'><span style='font-family:"Courier New"'>g-unit-1:/vol00 on /gluster/vol00 type fuse.glusterfs (rw,nosuid,nodev,noatime,default_permissions,allow_other,max_read=131072)</span><o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal><b><span style='color:red'>So the problem is this:</span></b><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>[root@g-unit-1 ~]# rm -Rf /gluster/vol00/data/CentOS3/CentOS_6.4_Final</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>rm: cannot remove `/gluster/vol00/data/CentOS3/CentOS_6.4_Final/Packages': Directory not empty</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>rm: cannot remove `/gluster/vol00/data/CentOS3/CentOS_6.4_Final/EFI/BOOT': Directory not empty</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>[root@g-unit-1 ~]#</span><o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>And the delete leaves behind 2000 or so files:<o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>[root@g-unit-1 ~]# find /gluster/vol00/data/CentOS3/CentOS_6.4_Final/ -type f | wc -l</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>2185</span><o:p></o:p></p><p class=MsoNormal>Almost all the left behind files are on the 2<sup>nd</sup> node, g-unit-2, but there are a few on g-unit-1<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>From the 2<sup>nd</sup> node, g-unit-2:<o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>[root@g-unit-2 ~]# getfattr -m . -d -e hex /mnt/glusterfs/bricks/2/data/CentOS3/CentOS_6.4_Final/EFI/BOOT/BOOTX64.efi</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>getfattr: Removing leading '/' from absolute path names</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'># file: mnt/glusterfs/bricks/2/data/CentOS3/CentOS_6.4_Final/EFI/BOOT/BOOTX64.efi</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>trusted.gfid=0xa9b0a66cf39b49c7890b2da3f631929f</span><o:p></o:p></p><p class=MsoNormal>So the file is there, is tagged with some gluster info, and has definitely been copied onto the volume properly, via the glusterfs mount. It hasn&#8217;t been copied directly onto the brick.<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>But from g-unit-1, accessing via the glusterfs mount, and trying to delete this file:<o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>[root@g-unit-1 ~]# rm /gluster/vol00/data/CentOS3/CentOS_6.4_Final/EFI/BOOT/BOOTX64.efi</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>rm: remove regular file `/gluster/vol00/data/CentOS3/CentOS_6.4_Final/EFI/BOOT/BOOTX64.efi'? y</span><o:p></o:p></p><p class=MsoNormal style='margin-left:36.0pt'><span style='font-family:"Courier New"'>rm: cannot remove `/gluster/vol00/data/CentOS3/CentOS_6.4_Final/EFI/BOOT/BOOTX64.efi': No such file or directory</span><o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>What the hell!?!!!!!<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>Can someone please suggest the best course of action to resolve this and prevent it happening in the future?<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>Thanks for any assistance.<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>John<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal>&nbsp;<o:p></o:p></p><p class=MsoNormal><span style='font-size:12.0pt;font-family:"Times New Roman","serif";mso-fareast-language:EN-AU'><br><br><br><o:p></o:p></span></p><pre>_______________________________________________<o:p></o:p></pre><pre>Gluster-users mailing list<o:p></o:p></pre><pre><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><o:p></o:p></pre><pre><a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a><o:p></o:p></pre></blockquote><p class=MsoNormal><span style='font-size:12.0pt;font-family:"Times New Roman","serif";mso-fareast-language:EN-AU'><o:p>&nbsp;</o:p></span></p></div></body></html>