<div dir="ltr"><div>Thank you Joe but I didn&#39;t change permissions of files on the brick back-end. Some of the file permissions changed to T--------- unexpectedly after rebalance from client side view. I only run find and try to repair the permissions from client side. <br>
</div><div><br></div></div><div class="gmail_extra"><br><br><div class="gmail_quote">2013/8/23 Joe Julian <span dir="ltr">&lt;<a href="mailto:joe@julianfamily.org" target="_blank">joe@julianfamily.org</a>&gt;</span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

  
    
  
  <div text="#000000" bgcolor="#FFFFFF">
    If you change permissions on a 0 length mode 1000 file with
    trusted.dht.linkto attributes set, you&#39;ll cause all sorts of issues.
    If you /need/ to do something with those files, just delete them.<div><div class="h5"><br>
    <br>
    <div>On 08/22/2013 03:53 PM, ·ûÓÀÌΠwrote:<br>
    </div>
    <blockquote type="cite">Sure there&#39;s a bug about fd leak during rebalance. It
      has been fixed&nbsp;and I have back port it in our production cluster.
      About the permission issue I have to run find cmd too.&nbsp;<span></span><br>
      <br>
      ÔÚ 2013Äê8ÔÂ23ÈÕÐÇÆÚÎ壬Justin Dossey Ð´µÀ£º<br>
      <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
        <div dir="ltr">I had the same problem after a rebalance (going
          from 2 bricks to 6 bricks). &nbsp;It took about a week to get
          everything straightened out (and I reported details on what I
          did to fix it in this mailing list).
          <div>
            <br>
          </div>
          <div>I dread the next rebalance (going from 6 bricks to 8
            bricks)! For this rollout, I still have five rebalances
            remaining before I can declare the GlusterFS migration
            complete.</div>
          <div><br>
          </div>
          <div>To recap,&nbsp;</div>
          <div>1. After a rebalance in which one of my nodes (not the
            &quot;master&quot;, which I initiated the rebalance from) had to be
            rebooted due to too many open files on system (caused by the
            rebalance), many files appeared to clients to have 000 or
            1000 (---------- or T---------) permissions. &nbsp;Many of these
            files could not even be chmodded by root over NFS, returning
            error 576 when I tried. &nbsp;</div>
          <div>2. I found that in many cases, files which had this
            problem had entries on more than two bricks (and my replica
            count is 2). &nbsp;The entries had different permissions and some
            were zero-length files. &nbsp;It appears that different clients
            got different entries at different times, so one might see a
            file as inaccessible while another could read it without
            issues.</div>
          <div>3. I wrote a script to remove the zero-length files (and
            their .glusterfs shadow links), and set permissions properly
            on all the files. &nbsp;Luckily, all the files on my volume have
            uniform permissions (files are all 0644, directories are all
            0755).</div>
          <div>4. I ran a find command every ten minutes to find and
            correct bad permissions. &nbsp;The script in (3) didn&#39;t appear to
            have gotten them all for some reason.</div>
          <div>5. No more files have appeared with this problem since
            August 6th. &nbsp;I&#39;m still running the find every day.</div>
          <div>6. After the permissions problems appeared to be
            resolved, I ran a check to verify that all the files present
            on the volume before the rebalance were present after the
            rebalance. &nbsp;Thankfully, the data appears to have all
            survived.</div>
          <div><br>
          </div>
          <div>The only feedback I got on this mailing list was that
            nothing was wrong.</div>
        </div>
        <div class="gmail_extra"><br>
          <br>
          <div class="gmail_quote">On Wed, Aug 21, 2013 at 11:21 PM,
            Vijay Bellur <span dir="ltr">&lt;<a>vbellur@redhat.com</a>&gt;</span> wrote:<br>
            <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
              <div>On 08/22/2013 09:12 AM, ·ûÓÀÌΠwrote:<br>
                <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
                  Hi Joe thank you but the sticky permissions is exposed
                  to client side<br>
                  due to potential bug related to glusterfs rebalance.<br>
                </blockquote>
                <br>
                <br>
              </div>
              Can you please provide output of ls -l that shows these
              files after rebalance?<br>
              <br>
              -Vijay<br>
              <blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
                <br>
                <br>
                2013/8/20 Joe Julian &lt;<a>joe@julianfamily.org</a>
                &lt;mailto:<a>joe@julianfamily.org</a>&gt;&gt;
                <div>
                  <br>
                  <br>
                  &nbsp; &nbsp; Sticky pointers are normal. See the extended
                  attributes on them to<br>
                  &nbsp; &nbsp; see where they point,<br>
                  <br>
                  &nbsp; &nbsp; getfattr -m trusted.* -d $filename<br>
                  <br>
                  &nbsp; &nbsp; To diagnose your client issue, look in your client
                  log.<br>
                  <br>
                  <br>
                </div>
                <div>
                  &nbsp; &nbsp; &quot;·ûÓÀÌÎ&quot; &lt;<a>yongtaofu@gmail.com</a>
                  &lt;mailto:<a>yongtaofu@gmail.com</a>&gt;&gt;
                  wrote:<br>
                  <br>
                  &nbsp; &nbsp; &nbsp; &nbsp; Dear gluster experts,<br>
                  <br>
                  &nbsp; &nbsp; &nbsp; &nbsp; We&#39;re running glusterfs 3.3 and we have met
                  file permission<br>
                  &nbsp; &nbsp; &nbsp; &nbsp; probelems after gluster volume rebalance.
                  Files got stick<br>
                  &nbsp; &nbsp; &nbsp; &nbsp; permissions T--------- after rebalance which
                  break our client<br>
                  &nbsp; &nbsp; &nbsp; &nbsp; normal fops unexpectedly.<br>
                  &nbsp; &nbsp; &nbsp; &nbsp; Any one known this issue?<br>
                  &nbsp; &nbsp; &nbsp; &nbsp; Thank you for your help.<br>
                  <br>
                  <br>
                  &nbsp; &nbsp; --<br>
                  &nbsp; &nbsp; Sent from my Android device with K-9 Mail. Please
                  excuse my brevity.<br>
                  <br>
                  <br>
                  <br>
                  <br>
                  --<br>
                  ·ûÓÀÌÎ<br>
                  <br>
                  <br>
                </div>
                _______________________________________________<br>
                Gluster-users mailing list<br>
                <a>Gluster-users@gluster.org</a><br>
                <a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a><br>
                <br>
              </blockquote>
              <br>
              _______________________________________________<br>
              Gluster-users mailing list<br>
              <a>Gluster-users@gluster.org</a><br>
              <a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a></blockquote>
          </div>
          <br>
          <br clear="all">
          <div><br>
          </div>
          -- <br>
          Justin Dossey<br>
          CTO, PodOmatic
          <div><br>
          </div>
        </div>
      </blockquote>
      <br>
      <br>
      -- <br>
      ·ûÓÀÌÎ<br>
      <br>
      <fieldset></fieldset>
      <br>
      <pre>_______________________________________________
Gluster-users mailing list
<a href="mailto:Gluster-users@gluster.org" target="_blank">Gluster-users@gluster.org</a>
<a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a></pre>
    </blockquote>
    <br>
  </div></div></div>

<br>_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://supercolony.gluster.org/mailman/listinfo/gluster-users" target="_blank">http://supercolony.gluster.org/mailman/listinfo/gluster-users</a><br></blockquote></div><br><br clear="all"><br>-- <br>·ûÓÀÌÎ
</div>