<html><body><div style="color:#000; background-color:#fff; font-family:Courier New, courier, monaco, monospace, sans-serif;font-size:10pt"><div>I've created a distributed replicated volume:</div><div><br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;">&gt; gluster&gt; volume info<br>&gt;&nbsp; <br>&gt; Volume Name: Repositories<br>&gt; Type: Distributed-Replicate<br>&gt; Volume ID: 926262ae-2aa6-4bf7-b19e-cf674431b06c<br>&gt; Status: Started<br>&gt; Number of Bricks: 2 x 2 = 4<br>&gt; Transport-type: tcp<br>&gt; Bricks:<br>&gt; Brick1: 192.168.1.1:/srv/sda7<br>&gt; Brick2: 192.168.1.2:/srv/sda7<br>&gt; Brick3: 192.168.1.1:/srv/sdb7<br>&gt; Brick4: 192.168.1.2:/srv/sdb7<br></div><div><br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color:
 transparent; font-style: normal;">...and begun migrating data from one brick to another as a PoC:</div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;"><br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;">&gt; gluster&gt; volume replace-brick Repositories 192.168.1.1:/srv/sda7 192.168.1.1:/srv/sda8 start<br>&gt; replace-brick started successfully<br>&gt; <br>&gt; gluster&gt; volume replace-brick Repositories 192.168.1.1:/srv/sda7 192.168.1.1:/srv/sda8 status<br>&gt; Number of files migrated = 5147&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Current file= /centos/5.8/os/x86_64/CentOS/gnome-pilot-conduits-2.0.13-7.el5.x86_64.rpm <br>&gt; gluster&gt; volume replace-brick Repositories 192.168.1.1:/srv/sda7
 192.168.1.1:/srv/sda8 status<br>&gt; Number of files migrated = 24631&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Migration complete <br><br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;">After the migration is finished, though, the list of bricks is wrong:<br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;"><br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;">&gt; gluster&gt; volume heal Repositories
 info&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <br>&gt; Heal operation on volume Repositories has been successful<br>&gt; <br>&gt; Brick 192.168.1.1:/srv/sda7<br>&gt; Number of entries: 0<br>&gt; <br>&gt; Brick 192.168.1.2:/srv/sda7<br>&gt; Number of entries: 0<br>&gt; <br>&gt; Brick 192.168.1.1:/srv/sdb7<br>&gt; Number of entries: 0<br>&gt; <br>&gt; Brick 192.168.1.2:/srv/sdb7<br>&gt; Number of entries: 0</div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;"><br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family:
 Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;">...and the XFS attributes are still intact on the old brick:</div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;"><br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;">&gt; [eric@sn1 ~]$ for x in sda7 sdb7 sda8 ; do sudo getfattr -m - /srv/$x 2&gt; /dev/null ; done<br>&gt; # file: srv/sda7<br>&gt; trusted.afr.Repositories-client-0<br>&gt; trusted.afr.Repositories-client-1<br>&gt; trusted.afr.Repositories-io-threads<br>&gt; trusted.afr.Repositories-replace-brick<br>&gt; trusted.gfid<br>&gt; trusted.glusterfs.dht<br>&gt; trusted.glusterfs.pump-path<br>&gt; trusted.glusterfs.volume-id<br>&gt; <br>&gt; # file:
 srv/sdb7<br>&gt; trusted.afr.Repositories-client-2<br>&gt; trusted.afr.Repositories-client-3<br>&gt; trusted.gfid<br>&gt; trusted.glusterfs.dht<br>&gt; trusted.glusterfs.volume-id<br>&gt; <br>&gt; # file: srv/sda8<br>&gt; trusted.afr.Repositories-io-threads<br>&gt; trusted.afr.Repositories-replace-brick<br>&gt; trusted.gfid<br>&gt; trusted.glusterfs.volume-id<br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;"><br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;">Have I missed a step? Or: Is this (i.e., clean-up) a bug or functionality that hasn't been implemented yet?</div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color:
 transparent; font-style: normal;"><br></div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;">Eric Pretorious</div><div style="color: rgb(0, 0, 0); font-size: 13.3333px; font-family: Courier New,courier,monaco,monospace,sans-serif; background-color: transparent; font-style: normal;">Truckee, CA<br></div></div></body></html>