<html><head><meta http-equiv="Content-Type" content="text/html charset=us-ascii"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div>Ok, a smaller test case for release-3.3 branch. I can't seem to remove a brick without somehow breaking the volume:</div><div><br></div><div><br></div><div><br></div><div><div>[14:53:46] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:~# mkdir /test</div><div>[14:55:23] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:~# cd /test/</div><div>[14:55:26] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# mkdir b1</div><div>[14:55:28] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# mkdir b2</div><div>[14:55:29] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# mkdir b3</div><div>[14:55:31] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# <b>gluster volume create marctest replica 3 fs-5.mseeger:/test/b1 fs-5.mseeger:/test/b2 fs-5.mseeger:/test/b3</b></div><div>Multiple bricks of a replicate volume are present on the same server. This setup is not optimal.</div><div>Do you still want to continue creating the volume? &nbsp;(y/n) y</div><div>Creation of volume marctest has been successful. Please start the volume to access data.</div><div>[14:56:07] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# <b>gluster volume start marctest</b></div><div>Starting volume marctest has been successful</div><div><br></div><div>[14:57:40] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# <b>gluster volume info marctest</b></div><div>&nbsp;</div><div>Volume Name: marctest</div><div>Type: Replicate</div><div>Volume ID: a25ee38b-156c-4ea0-87d6-0522af615c72</div><div>Status: Started</div><div>Number of Bricks: 1 x 3 = 3</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: fs-5.mseeger:/test/b1</div><div>Brick2: fs-5.mseeger:/test/b2</div><div>Brick3: fs-5.mseeger:/test/b3</div><div><br></div><div>[14:57:44] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# <b>gluster volume remove-brick marctest replica 2 fs-5.mseeger:/test/b3 start</b></div><div>Remove Brick start unsuccessful</div><div><br></div><div>[14:57:52] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# <b>gluster volume info marctest</b></div><div>&nbsp;</div><div>Volume Name: marctest</div><div>Type: Distributed-Replicate</div><div>Volume ID: a25ee38b-156c-4ea0-87d6-0522af615c72</div><div>Status: Started</div><div>Number of Bricks: 1 x 2 = 3</div><div>Transport-type: tcp</div><div>Bricks:</div><div>Brick1: fs-5.mseeger:/test/b1</div><div>Brick2: fs-5.mseeger:/test/b2</div><div>Brick3: fs-5.mseeger:/test/b3</div><div><br></div><div>[14:58:03] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# <b>gluster volume remove-brick marctest replica 2 fs-5.mseeger:/test/b3 start</b></div><div>number of bricks provided (1) is not valid. need at least 2 (or 2xN)</div><div><br></div><div>[14:58:56] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# <b>gluster volume stop marctest</b></div><div>Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y</div><div>Stopping volume marctest has been successful</div><div><br></div><div>[15:01:22] <a href="mailto:root@fs-5.mseeger">root@fs-5.mseeger</a>:/test# <b>gluster volume start marctest</b></div><div>Starting volume marctest has been unsuccessful</div></div><div><br></div><div><br></div><div><br></div><div>These are the log file entries for the initial removal:</div><div><br></div><div><div>[2013-06-11 14:57:44.498903] I [glusterd-handler.c:866:glusterd_handle_cli_get_volume] 0-glusterd: Received get vol req</div><div>[2013-06-11 14:57:52.758892] I [glusterd-brick-ops.c:601:glusterd_handle_remove_brick] 0-glusterd: Received rem brick req</div><div>[2013-06-11 14:57:52.758892] I [glusterd-brick-ops.c:642:glusterd_handle_remove_brick] 0-management: request to change replica-count to 2</div><div>[2013-06-11 14:57:52.758892] I [glusterd-utils.c:857:glusterd_volume_brickinfo_get_by_brick] 0-: brick: fs-5.mseeger:/test/b3</div><div>[2013-06-11 14:57:52.758892] I [glusterd-utils.c:814:glusterd_volume_brickinfo_get] 0-management: Found brick</div><div>[2013-06-11 14:57:52.758892] I [glusterd-utils.c:285:glusterd_lock] 0-glusterd: Cluster lock held by 7c798980-5413-484c-ac33-aeb873acec7d</div><div>[2013-06-11 14:57:52.758892] I [glusterd-handler.c:463:glusterd_op_txn_begin] 0-management: Acquired local lock</div><div>[2013-06-11 14:57:52.758892] I [glusterd-rpc-ops.c:548:glusterd3_1_cluster_lock_cbk] 0-glusterd: Received ACC from uuid: f2bb435f-5db3-4ea9-b640-fc5aab3fdf76</div><div>[2013-06-11 14:57:52.758892] I [glusterd-op-sm.c:2039:glusterd_op_ac_send_stage_op] 0-glusterd: Sent op req to 1 peers</div><div>[2013-06-11 14:57:52.758892] I [glusterd-rpc-ops.c:881:glusterd3_1_stage_op_cbk] 0-glusterd: Received ACC from uuid: f2bb435f-5db3-4ea9-b640-fc5aab3fdf76</div><div>[2013-06-11 14:57:52.758892] I [glusterd-op-sm.c:3487:glusterd_bricks_select_remove_brick] 0-management: force flag is not set</div><div>[2013-06-11 14:57:52.758892] I [glusterd-utils.c:857:glusterd_volume_brickinfo_get_by_brick] 0-: brick: fs-5.mseeger:/test/b3</div><div>[2013-06-11 14:57:52.758892] I [glusterd-utils.c:814:glusterd_volume_brickinfo_get] 0-management: Found brick</div><div><b>[2013-06-11 14:57:52.768892] I [glusterd-brick-ops.c:1590:glusterd_op_remove_brick] 0-management: changing replica count 3 to 2 on volume marctest</b></div><div><b>[2013-06-11 14:57:52.768892] E [glusterd-volgen.c:2158:volgen_graph_build_clients] 0-: volume inconsistency: total number of bricks (3) is not divisible with number of bricks per cluster (2) in a multi-cluster setup</b></div><div><b>[2013-06-11 14:57:52.768892] E [glusterd-volgen.c:3286:glusterd_create_volfiles_and_notify_services] 0-management: Could not generate trusted client volfiles</b></div><div>[2013-06-11 14:57:52.768892] W [glusterd-brick-ops.c:1609:glusterd_op_remove_brick] 0-management: failed to create volfiles</div><div>[2013-06-11 14:57:52.768892] E [glusterd-op-sm.c:2350:glusterd_op_ac_send_commit_op] 0-management: Commit failed</div><div>[2013-06-11 14:57:52.768892] I [glusterd-op-sm.c:2254:glusterd_op_modify_op_ctx] 0-management: op_ctx modification not required</div><div>[2013-06-11 14:57:52.768892] I [glusterd-rpc-ops.c:607:glusterd3_1_cluster_unlock_cbk] 0-glusterd: Received ACC from uuid: f2bb435f-5db3-4ea9-b640-fc5aab3fdf76</div><div>[2013-06-11 14:57:52.768892] I [glusterd-op-sm.c:2653:glusterd_op_txn_complete] 0-glusterd: Cleared local lock</div><div>[2013-06-11 14:58:03.018878] I [glusterd-handler.c:866:glusterd_handle_cli_get_volume] 0-glusterd: Received get vol req</div><div>[2013-06-11 14:58:56.278813] I [glusterd-brick-ops.c:601:glusterd_handle_remove_brick] 0-glusterd: Received rem brick req</div><div>[2013-06-11 14:58:56.278813] I [glusterd-brick-ops.c:642:glusterd_handle_remove_brick] 0-management: request to change replica-count to 2</div><div>[2013-06-11 14:58:56.278813] W [glusterd-brick-ops.c:319:gd_rmbr_validate_replica_count] 0-management: number of bricks provided (1) is not valid. need at least 2 (or 2xN)</div><div>[2013-06-11 14:58:56.278813] E [glusterd-brick-ops.c:844:glusterd_handle_remove_brick] 0-: number of bricks provided (1) is not valid. need at least 2 (or 2xN)</div><div>[2013-06-11 15:01:05.688935] I [glusterd-volume-ops.c:354:glusterd_handle_cli_stop_volume] 0-glusterd: Received stop vol reqfor volume marctest</div></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div><br><div><div>On Jun 11, 2013, at 3:01 PM, Bobby Jacob &lt;<a href="mailto:bobby.jacob@alshaya.com">bobby.jacob@alshaya.com</a>&gt; wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite">Hi All,<br><br>I'm using the following glusterFS version:<br><span class="Apple-tab-span" style="white-space:pre">        </span>glusterfs 3.3.1 built on Oct 11 2012<br>I was successfully able to remove bricks from a 4-replica volume by reducing<br>the replica count to 3. My "gluster volume status" displayed the status of<br>the volume to be a 3-Mode Replicate volume. Further I removed another brick<br>by reducing the replica to 2. <br><br>Later, added another node using add-brick and increasing the replica count<br>to 3. ALL WORKED FINE FOR ME. !!<br><br>Here are the commands I used:<br>1) gluster volume remove-brick Cloud-data replica 3 GSNODE01:/mnt/brick1<br>(Changed Replica count from 4 to 3)<br>2) gluster volume remove-brick Cloud-data replica 2 GSNODE01:/mnt/brick2<br>(Changed Replica count from 3 to 2)<br>3) gluster volume add-brick Cloud-data replica 3 GSNODE01:/brick4<br>(Changed Replica count from 2 to 3)<br><br>Thanks &amp; Regards,<br><br>Bobby Jacob<br>Senior Technical Systems Engineer | eGroup<br><br>-----Original Message-----<br>From: <a href="mailto:gluster-users-bounces@gluster.org">gluster-users-bounces@gluster.org</a><br>[mailto:gluster-<a href="mailto:users-bounces@gluster.org">users-bounces@gluster.org</a>] On Behalf Of Marc Seeger<br>Sent: Tuesday, June 11, 2013 3:42 PM<br>To: <a href="mailto:gluster-users@gluster.org">gluster-users@gluster.org</a><br>Subject: [Gluster-users] Removing bricks from a replicated setup completely<br>brakes volume on Gluster 3.3<br><br>Initial setup: A replicated volume with 3 bricks<br>Goal: Remove one of the bricks from it.<br>Version: # glusterfs 3.3git built on Jun &nbsp;7 2013 14:38:02 (branch<br>release-3.3)<br><br>Initial setup: A replicated volume with 3 bricks<br>Goal: Remove one of the bricks from it.<br>Outcome: A completely broken volume<br><br><br>------------- Volume info -------------<br><br><a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# gluster volume info<br><br>Volume Name: test-fs-cluster-1<br>Type: Replicate<br>Volume ID: 752e7ffd-04bb-4234-8d16-d1f49ef510b7<br>Status: Started<br>Number of Bricks: 1 x 3 = 3<br>Transport-type: tcp<br>Bricks:<br>Brick1: <a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick21<br>Brick2: <a href="http://fs-15.example.com">fs-15.example.com</a>:/mnt/brick20<br>Brick3: <a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick33<br><br><br>------------- Trying to remove a brick -------------<br><br>fields-config-gluster.rb[5035]: Using commandline: gluster volume<br>remove-brick test-fs-cluster-1 replica 2 <a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick33<br>start<br>fields-config-gluster.rb[5035]: Command returned exit code 255: gluster<br>volume remove-brick test-fs-cluster-1 replica 2<br><a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick33 start stdout was:<br><br>stderr was:<br>Remove Brick start unsuccessful<br><br><br><br><br>------------- Volume turned Distributed-Replicate ------------- [12:23:37]<br><a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# gluster volume info<br><br>Volume Name: test-fs-cluster-1<br>Type: Distributed-Replicate<br>Volume ID: 752e7ffd-04bb-4234-8d16-d1f49ef510b7<br>Status: Started<br>Number of Bricks: 1 x 2 = 3<br>Transport-type: tcp<br>Bricks:<br>Brick1: <a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick21<br>Brick2: <a href="http://fs-15.example.com">fs-15.example.com</a>:/mnt/brick20<br>Brick3: <a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick33<br><br><br>------------- Trying to remove brick again -------------<br><br>[12:26:20] <a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# gluster volume remove-brick<br>test-fs-cluster-1 replica 2 <a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick33 start number of<br>bricks provided (1) is not valid. need at least 2 (or 2xN)<br><br>------------- Trying to stop volume -------------<br><br>[12:28:34] <a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# gluster volume stop test-fs-cluster-1<br>Stopping volume will make its data inaccessible. Do you want to continue?<br>(y/n) y Stopping volume test-fs-cluster-1 has been successful<br><br><br>------------- Trying to start volume again ------------- [12:29:03]<br><a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# gluster volume start test-fs-cluster-1 Starting volume<br>test-fs-cluster-1 has been unsuccessful<br><br>------------- Trying to stop volume again -------------<br><br>[12:29:49] <a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# gluster volume stop test-fs-cluster-1<br>Stopping volume will make its data inaccessible. Do you want to continue?<br>(y/n) y Volume test-fs-cluster-1 is not in the started state<br><br>------------- Trying to delete volume -------------<br><br>[12:29:55] <a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# gluster volume delete test-fs-cluster-1<br>Deleting volume will erase all information about the volume. Do you want to<br>continue? (y/n) y Volume test-fs-cluster-1 has been started.Volume needs to<br>be stopped before deletion.<br><br>------------- Checking volume info ------------- # gluster volume info<br><br>Volume Name: test-fs-cluster-1<br>Type: Distributed-Replicate<br>Volume ID: 752e7ffd-04bb-4234-8d16-d1f49ef510b7<br>Status: Started<br>Number of Bricks: 1 x 2 = 3<br>Transport-type: tcp<br>Bricks:<br>Brick1: <a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick21<br>Brick2: <a href="http://fs-15.example.com">fs-15.example.com</a>:/mnt/brick20<br>Brick3: <a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick33<br><br>------------- Trying to stop volume again ------------- [12:30:50]<br><a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# gluster volume stop test-fs-cluster-1 Stopping volume<br>will make its data inaccessible. Do you want to continue? (y/n) y Volume<br>test-fs-cluster-1 is not in the started state<br><br><br><br>------------- Restarting glusterfs-server -------------<br><br>[12:38:05] <a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# /etc/init.d/glusterfs-server restart<br>glusterfs-server start/running, process 6426<br><br>------------- Volume switched back to "Replicate" ------------- [12:38:33]<br><a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# gluster volume info<br><br>Volume Name: test-fs-cluster-1<br>Type: Replicate<br>Volume ID: 752e7ffd-04bb-4234-8d16-d1f49ef510b7<br>Status: Started<br>Number of Bricks: 1 x 3 = 3<br>Transport-type: tcp<br>Bricks:<br>Brick1: <a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick21<br>Brick2: <a href="http://fs-15.example.com">fs-15.example.com</a>:/mnt/brick20<br>Brick3: <a href="http://fs-14.example.com">fs-14.example.com</a>:/mnt/brick33<br><br><br>------------- Trying to stop volume again ------------- [12:38:39]<br><a href="mailto:root@fs-14.example">root@fs-14.example</a>:~# gluster volume stop test-fs-cluster-1 Stopping volume<br>will make its data inaccessible. Do you want to continue? (y/n) y Volume<br>test-fs-cluster-1 is not in the started state<br><br><br><br>Any idea what's up with that?<br><br>Cheers,<br>Marc<br>_______________________________________________<br>Gluster-users mailing list<br><a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>http://supercolony.gluster.org/mailman/listinfo/gluster-users<br><br></blockquote></div><br></body></html>