<div dir="ltr">Setting up Geo-replication with an existing 3 TB of data is turning out to be a huge pain.
<div><br></div><div>It was working for a bit but would go faulty by the time it hit 1TB synced.  Multiple attempts resulted in the same thing.</div><div><br></div><div>Now, I don&#39;t know what&#39;s changed, but it never actually tries to log into the remote server anymore.  Checking &quot;last&quot; logs on the destination shows that it never actually attempts to make the SSH connection.  The geo-replication command is as such:</div>
<div><br></div><div>gluster volume geo-replication docstore1 root@backup-ds2.gluster:/data/docstore1 start<br></div><div><br></div><div>From the log:</div><div><br></div><div><div>[2013-07-26 10:26:04.317667] I [gsyncd:354:main_i] &lt;top&gt;: syncing: gluster://localhost:docstore1 -&gt; ssh://root@backup-ds2.gluster:/data/docstore1</div>
<div>[2013-07-26 10:26:08.258853] I [syncdutils(monitor):142:finalize] &lt;top&gt;: exiting.</div><div>[2013-07-26 10:26:08.259452] E [syncdutils:173:log_raise_exception] &lt;top&gt;: connection to peer is broken</div><div>
<b>[2013-07-26 10:26:08.260386] E [resource:191:errlog] Popen: command &quot;ssh -oControlMaster=auto -S /tmp/gsyncd-aux-ssh-WlTfNb/gsycnd-ssh-%r@%h:%p root@backup-ds2.gluster /usr/lib/glusterfs/glusterfs/gsyncd --session-owner 24f8c92d-723e-4513-9593-40ef4b7e766a -N --listen --timeout 120 file:///data/docstore1&quot; returned with 143</b></div>
</div><div><br></div><div>When I attempt to run the SSH command from the logs directly in the console, ssh replies with:</div><div><br></div><div>muxserver_listen bind(): No such file or directory<br></div><div><br></div>
<div>And, there&#39;s no gsyncd temp directory where specified.  If I manually create that directory and re-run the same command it works.  The problem of course is that the tmp directory is randomly named and starting Gluster geo-rep again will result in a new directory it tries to use.</div>
<div><br></div><div>Running Gluster 3.3.1-ubuntu1~precise9</div><div><br></div><div>Any ideas why this would be happening?  I did find that my Ubuntu packages were trying to access gsyncd in the wrong path so I corrected things.  I&#39;ve also got auto-ssh login using root so I changed my ssh command (and my global ssh config) to make sure the options would work.  Here&#39;s the important geo-rep configs:</div>
<div><br></div><div><div>ssh_command: ssh</div><div>remote_gsyncd: /usr/lib/glusterfs/glusterfs/gsyncd</div><div>gluster_command_dir: /usr/sbin/</div><div>gluster_params: xlator-option=*-dht.assert-no-child-down=true</div>
</div><div><br></div><div>Thanks,</div><div>Tony</div></div>