<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 14 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Tahoma;
panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
{mso-style-priority:99;
mso-style-link:"Balloon Text Char";
margin:0in;
margin-bottom:.0001pt;
font-size:8.0pt;
font-family:"Tahoma","sans-serif";}
span.EmailStyle17
{mso-style-type:personal;
font-family:"Calibri","sans-serif";
color:windowtext;}
span.EmailStyle18
{mso-style-type:personal;
font-family:"Calibri","sans-serif";
color:#1F497D;}
span.EmailStyle19
{mso-style-type:personal-reply;
font-family:"Calibri","sans-serif";
color:#1F497D;}
span.BalloonTextChar
{mso-style-name:"Balloon Text Char";
mso-style-priority:99;
mso-style-link:"Balloon Text";
font-family:"Tahoma","sans-serif";}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="color:#1F497D">From looking at the source, it appears that fuse_mount_sys failed. There's no logging from there, unfortunately.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Is there a way to get logging from FUSE, or other layers, to debug this?<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Thanks,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Rob<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p> </o:p></span></p>
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> Rob Leitman
<br>
<b>Sent:</b> Wednesday, April 16, 2014 2:03 PM<br>
<b>To:</b> 'gluster-users@gluster.org'<br>
<b>Subject:</b> Gluster mount troubleshooting<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I'm running glusterfs 3.4.3 built on Apr 14 2014 22:05:07<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">I have a two-brick volume created, but when I try to mount from the client machine I get an error:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"># mount -t glusterfs -o backupvolfile-server=server2,volfile-max-fetch-attempts=2,log-level=WARNING,log-file=/var/log/gluster.log server1:/webs /mnt/glusterfs/<o:p></o:p></p>
<p class="MsoNormal">/usr/bin/fusermount-glusterfs: mount failed: Invalid argument<o:p></o:p></p>
<p class="MsoNormal">/usr/bin/fusermount-glusterfs: mount failed: Invalid argument<o:p></o:p></p>
<p class="MsoNormal">Mount failed. Please check the log file for more details.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Can I get troubleshooting advice, please?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The log file shows:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">[2014-04-16 20:46:25.081640] E [mount.c:298:gf_fuse_mount] 0-glusterfs-fuse: mount of server1:/webs to /mnt/glusterfs/ (default_permissions,volfile-max-fetch-attempts=2,allow_other,max_read=131072) failed<o:p></o:p></p>
<p class="MsoNormal">[2014-04-16 20:46:25.085507] E [glusterfsd.c:1744:daemonize] 0-daemonize: mount failed<o:p></o:p></p>
<p class="MsoNormal">Given volfile:<o:p></o:p></p>
<p class="MsoNormal">+------------------------------------------------------------------------------+<o:p></o:p></p>
<p class="MsoNormal"> 1: volume webs-client-0<o:p></o:p></p>
<p class="MsoNormal"> 2: type protocol/client<o:p></o:p></p>
<p class="MsoNormal"> 3: option transport-type tcp<o:p></o:p></p>
<p class="MsoNormal"> 4: option remote-subvolume /export/data<o:p></o:p></p>
<p class="MsoNormal"> 5: option remote-host server1<o:p></o:p></p>
<p class="MsoNormal"> 6: end-volume<o:p></o:p></p>
<p class="MsoNormal"> 7: <o:p></o:p></p>
<p class="MsoNormal"> 8: volume webs-client-1<o:p></o:p></p>
<p class="MsoNormal"> 9: type protocol/client<o:p></o:p></p>
<p class="MsoNormal">10: option transport-type tcp<o:p></o:p></p>
<p class="MsoNormal">11: option remote-subvolume /export/data<o:p></o:p></p>
<p class="MsoNormal">12: option remote-host server2<o:p></o:p></p>
<p class="MsoNormal">13: end-volume<o:p></o:p></p>
<p class="MsoNormal">14: <o:p></o:p></p>
<p class="MsoNormal"> 15: volume webs-replicate-0<o:p></o:p></p>
<p class="MsoNormal">16: type cluster/replicate<o:p></o:p></p>
<p class="MsoNormal">17: subvolumes webs-client-0 webs-client-1<o:p></o:p></p>
<p class="MsoNormal">18: end-volume<o:p></o:p></p>
<p class="MsoNormal">19: <o:p></o:p></p>
<p class="MsoNormal"> 20: volume webs-dht<o:p></o:p></p>
<p class="MsoNormal">21: type cluster/distribute<o:p></o:p></p>
<p class="MsoNormal">22: subvolumes webs-replicate-0<o:p></o:p></p>
<p class="MsoNormal">23: end-volume<o:p></o:p></p>
<p class="MsoNormal">24: <o:p></o:p></p>
<p class="MsoNormal"> 25: volume webs-write-behind<o:p></o:p></p>
<p class="MsoNormal">26: type performance/write-behind<o:p></o:p></p>
<p class="MsoNormal">27: subvolumes webs-dht<o:p></o:p></p>
<p class="MsoNormal">28: end-volume<o:p></o:p></p>
<p class="MsoNormal">29: <o:p></o:p></p>
<p class="MsoNormal"> 30: volume webs-read-ahead<o:p></o:p></p>
<p class="MsoNormal">31: type performance/read-ahead<o:p></o:p></p>
<p class="MsoNormal">32: subvolumes webs-write-behind<o:p></o:p></p>
<p class="MsoNormal">33: end-volume<o:p></o:p></p>
<p class="MsoNormal">34: <o:p></o:p></p>
<p class="MsoNormal"> 35: volume webs-io-cache<o:p></o:p></p>
<p class="MsoNormal">36: type performance/io-cache<o:p></o:p></p>
<p class="MsoNormal">37: option cache-size 256MB<o:p></o:p></p>
<p class="MsoNormal">38: subvolumes webs-read-ahead<o:p></o:p></p>
<p class="MsoNormal">39: end-volume<o:p></o:p></p>
<p class="MsoNormal">40: <o:p></o:p></p>
<p class="MsoNormal"> 41: volume webs-quick-read<o:p></o:p></p>
<p class="MsoNormal">42: type performance/quick-read<o:p></o:p></p>
<p class="MsoNormal">43: option cache-size 256MB<o:p></o:p></p>
<p class="MsoNormal">44: subvolumes webs-io-cache<o:p></o:p></p>
<p class="MsoNormal">45: end-volume<o:p></o:p></p>
<p class="MsoNormal">46: <o:p></o:p></p>
<p class="MsoNormal"> 47: volume webs-open-behind<o:p></o:p></p>
<p class="MsoNormal">48: type performance/open-behind<o:p></o:p></p>
<p class="MsoNormal">49: subvolumes webs-quick-read<o:p></o:p></p>
<p class="MsoNormal">50: end-volume<o:p></o:p></p>
<p class="MsoNormal">51: <o:p></o:p></p>
<p class="MsoNormal"> 52: volume webs-md-cache<o:p></o:p></p>
<p class="MsoNormal">53: type performance/md-cache<o:p></o:p></p>
<p class="MsoNormal">54: subvolumes webs-open-behind<o:p></o:p></p>
<p class="MsoNormal">55: end-volume<o:p></o:p></p>
<p class="MsoNormal">56: <o:p></o:p></p>
<p class="MsoNormal"> 57: volume webs<o:p></o:p></p>
<p class="MsoNormal">58: type debug/io-stats<o:p></o:p></p>
<p class="MsoNormal">59: option count-fop-hits off<o:p></o:p></p>
<p class="MsoNormal">60: option latency-measurement off<o:p></o:p></p>
<p class="MsoNormal">61: subvolumes webs-md-cache<o:p></o:p></p>
<p class="MsoNormal">62: end-volume<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">+------------------------------------------------------------------------------+<o:p></o:p></p>
<p class="MsoNormal">[2014-04-16 20:46:25.284586] W [socket.c:514:__socket_rwv] 0-webs-client-0: readv failed (No data available)<o:p></o:p></p>
<p class="MsoNormal">[2014-04-16 20:46:25.296724] W [socket.c:514:__socket_rwv] 0-webs-client-1: readv failed (No data available)<o:p></o:p></p>
<p class="MsoNormal">[2014-04-16 20:46:25.304491] E [mount.c:298:gf_fuse_mount] 0-glusterfs-fuse: mount of server1:/webs to /mnt/glusterfs/ (default_permissions,volfile-max-fetch-attempts=2,allow_other,max_read=131072) failed<o:p></o:p></p>
<p class="MsoNormal">[2014-04-16 20:46:25.305488] E [glusterfsd.c:1744:daemonize] 0-daemonize: mount failed<o:p></o:p></p>
<p class="MsoNormal">Given volfile:<o:p></o:p></p>
<p class="MsoNormal">+------------------------------------------------------------------------------+<o:p></o:p></p>
<p class="MsoNormal"> 1: volume webs-client-0<o:p></o:p></p>
<p class="MsoNormal"> 2: type protocol/client<o:p></o:p></p>
<p class="MsoNormal"> 3: option transport-type tcp<o:p></o:p></p>
<p class="MsoNormal"> 4: option remote-subvolume /export/data<o:p></o:p></p>
<p class="MsoNormal"> 5: option remote-host server1<o:p></o:p></p>
<p class="MsoNormal"> 6: end-volume<o:p></o:p></p>
<p class="MsoNormal"> 7: <o:p></o:p></p>
<p class="MsoNormal"> 8: volume webs-client-1<o:p></o:p></p>
<p class="MsoNormal"> 9: type protocol/client<o:p></o:p></p>
<p class="MsoNormal">10: option transport-type tcp<o:p></o:p></p>
<p class="MsoNormal">11: option remote-subvolume /export/data<o:p></o:p></p>
<p class="MsoNormal">12: option remote-host server2<o:p></o:p></p>
<p class="MsoNormal">13: end-volume<o:p></o:p></p>
<p class="MsoNormal">14:<o:p></o:p></p>
<p class="MsoNormal">15: volume webs-replicate-0<o:p></o:p></p>
<p class="MsoNormal">16: type cluster/replicate<o:p></o:p></p>
<p class="MsoNormal">17: subvolumes webs-client-0 webs-client-1<o:p></o:p></p>
<p class="MsoNormal">18: end-volume<o:p></o:p></p>
<p class="MsoNormal">19: <o:p></o:p></p>
<p class="MsoNormal"> 20: volume webs-dht<o:p></o:p></p>
<p class="MsoNormal">21: type cluster/distribute<o:p></o:p></p>
<p class="MsoNormal">22: subvolumes webs-replicate-0<o:p></o:p></p>
<p class="MsoNormal">23: end-volume<o:p></o:p></p>
<p class="MsoNormal">24: <o:p></o:p></p>
<p class="MsoNormal"> 25: volume webs-write-behind<o:p></o:p></p>
<p class="MsoNormal">26: type performance/write-behind<o:p></o:p></p>
<p class="MsoNormal">27: subvolumes webs-dht<o:p></o:p></p>
<p class="MsoNormal">28: end-volume<o:p></o:p></p>
<p class="MsoNormal">29: <o:p></o:p></p>
<p class="MsoNormal"> 30: volume webs-read-ahead<o:p></o:p></p>
<p class="MsoNormal">31: type performance/read-ahead<o:p></o:p></p>
<p class="MsoNormal">32: subvolumes webs-write-behind<o:p></o:p></p>
<p class="MsoNormal">33: end-volume<o:p></o:p></p>
<p class="MsoNormal">34: <o:p></o:p></p>
<p class="MsoNormal"> 35: volume webs-io-cache<o:p></o:p></p>
<p class="MsoNormal">36: type performance/io-cache<o:p></o:p></p>
<p class="MsoNormal">37: option cache-size 256MB<o:p></o:p></p>
<p class="MsoNormal">38: subvolumes webs-read-ahead<o:p></o:p></p>
<p class="MsoNormal">39: end-volume<o:p></o:p></p>
<p class="MsoNormal">40: <o:p></o:p></p>
<p class="MsoNormal"> 41: volume webs-quick-read<o:p></o:p></p>
<p class="MsoNormal">42: type performance/quick-read<o:p></o:p></p>
<p class="MsoNormal">43: option cache-size 256MB<o:p></o:p></p>
<p class="MsoNormal">44: subvolumes webs-io-cache<o:p></o:p></p>
<p class="MsoNormal">45: end-volume<o:p></o:p></p>
<p class="MsoNormal">46: <o:p></o:p></p>
<p class="MsoNormal"> 47: volume webs-open-behind<o:p></o:p></p>
<p class="MsoNormal">48: type performance/open-behind<o:p></o:p></p>
<p class="MsoNormal">49: subvolumes webs-quick-read<o:p></o:p></p>
<p class="MsoNormal">50: end-volume<o:p></o:p></p>
<p class="MsoNormal">51: <o:p></o:p></p>
<p class="MsoNormal"> 52: volume webs-md-cache<o:p></o:p></p>
<p class="MsoNormal">53: type performance/md-cache<o:p></o:p></p>
<p class="MsoNormal">54: subvolumes webs-open-behind<o:p></o:p></p>
<p class="MsoNormal">55: end-volume<o:p></o:p></p>
<p class="MsoNormal">56: <o:p></o:p></p>
<p class="MsoNormal"> 57: volume webs<o:p></o:p></p>
<p class="MsoNormal">58: type debug/io-stats<o:p></o:p></p>
<p class="MsoNormal">59: option count-fop-hits off<o:p></o:p></p>
<p class="MsoNormal">60: option latency-measurement off<o:p></o:p></p>
<p class="MsoNormal">61: subvolumes webs-md-cache<o:p></o:p></p>
<p class="MsoNormal">62: end-volume<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">+------------------------------------------------------------------------------+<o:p></o:p></p>
<p class="MsoNormal">[2014-04-16 20:46:25.391399] W [socket.c:514:__socket_rwv] 0-webs-client-0: readv failed (No data available)<o:p></o:p></p>
<p class="MsoNormal">[2014-04-16 20:46:25.397691] W [socket.c:514:__socket_rwv] 0-webs-client-1: readv failed (No data available)<o:p></o:p></p>
<p class="MsoNormal">[2014-04-16 20:46:25.436985] W [glusterfsd.c:1002:cleanup_and_exit] (-->/lib64/libc.so.6(clone+0x6d) [0x7f6bf417190d] (-->/lib64/libpthread.so.0(+0x7851) [0x7f6bf4803851] (-->/usr/sbin/glusterfs(glusterfs_sigwaiter+0xcd) [0x40533d]))) 0-:
received signum (15), shutting down<o:p></o:p></p>
<p class="MsoNormal">[2014-04-16 20:46:25.456624] W [glusterfsd.c:1002:cleanup_and_exit] (-->/lib64/libc.so.6(clone+0x6d) [0x7f5a8696990d] (-->/lib64/libpthread.so.0(+0x7851) [0x7f5a86ffb851] (-->/usr/sbin/glusterfs(glusterfs_sigwaiter+0xcd) [0x40533d]))) 0-:
received signum (15), shutting down<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">On both servers, I see good status:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"># gluster volume status<o:p></o:p></p>
<p class="MsoNormal">Status of volume: webs<o:p></o:p></p>
<p class="MsoNormal">Gluster process Port Online Pid<o:p></o:p></p>
<p class="MsoNormal">------------------------------------------------------------------------------<o:p></o:p></p>
<p class="MsoNormal">Brick server1:/export/data 49152 Y 6549<o:p></o:p></p>
<p class="MsoNormal">Brick server2:/export/data 49152 Y 6536<o:p></o:p></p>
<p class="MsoNormal">NFS Server on localhost 2049 Y 6791<o:p></o:p></p>
<p class="MsoNormal">Self-heal Daemon on localhost N/A Y 6798<o:p></o:p></p>
<p class="MsoNormal">NFS Server on server1 2049 Y 6724<o:p></o:p></p>
<p class="MsoNormal">Self-heal Daemon on server2 N/A Y 6731<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">There are no active volume tasks<o:p></o:p></p>
</div>
</body>
</html>