<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:SimSun;
panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
{font-family:SimSun;
panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:SimSun;
panose-1:2 1 6 0 3 1 1 1 1 1;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.25in 1.0in 1.25in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal>Hi All,<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>I upgraded glusterfs 2.0.8 to glusterfs 3.2 on CentOS 5.6(2.6.18-238.12.1.el5xen x86_64 GNU/Linux ). We have three glusterfs servers, using replication volumes.<o:p></o:p></p><p class=MsoNormal>We use the version 2.0.8’s configure files, and it works for us. But there is a problem, clients can’t read some directories. <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Client side <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal># ls<o:p></o:p></p><p class=MsoNormal>ls: reading directory .: File descriptor in bad state<o:p></o:p></p><p class=MsoNormal>total 0<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>server side log<o:p></o:p></p><p class=MsoNormal>[2011-06-10 15:46:20.531495] W [inode.c:647:inode_grep] (-->/opt/glusterfs/3.2.0/lib64/glusterfs/3.2.0/xlator/protocol/server.so(server_resolve+0x98) [0x2aaaab0f5b18] (-->/opt/glusterfs/3.2.0/lib64/glusterfs/3.2.0/xlator/protocol/server.so(server_resolve_entry+0x24) [0x2aaaab0f5a24] (-->/opt/glusterfs/3.2.0/lib64/glusterfs/3.2.0/xlator/protocol/server.so(resolve_entry_simple+0x172) [0x2aaaab0f5452]))) 0-: table || parent || name not found<o:p></o:p></p><p class=MsoNormal>[2011-06-10 15:46:20.531716] W [inode.c:647:inode_grep] (-->/opt/glusterfs/3.2.0/lib64/glusterfs/3.2.0/xlator/protocol/server.so(resolve_deep_cbk+0x27f) [0x2aaaab0f615f] (-->/opt/glusterfs/3.2.0/lib64/glusterfs/3.2.0/xlator/protocol/server.so(resolve_deep_continue+0x4b) [0x2aaaab0f5e2b] (-->/opt/glusterfs/3.2.0/lib64/glusterfs/3.2.0/xlator/protocol/server.so(resolve_entry_simple+0x172) [0x2aaaab0f5452]))) 0-: table || parent || name not found<o:p></o:p></p><p class=MsoNormal>[2011-06-10 15:46:20.533320] I [server3_1-fops.c:647:server_opendir_cbk] 0-server: 190468: OPENDIR /client (0) ==> -1 (No such file or directory)<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Server side:<o:p></o:p></p><p class=MsoNormal>/etc/glusterfs/glusterd.vol<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>volume posix<o:p></o:p></p><p class=MsoNormal> type storage/posix<o:p></o:p></p><p class=MsoNormal> option directory /d/xvdb/export<o:p></o:p></p><p class=MsoNormal>end-volume<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>volume locks<o:p></o:p></p><p class=MsoNormal> type features/locks<o:p></o:p></p><p class=MsoNormal> subvolumes posix<o:p></o:p></p><p class=MsoNormal>end-volume<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>volume brick<o:p></o:p></p><p class=MsoNormal> type performance/io-threads<o:p></o:p></p><p class=MsoNormal> option thread-count 8<o:p></o:p></p><p class=MsoNormal> subvolumes locks<o:p></o:p></p><p class=MsoNormal>end-volume<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>volume server<o:p></o:p></p><p class=MsoNormal> type protocol/server<o:p></o:p></p><p class=MsoNormal> option transport-type tcp<o:p></o:p></p><p class=MsoNormal> option auth.addr.brick.allow 192.168.150.*<o:p></o:p></p><p class=MsoNormal> subvolumes brick<o:p></o:p></p><p class=MsoNormal>end-volume<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><div style='mso-element:para-border-div;border-top:double windowtext 6.75pt;border-left:none;border-bottom:double windowtext 6.75pt;border-right:none;padding:1.0pt 0in 1.0pt 0in'><p class=MsoNormal style='border:none;padding:0in'><o:p> </o:p></p></div><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>client side: <o:p></o:p></p><p class=MsoNormal>/etc/glusterfs/glusterfs.vol<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>volume remote1<o:p></o:p></p><p class=MsoNormal> type protocol/client<o:p></o:p></p><p class=MsoNormal> option transport-type tcp<o:p></o:p></p><p class=MsoNormal> option remote-host 192.168.150.8<o:p></o:p></p><p class=MsoNormal> option remote-subvolume brick<o:p></o:p></p><p class=MsoNormal>end-volume<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>volume remote2<o:p></o:p></p><p class=MsoNormal> type protocol/client<o:p></o:p></p><p class=MsoNormal> option transport-type tcp<o:p></o:p></p><p class=MsoNormal> option remote-host 192.168.150.25<o:p></o:p></p><p class=MsoNormal> option remote-subvolume brick<o:p></o:p></p><p class=MsoNormal>end-volume<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>volume remote3<o:p></o:p></p><p class=MsoNormal> type protocol/client<o:p></o:p></p><p class=MsoNormal> option transport-type tcp<o:p></o:p></p><p class=MsoNormal> option remote-host 192.168.150.30<o:p></o:p></p><p class=MsoNormal> option remote-subvolume brick<o:p></o:p></p><p class=MsoNormal>end-volume<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>volume replicate<o:p></o:p></p><p class=MsoNormal> type cluster/replicate<o:p></o:p></p><p class=MsoNormal> subvolumes remote1 remote2 remote3<o:p></o:p></p><p class=MsoNormal>end-volume<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>volume writebehind<o:p></o:p></p><p class=MsoNormal> type performance/write-behind<o:p></o:p></p><p class=MsoNormal> option window-size 1MB<o:p></o:p></p><p class=MsoNormal> subvolumes replicate<o:p></o:p></p><p class=MsoNormal>end-volume<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>volume cache<o:p></o:p></p><p class=MsoNormal> type performance/io-cache<o:p></o:p></p><p class=MsoNormal> option cache-size 512MB<o:p></o:p></p><p class=MsoNormal> subvolumes writebehind<o:p></o:p></p><p class=MsoNormal>end-volume<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>I doubt it is the configure file’s problem. So I want to reset glusterfs with command. But when I using “gluster peer probe 192.168.150.30” to create storage pool. It failed. <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Server side log:<o:p></o:p></p><p class=MsoNormal> [2011-06-10 15:58:56.801961] W [rpcsvc.c:148:rpcsvc_program_actor] 0-rpc-service: RPC program not available (req 1238463 1)<o:p></o:p></p><p class=MsoNormal>[2011-06-10 15:58:56.802062] W [rpcsvc.c:1066:rpcsvc_error_reply] (-->/opt/glusterfs/3.2.0/lib64/libgfrpc.so.0(rpc_transport_notify+0x27) [0x2b63626fc2e7] (-->/opt/glusterfs/3.2.0/lib64/libgfrpc.so.0(rpcsvc_notify+0x16c) [0x2b63626fb3bc] (-->/opt/glusterfs/3.2.0/lib64/libgfrpc.so.0(rpcsvc_handle_rpc_call+0x140) [0x2b63626fb060]))) 0-: sending a RPC error reply<o:p></o:p></p><p class=MsoNormal>[2011-06-10 15:58:56.803906] W [socket.c:1494:__socket_proto_state_machine] 0-tcp.server: reading from socket failed. Error (Transport endpoint is not connected), peer (127.0.0.1:1023)<o:p></o:p></p><p class=MsoNormal>[2011-06-10 15:58:56.803996] I [server.c:438:server_rpc_notify] 0-server: disconnected connection from 127.0.0.1:1023<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>I am not sure how to fix it. Anyone can help me?<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Thanks,<o:p></o:p></p><p class=MsoNormal>Zhenhua Du<o:p></o:p></p><p class=MsoNormal>2011/6/10<o:p></o:p></p></div></body></html>