
<div dir="ltr">Hello everyone,<div><br></div><div>&nbsp; &nbsp;It&#39;s a terror thing that meat data lose... &nbsp;The env like this :</div><div><span style="color:rgb(0,0,0);font-family:微软雅黑;font-size:medium;text-align:-webkit-auto">pveversion</span></div>

<div><div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">

pve-manager/3.1-3/dc0e9b0e (running kernel: 2.6.32-23-pve)</div><div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium"><br></div><div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">

pvesm status<br>

file-storage-c2&nbsp; glusterfs 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 787924096&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35682688&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 716371200 5.24%<br>

vm-images-c2&nbsp;&nbsp;&nbsp;&nbsp; glusterfs 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 364029184&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 17849088&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 331842688 5.60%<br>

vm-images-c9&nbsp;&nbsp;&nbsp;&nbsp; glusterfs 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1766111360&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 42094336&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1634303360 3.01%</div><div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium"><br></div><div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">

gluster --version<br>

glusterfs 3.4.0 built on Jul 19 2013 03:56:40</div><div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium"><br></div><div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">

<div><span style="text-align:-webkit-auto">gluster volume info</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Volume Name: vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Type: Striped-Replicate</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Volume ID: 6a30d329-1ea2-42de-8c7d-b13964941a64</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Status: Started</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Number of Bricks: 1 x 14 x 2 = 28</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Transport-type: tcp</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Bricks:</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick1: agent21.kisops.org:/d2/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick2: agent22.kisops.org:/d2/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick3: agent23.kisops.org:/d1/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick4: agent24.kisops.org:/d1/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick5: agent25.kisops.org:/d1/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick6: agent26.kisops.org:/d1/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick7: agent27.kisops.org:/d1/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick8: agent28.kisops.org:/d1/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick9: agent29.kisops.org:/d0/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick10: agent30.kisops.org:/d1/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick11: agent31.kisops.org:/d1/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick12: agent32.kisops.org:/d1/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick13: agent21.kisops.org:/d3/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick14: agent22.kisops.org:/d3/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick15: agent23.kisops.org:/d2/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick16: agent24.kisops.org:/d2/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick17: agent25.kisops.org:/d2/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick18: agent26.kisops.org:/d2/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick19: agent27.kisops.org:/d2/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick20: agent30.kisops.org:/d2/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick21: agent31.kisops.org:/d2/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick22: agent23.kisops.org:/d3/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick23: agent24.kisops.org:/d3/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick24: agent25.kisops.org:/d3/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick25: agent26.kisops.org:/d3/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick26: agent27.kisops.org:/d3/vm-images-c9</span><br style="text-align:-webkit-auto">

<span style="text-align:-webkit-auto">Brick27: agent30.kisops.org:/d3/vm-images-c9</span><br style="text-align:-webkit-auto"><span style="text-align:-webkit-auto">Brick28: agent31.kisops.org:/d3/vm-images-c9</span></div><div>

<span style="text-align:-webkit-auto"><br></span></div></div><div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">/usr/bin/kvm -id 107 -chardev socket,id=qmp,path=/var/run/qemu-server/107.qmp,server,nowait -mon chardev=qmp,mode=control -vnc unix:/var/run/qemu-server/107.vnc,x509,password -pidfile /var/run/qemu-server/107.pid -daemonize -name ngrinder-Console -smp sockets=1,cores=3 -nodefaults -boot menu=on -vga cirrus -cpu kvm64,+x2apic,+sep -k en-us -m 6144 -device piix3-usb-uhci,id=uhci,bus=pci.0,addr=0x1.0x2 -device usb-tablet,id=tablet,bus=uhci.0,port=1 -device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x3 -drive if=none,id=drive-ide2,media=cdrom,aio=native -device ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=200 -drive file=gluster://<a href="http://agent21.kisops.org/vm-images-c9/images/107/vm-107-disk-1.qcow2,if=none,id=drive-virtio0,format=qcow2,cache=writeback,aio=native">agent21.kisops.org/vm-images-c9/images/107/vm-107-disk-1.qcow2,if=none,id=drive-virtio0,format=qcow2,cache=writeback,aio=native</a> -device virtio-blk-pci,drive=drive-virtio0,id=virtio0,bus=pci.0,addr=0xa,bootindex=100 -netdev type=tap,id=net0,ifname=tap107i0,script=/var/lib/qemu-server/pve-bridge,vhost=on -device virtio-net-pci,mac=0E:17:15:37:D4:83,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=300&nbsp;</div>

<div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium"><br></div><div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">cat /etc/pve/nodes/agent21/qemu-server/107.conf &nbsp;<br>


#Ngrinder-Controller<br>

balloon: 6<br>

bootdisk: virtio0<br>

cores: 3<br>

ide2: none,media=cdrom<br>

memory: 6144<br>

name: ngrinder-Console<br>

net0: virtio=0E:17:15:37:D4:83,bridge=vmbr0<br>

ostype: l26<br>

sockets: 1<br>

virtio0: vm-images-c9:107/vm-107-disk-1.qcow2,format=qcow2,cache=writeback,backup=no,size=88G</div></div><div><br></div><div><br></div><div>&nbsp; &nbsp;When on node &#39;<span style="color:rgb(0,0,0);font-family:微软雅黑;font-size:medium;text-align:-webkit-auto"><a href="http://agent24.kisops.org">agent24.kisops.org</a></span>&#39; shutdown by errors ,then the VMs errors :</div>

<div><img src="cid:ii_14195c908e18726b" alt="内嵌图片 1" width="564" height="453"><br></div><div>reboot after errors :</div><div><img src="cid:ii_14195c9d02f311a1" alt="内嵌图片 2" width="564" height="423"><br></div><div>some VMs could be OK after exec `fsck /vda1`,others couldn&#39;t up.</div>

<div><div><div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">kvm: -drive file=gluster://<a href="http://agent21.kisops.org/vm-images-c9/images/109/vm-109-disk-2.qcow2,if=none,id=drive-virtio0,format=qcow2,cache=writeback,aio=native">agent21.kisops.org/vm-images-c9/images/109/vm-109-disk-2.qcow2,if=none,id=drive-virtio0,format=qcow2,cache=writeback,aio=native</a>: could not open disk image gluster://<a href="http://agent21.kisops.org/vm-images-c9/images/109/vm-109-disk-2.qcow2">agent21.kisops.org/vm-images-c9/images/109/vm-109-disk-2.qcow2</a>: Input/output error</div>

<div style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">TASK ERROR: start failed: command &#39;/usr/bin/kvm -id 109 -chardev &#39;socket,id=qmp,path=/var/run/qemu-server/109.qmp,server,nowait&#39; -mon &#39;chardev=qmp,mode=control&#39; -vnc unix:/var/run/qemu-server/109.vnc,x509,password -pidfile /var/run/qemu-server/109.pid -daemonize -name Ngrinder-Cient-26 -smp &#39;sockets=1,cores=2&#39; -nodefaults -boot &#39;menu=on&#39; -vga cirrus -cpu kvm64,+x2apic,+sep -k en-us -m 4096 -device &#39;piix3-usb-uhci,id=uhci,bus=pci.0,addr=0x1.0x2&#39; -device &#39;usb-tablet,id=tablet,bus=uhci.0,port=1&#39; -device &#39;virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x3&#39; -drive &#39;if=none,id=drive-ide2,media=cdrom,aio=native&#39; -device &#39;ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=200&#39; -drive &#39;file=gluster://<a href="http://10.20.197.21/vm-images-c9/images/109/vm-109-disk-2.qcow2,if=none,id=drive-virtio0,format=qcow2,cache=writeback,aio=native">10.20.197.21/vm-images-c9/images/109/vm-109-disk-2.qcow2,if=none,id=drive-virtio0,format=qcow2,cache=writeback,aio=native</a>&#39; -device &#39;virtio-blk-pci,drive=drive-virtio0,id=virtio0,bus=pci.0,addr=0xa,bootindex=100&#39; -netdev &#39;type=tap,id=net0,ifname=tap109i0,script=/var/lib/qemu-server/pve-bridge,vhost=on&#39; -device &#39;virtio-net-pci,mac=0A:0E:47:39:76:23,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=300&#39;&#39; failed: exit code 1</div>

</div></div><div><br></div><div>I see there are io error on GlusterFS even &#39;<span style="color:rgb(0,0,0);font-family:微软雅黑;font-size:medium;text-align:-webkit-auto"><a href="http://agent24.kisops.org">agent24.kisops.org</a></span>&#39; is up :</div>

<div><div><span style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">du -sh /mnt/pve/vm-images-c9/images/109/*</span><br style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">

<span style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">1.9G&nbsp;&nbsp;&nbsp;&nbsp; /mnt/pve/vm-images-c9/images/109/vm-109-disk-1.raw</span><br style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">

<span style="color:rgb(0,0,0);font-family:微软雅黑;text-align:-webkit-auto;font-size:medium">du: cannot access `/mnt/pve/vm-images-c9/images/109/vm-109-disk-2.qcow2&#39;: Input/output error</span></div></div><div><br></div><div>

<br></div><div>If I shut down &#39;<span style="color:rgb(0,0,0);font-family:微软雅黑;font-size:medium;text-align:-webkit-auto"><a href="http://agent24.kisops.org">agent24.kisops.org</a></span>&#39; , the GlusterFS dir will be Empty.</div>

<div><br></div><div>What&#39;s wrong with me ? Help !</div><div><br></div><div><br></div></div>