<div dir="ltr">Krzysztof,<br>&nbsp;is this server side kernel 2.6.x or 2.4.x ? Permitted offsets boundaries for direct-IO are different for 2.4.x and 2.6.x.<br><br>avati<br><br><div class="gmail_quote">2008/8/15 Krzysztof Chojnowski <span dir="ltr">&lt;<a href="mailto:notch@toltech.nl">notch@toltech.nl</a>&gt;</span><br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">Hi list,<br>
<br>
we&#39;re evaluating glusterfs as a storage solution for our Xen cluster. We<br>
want to use it to store rootfs images of virtual machines and be able to<br>
use advanced features like live migration. Unfortunately we encountered<br>
some problems while trying to use xfs on those images (ext3 is working<br>
just fine, but we really would like to use xfs).<br>
<br>
When trying to create xfs on the image stored on glusterfs we get:<br>
# mkfs.xfs tst.img<br>
mkfs.xfs: pwrite64 failed: Invalid argument<br>
<br>
server debug output:<br>
2008-08-15 15:38:03 D [inode.c:367:__active_inode] brick/inode:<br>
activating inode(268640449), lru=1/1024<br>
2008-08-15 15:38:04 E [posix.c:1212:posix_writev] brick: O_DIRECT:<br>
offset is Invalid<br>
<br>
client:<br>
2008-08-15 15:38:04 D [fuse-bridge.c:1604:fuse_writev_cbk]<br>
glusterfs-fuse: 524797: WRITE =&gt; 512/512,939524096/1073741824<br>
2008-08-15 15:38:04 D [fuse-bridge.c:1641:fuse_write] glusterfs-fuse:<br>
524798: WRITE (0x2aaaab200a00, size=512, offset=402653184)<br>
2008-08-15 15:38:04 D [fuse-bridge.c:1604:fuse_writev_cbk]<br>
glusterfs-fuse: 524798: WRITE =&gt; 512/512,402653184/1073741824<br>
2008-08-15 15:38:04 D [fuse-bridge.c:1641:fuse_write] glusterfs-fuse:<br>
524799: WRITE (0x2aaaab200a00, size=512, offset=134218240)<br>
2008-08-15 15:38:04 E [fuse-bridge.c:1609:fuse_writev_cbk]<br>
glusterfs-fuse: 524799: WRITE =&gt; -1 (22)<br>
2008-08-15 15:38:04 D [fuse-bridge.c:1665:fuse_flush] glusterfs-fuse:<br>
524800: FLUSH 0x2aaaab200a00<br>
2008-08-15 15:38:04 D [fuse-bridge.c:916:fuse_err_cbk] glusterfs-fuse:<br>
524800: (16) ERR =&gt; 0<br>
2008-08-15 15:38:04 D [fuse-bridge.c:1692:fuse_release] glusterfs-fuse:<br>
524801: CLOSE 0x2aaaab200a00<br>
2008-08-15 15:38:04 D [fuse-bridge.c:916:fuse_err_cbk] glusterfs-fuse:<br>
524801: (17) ERR =&gt; 0<br>
<br>
server spec:<br>
volume brick<br>
 &nbsp;type storage/posix<br>
 &nbsp;option directory /mnt/export/test<br>
end-volume<br>
<br>
volume server<br>
 &nbsp;type protocol/server<br>
 &nbsp;option transport-type tcp/server # For TCP/IP transport<br>
 &nbsp;option auth.ip.brick.allow *<br>
 &nbsp;subvolumes brick<br>
end-volume<br>
<br>
client spec:<br>
volume remote1<br>
 &nbsp;type protocol/client<br>
 &nbsp;option transport-type tcp/client<br>
 &nbsp;option remote-host <a href="http://192.168.211.2" target="_blank">192.168.211.2</a><br>
 &nbsp;option remote-subvolume brick<br>
end-volume<br>
<br>
server was started with:<br>
glusterfsd -f glusterfs-server-simple.vol &nbsp;--no-daemon<br>
--log-file=/dev/stdout --log-level=DEBUG<br>
and client:<br>
glusterfs -f glusterfs-client-simple.vol --direct-io-mode=DISABLE<br>
--no-daemon --log-file=/dev/stdout --log-level=DEBUG /mnt/glusterfs/<br>
(we use --direct-io-mode=DISABLE as suggested in:<br>
<a href="http://www.gluster.org/docs/index.php/Technical_FAQ#Loop_mounting_image_files_stored_in_glusterFS_file_system" target="_blank">http://www.gluster.org/docs/index.php/Technical_FAQ#Loop_mounting_image_files_stored_in_glusterFS_file_system</a>)<br>

<br>
Server and client was on the same machine running Debian etch and<br>
glusterfs 1.3.9 built on Jul 11 2008 15:10:51<br>
Repository revision: glusterfs--mainline--2.5--patch-770<br>
<br>
Thanks in advance for any help with this problem.<br>
<br>
regards<br>
Notch<br>
<br>
<br>
_______________________________________________<br>
Gluster-users mailing list<br>
<a href="mailto:Gluster-users@gluster.org">Gluster-users@gluster.org</a><br>
<a href="http://zresearch.com/cgi-bin/mailman/listinfo/gluster-users" target="_blank">http://zresearch.com/cgi-bin/mailman/listinfo/gluster-users</a><br>
</blockquote></div><br><br clear="all"><br>-- <br>If I traveled to the end of the rainbow<br>As Dame Fortune did intend,<br>Murphy would be there to tell me<br>The pot&#39;s at the other end.<br>
</div>