<html>

<head>

<style><!--

.hmmessage P

{

margin:0px;

padding:0px

}

body.hmmessage

{

font-size: 10pt;

font-family:Tahoma

}

--></style></head>

<body class='hmmessage'><div dir='ltr'>

After some research, I found what's going on: <br>seems that the glusterfs process has a lot of FD open on each brick : <br><br>lsof -n -P | grep deleted<br>ksh&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 644&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; cdui&nbsp;&nbsp;&nbsp; 2w&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 952&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 190 /users/mmr00/log/2704mmr.log (deleted)<br>glusterfs&nbsp; 2357&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 10u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 28 /tmp/tmpfnMwo2I (deleted)<br>glusterfs&nbsp; 2361&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 10u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35 /tmp/tmpfnBlK2I (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 10u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 41 /tmp/tmpfHZG51I (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 12u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1011&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13 /tmp/tmpfPGJjje (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 13u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1013&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20 /tmp/tmpf4ITi6m (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 17u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1012&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 25 /tmp/tmpfBwwE1h (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 18u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1011&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 43 /tmp/tmpfsoNSmV (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 19u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1011&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 19 /tmp/tmpfDmMruu (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 21u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1012&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 47 /tmp/tmpfE4SpVM (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 22u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1012&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 48 /tmp/tmpfHjjdXw (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 24u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1011&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 49 /tmp/tmpfwOoX6F (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 26u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13509969920&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1829 /users3/poolsave/yval9000/test/tmp/23-04-18-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 27u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13538048000&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1842 /users3/poolsave/yval9000/test/tmp/24-04-07-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 28u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13607956480&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1737 /users3/poolsave/yval9000/test/tmp/22-04-01-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 30u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13519441920&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1337 /users3/poolsave/yval9000/test/tmp/16-04-14-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 31u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13530081280&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1342 /users3/poolsave/yval9000/test/tmp/16-04-16-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 34u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13559777280&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1347 /users3/poolsave/yval9000/test/tmp/16-04-20-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 35u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13581772800&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1352 /users3/poolsave/yval9000/test/tmp/16-04-23-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 36u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13513922560&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1357 /users3/poolsave/yval9000/test/tmp/17-04-04-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 37u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13513338880&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1362 /users3/poolsave/yval9000/test/tmp/17-04-07-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 38u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13520199680&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1367 /users3/poolsave/yval9000/test/tmp/17-04-08-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 39u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13576509440&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1372 /users3/poolsave/yval9000/test/tmp/18-04-00-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 40u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13591869440&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1377 /users3/poolsave/yval9000/test/tmp/18-04-02-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 41u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13592371200&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1382 /users3/poolsave/yval9000/test/tmp/18-04-04-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 42u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13512202240&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1387 /users3/poolsave/yval9000/test/tmp/18-04-11-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 43u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13528012800&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1392 /users3/poolsave/yval9000/test/tmp/18-04-19-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 44u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13547735040&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1397 /users3/poolsave/yval9000/test/tmp/18-04-22-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 45u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13574236160&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1402 /users3/poolsave/yval9000/test/tmp/19-04-03-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 46u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13553295360&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1407 /users3/poolsave/yval9000/test/tmp/19-04-05-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 47u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13542963200&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1416 /users3/poolsave/yval9000/test/tmp/19-04-13-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 48u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13556346880&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1421 /users3/poolsave/yval9000/test/tmp/19-04-15-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 49u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13517445120&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1426 /users3/poolsave/yval9000/test/tmp/19-04-16-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 50u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13515581440&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1443 /users3/poolsave/yval9000/test/tmp/19-04-17-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 51u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13575065600&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1448 /users3/poolsave/yval9000/test/tmp/20-04-05-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 52u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13578659840&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1453 /users3/poolsave/yval9000/test/tmp/20-04-06-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 53u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13575741440&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1458 /users3/poolsave/yval9000/test/tmp/20-04-10-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 54u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13580052480&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1463 /users3/poolsave/yval9000/test/tmp/20-04-11-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 55u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13578004480&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1468 /users3/poolsave/yval9000/test/tmp/20-04-15-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 56u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13597194240&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1473 /users3/poolsave/yval9000/test/tmp/20-04-18-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 57u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13558159360&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1478 /users3/poolsave/yval9000/test/tmp/20-04-20-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 58u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13583390720&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1483 /users3/poolsave/yval9000/test/tmp/21-04-01-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 59u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13542072320&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1504 /users3/poolsave/yval9000/test/tmp/21-04-10-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 60u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13563269120&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1509 /users3/poolsave/yval9000/test/tmp/21-04-15-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 61u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13565573120&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1514 /users3/poolsave/yval9000/test/tmp/21-04-16-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 62u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13570037760&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1519 /users3/poolsave/yval9000/test/tmp/21-04-17-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 63u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13576038400&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1711 /users3/poolsave/yval9000/test/tmp/21-04-18-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 64u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13599846400&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1724 /users3/poolsave/yval9000/test/tmp/22-04-00-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 65u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13554862080&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1746 /users3/poolsave/yval9000/test/tmp/22-04-03-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 67u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13537761280&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1759 /users3/poolsave/yval9000/test/tmp/22-04-16-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 68u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13539768320&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1772 /users3/poolsave/yval9000/test/tmp/22-04-18-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 69u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13539614720&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1781 /users3/poolsave/yval9000/test/tmp/23-04-02-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 70u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13544693760&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1794 /users3/poolsave/yval9000/test/tmp/23-04-05-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 71u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13488281600&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1807 /users3/poolsave/yval9000/test/tmp/23-04-10-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 72u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13504133120&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1816 /users3/poolsave/yval9000/test/tmp/23-04-11-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 73u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13488353280&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1851 /users3/poolsave/yval9000/test/tmp/24-04-14-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 74u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13647964160&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1864 /users3/poolsave/yval9000/test/tmp/24-04-15-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 75u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 14598379520&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1877 /users3/poolsave/yval9000/test/tmp/24-04-16-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 76u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13529159680&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1886 /users3/poolsave/yval9000/test/tmp/25-04-02-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 77u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13544314880&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1899 /users3/poolsave/yval9000/test/tmp/25-04-14-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 78u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13547100160&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1912 /users3/poolsave/yval9000/test/tmp/25-04-15-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 79u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13549813760&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1921 /users3/poolsave/yval9000/test/tmp/25-04-17-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 80u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13538140160&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1934 /users3/poolsave/yval9000/test/tmp/25-04-23-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 81u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13538641920&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1947 /users3/poolsave/yval9000/test/tmp/26-04-16-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 82u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13543915520&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1956 /users3/poolsave/yval9000/test/tmp/26-04-17-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 83u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13551063040&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1969 /users3/poolsave/yval9000/test/tmp/26-04-18-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 84u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13561364480&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1982 /users3/poolsave/yval9000/test/tmp/26-04-20-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 85u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13486448640&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1991 /users3/poolsave/yval9000/test/tmp/27-04-07-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 86u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13 13492623360&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2004 /users3/poolsave/yval9000/test/tmp/27-04-08-00_test_glusterfs_save.tar (deleted)<br>glusterfs&nbsp; 2365&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; root&nbsp;&nbsp; 87u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,13&nbsp; 8968806400&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2017 /users3/poolsave/yval9000/test/tmp/27-04-09-00_test_glusterfs_save.tar (deleted)<br>ksh&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 18908&nbsp;&nbsp;&nbsp; u347750&nbsp;&nbsp;&nbsp; 3u&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; REG&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 253,6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 28&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45 /tmp/ast3c.bh3 (deleted)<br><br><br>Each Tar archive is around 15Go<br><br>Restarting the daemon seems to solve the problem : <br><br>ylal3510:/users3 # du -s -h .<br>129G&nbsp;&nbsp;&nbsp; .<br>ylal3510:/users3 # df -h .<br>Filesystem&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Size&nbsp; Used Avail Use% Mounted on<br>/dev/mapper/users-users3vol<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 858G&nbsp; 130G&nbsp; 729G&nbsp; 16% /users3<br><br><br>But&nbsp; my main preoccupation is " Is it a normal behavior for glusterfs ?"<br><br><br><br><br><div><div id="SkyDrivePlaceholder"></div><hr id="stopSpelling">From: sokar6012@hotmail.com<br>To: gluster-users-request@gluster.org<br>Subject: remote operation failed: No space left on device<br>Date: Fri, 27 Apr 2012 11:41:01 +0000<br><br>

<style><!--

.ExternalClass .ecxhmmessage P

{padding:0px;}

.ExternalClass body.ecxhmmessage

{font-size:10pt;font-family:Tahoma;}

--></style>

<div dir="ltr">

Hi all, I've got an issue , it's seems that the size reported by df -h grows indefinitely. Any help would be appreciated. some details :  On the client :  yval9000:/users98 # df -h . Filesystem&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Size&nbsp; Used Avail Use% Mounted on ylal3510:/poolsave/yval9000 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.7T&nbsp; 1.7T&nbsp;&nbsp; 25G&nbsp; 99% /users98 yval9000:/users98 # du -ch . 5.1G&nbsp;&nbsp;&nbsp; /users98 My logs are full of&nbsp; : [2012-04-27 12:14:32.402972] I [client3_1-fops.c:683:client3_1_writev_cbk] 0-poolsave-client-1: remote operation failed: No space left on device [2012-04-27 12:14:32.426964] I [client3_1-fops.c:683:client3_1_writev_cbk] 0-poolsave-client-1: remote operation failed: No space left on device [2012-04-27 12:14:32.439424] I [client3_1-fops.c:683:client3_1_writev_cbk] 0-poolsave-client-1: remote operation failed: No space left on device [2012-04-27 12:14:32.441505] I [client3_1-fops.c:683:client3_1_writev_cbk] 0-poolsave-client-0: remote operation failed: No space left on device This is my volume config :  Volume Name: poolsave Type: Distributed-Replicate Status: Started Number of Bricks: 2 x 2 = 4 Transport-type: tcp Bricks: Brick1: ylal3510:/users3/poolsave Brick2: ylal3530:/users3/poolsave Brick3: ylal3520:/users3/poolsave Brick4: ylal3540:/users3/poolsave Options Reconfigured: nfs.enable-ino32: off features.quota-timeout: 30 features.quota: off performance.cache-size: 6GB network.ping-timeout: 60 performance.cache-min-file-size: 1KB performance.cache-max-file-size: 4GB performance.cache-refresh-timeout: 2 nfs.port: 2049 performance.io-thread-count: 64 diagnostics.latency-measurement: on diagnostics.count-fop-hits: on Space left on servers :  ylal3510:/users3 # df -h . Filesystem&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Size&nbsp; Used Avail Use% Mounted on /dev/mapper/users-users3vol &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 858G&nbsp; 857G&nbsp; 1.1G 100% /users3 ylal3510:/users3 # du -ch /users3 | grep total 129G&nbsp;&nbsp;&nbsp; total --- ylal3530:/users3 # df -h . Filesystem&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Size&nbsp; Used Avail Use% Mounted on /dev/mapper/users-users3vol &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 858G&nbsp; 857G&nbsp; 1.1G 100% /users3 ylal3530:/users3 # du -ch /users3 | grep total 129G&nbsp;&nbsp;&nbsp; total --- ylal3520:/users3 # df -h . Filesystem&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Size&nbsp; Used Avail Use% Mounted on /dev/mapper/users-users3vol &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 858G&nbsp; 835G&nbsp;&nbsp; 24G&nbsp; 98% /users3 ylal3520:/users3 # du -ch /users3 | grep total 182G&nbsp;&nbsp;&nbsp; total --- ylal3540:/users3 # df -h . Filesystem&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Size&nbsp; Used Avail Use% Mounted on /dev/mapper/users-users3vol &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 858G&nbsp; 833G&nbsp;&nbsp; 25G&nbsp; 98% /users3 ylal3540:/users3 # du -ch /users3 | grep total 181G&nbsp;&nbsp;&nbsp; total This issue appears after those 2 scripts running during 2 weeks :  <pre class="ecxbz_comment_text" id="ecxcomment_text_0">test_save.sh is executed each hour,it takes a bunch of data to compress (dest :

REP_SAVE_TEMP) and then move it in a folder (REP_SAVE) that the netback.sh

script will scan each 30 min

#!/usr/bin/ksh

# ________________________________________________________________________

#             |

# Nom         test_save.sh

# ____________|___________________________________________________________

#             |

# Description | test GlusterFS

# ____________|___________________________________________________________

UNIXSAVE=/users98/test

REP_SAVE_TEMP=${UNIXSAVE}/tmp

REP_SAVE=${UNIXSAVE}/gluster

LOG=/users/glusterfs_test

f_tar_mv()

{

  echo "\n"

ARCHNAME=${REP_SAVE_TEMP}/`date +%d-%m-%H-%M`_${SUBNAME}.tar

  tar -cpvf ${ARCHNAME} ${REPERTOIRE}

  echo "creation of ${ARCHNAME}"

  # mv ${REP_SAVE_TEMP}/*_${SUBNAME}.tar ${REP_SAVE}

  mv  ${REP_SAVE_TEMP}/* ${REP_SAVE}

  echo "Moving archive in ${REP_SAVE} "

  echo "\n"

  return $?

}

REPERTOIRE="/users2/"

SUBNAME="test_glusterfs_save"

f_tar_mv &gt;$LOG/save_`date +%d-%m-%Y-%H-%M`.log 2&gt;&amp;1

#!/usr/bin/ksh

# ________________________________________________________________________

#             |

# Nom         netback.sh

# ____________|___________________________________________________________

#             |

# Description | Sauvegarde test GlusterFS

# ____________|___________________________________________________________

UNIXSAVE=/users98/test

REP_SAVE_TEMP=${UNIXSAVE}/tmp

REP_SAVE=${UNIXSAVE}/gluster

LOG=/users/glusterfs_test

f_net_back()

{

if [[ `find ${REP_SAVE} -type f | wc -l` -eq 0 ]]

then

echo "nothing to save";

else

echo "Simulation netbackup, tar in /dev/null"

tar -cpvf /dev/null ${REP_SAVE}/*

echo "deletion archive"

rm ${REP_SAVE}/*

fi

return $?

}

f_net_back &gt;${LOG}/netback_`date +%d-%m-%H-%M`.log 2&gt;&amp;1</pre><br><br><br><br><br><br><br><br><br>                                               </div></div>                                               </div></body>

</html>