<div dir="ltr"><div><div>Moreover, if you create ext3 on top of md0 and repeat then raid array becomes inconsistent too.<br><br># Additional steps:<br>mkfs.ext3 /dev/md0<br></div><div>mkdir /tmp/ext3<br></div>mount /dev/md0 /tmp/ext3<br>./a.out /tmp/ext3/testfile1<br></div><br># and then:<br>vbindiff /tmp/mdadm{1,2}      #press enter multiple times to skip metadata<br><div><div><div><div><br></div></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, May 28, 2015 at 10:22 AM, Stanislav German-Evtushenko <span dir="ltr"><<a href="mailto:ginermail@gmail.com" target="_blank">ginermail@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div><div>Hi Dietmar,<br><br></div>I did it couple of times already and everytime I had the same answer "upper layer problem". Well, as we've done this long way up to this point I would like to continue.<br></div><br>I have just done the same test with mdadm and not DRBD. And what I found that this problem was reproducible on the software raid too, just as it was claimed by Lars Ellenberg. It means that problem is not only related to DRBD but to O_DIRECT mode generally when we don't use host cache and a block device reads data directly from userspace.<br><br></div>The testcase is bellow.<br><br></div><div>1. Prepare<br><br></div><div>dd if=/dev/zero of=/tmp/mdadm1 bs=1M count=100<br>dd if=/dev/zero of=/tmp/mdadm2 bs=1M count=100<br>losetup /dev/loop1 /tmp/mdadm1<br>losetup /dev/loop2 /tmp/mdadm2<br>mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/loop{1,2}<br></div><br></div><div>2. Write data with O_DIRECT<br><br></div><div>./a.out /dev/md0<br><br></div>3. Check consistency with vbindiff<br><br></div>vbindiff /tmp/mdadm{1,2}      #press enter multiple times to skip metadata<br><br></div>And here we find that data on "physical devices" is different and md raid did not catch this.<br><br><div><div><div><div><div><div><div><div><div><div><div><span class=""><div class="gmail_extra"><br><div class="gmail_quote">On Thu, May 28, 2015 at 7:40 AM, Dietmar Maurer <span dir="ltr"><<a href="mailto:dietmar@proxmox.com" target="_blank">dietmar@proxmox.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">> What this means?<br>
<br>
I still think you should discuss that on the DRBD list.<br>
<br>
</blockquote></div><br></div></span><div class="gmail_extra">Best regards,<br></div><div class="gmail_extra">Stanislav German-Evtushenko<br></div></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature"><a href="http://www.helplinux.ru" target="_blank">www.helplinux.ru</a> - Найди себе Гуру</div>
</div>