<div dir="ltr"><div><div><div><div><div><div><div><div><div>Hi Dietmar, hi Alexandre,<br><br></div>I did manage to reproduce the issue without hardware dependency and without LVM to reduce any possible influence from other components.<br></div><br>My environment<br></div>- two virtual Proxmox hosts installed on the same physical Proxmox host<br></div>-- pxtest1, 4 virtual cores, two virtual disks /dev/sda and /dev/sdb<br>-- pxtest2, 4 virtual cores, two virtual disks /dev/sda and /dev/sdb</div>- DRBD r0 master-master backed by /dev/sdb1 on both pxtest1 and pxtest2<br></div><div>- vm1 (Ubuntu Server 14.04) that is installed on /deb/drbd0<br><br></div><div>Steps to reproduce:<br></div><div>- Create a VM with 512 RAM (KVM is disabled as nested KVM is not yet stable, so VM installation is slow, sorry)<br></div><div>- Configure ide0 to /dev/drbd0<br></div><div>- Install Ubuntu Server 14.04<br></div><div>- Stop Ubuntu, reduce RAM from 512 to 128 (in order to make it use swap more intense)<br></div><div>- Configure running "drbdadm verify" once a day<br></div><div>- Start VM and wait for about a week, and finally we get:<br></div><div>root@pxtest1:~# zgrep "Out of sync" /var/log/kern.log* | grep drbd0<br>/var/log/kern.log:Dec  3 00:59:15 pxtest1 kernel: block drbd0: Out of sync: start=18232672, size=8 (sectors)<br>/var/log/kern.log:Dec  4 00:59:01 pxtest1 kernel: block drbd0: Out of sync: start=18232672, size=8 (sectors)<br><br></div><div></div>Config files<br><br></div>1. DRBD<br><br>root@pxtest1:/etc/drbd.d# cat global_common.conf <br>global { usage-count no; }<br>common {<br>    syncer { rate 20M; verify-alg md5; }<br>    handlers { out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh '<a href="mailto:admins@company.ru">admins@company.ru</a> -- -f <a href="mailto:notifications@company.ru">notifications@company.ru</a>'"; }<br>}<br><br>root@pxtest1:/etc/drbd.d# cat r0.res <br>resource r0 {<br>    protocol C;<br>    startup {<br>        wfc-timeout 0;                # non-zero might be dangerous<br>        degr-wfc-timeout 600;<br>        become-primary-on both;<br>    }<br>    net {<br>        cram-hmac-alg sha1;<br>        shared-secret "ijaGush9aeShait6keeyaivo9uh5thae2eixee";    # Up to 64 characters<br>        allow-two-primaries;<br>        after-sb-0pri discard-zero-changes;<br>        after-sb-1pri discard-secondary;<br>        after-sb-2pri disconnect;<br>        #data-integrity-alg crc32c;        # has to be enabled only for test and disabled for production use<br>    }<br>    on pxtest1 {<br>        device /dev/drbd0;<br>        disk /dev/sdb1;<br>        address <a href="http://10.133.27.81:7790">10.133.27.81:7790</a>;<br>        meta-disk internal;<br>    }<br>    on pxtest2 {<br>        device /dev/drbd0;<br>        disk /dev/sdb1;<br>        address <a href="http://10.133.27.82:7790">10.133.27.82:7790</a>;<br>        meta-disk internal;<br>    }<br>    disk {<br>        no-disk-barrier;<br>        no-disk-flushes;<br>    }<br>}<br><br>root@pxtest1:/etc/pve/qemu-server# modinfo drbd | grep ^version:<br>version:        8.3.13<br><br>root@pxtest1:/etc/pve/qemu-server# pveversion -v<br>proxmox-ve-2.6.32: 3.3-139 (running kernel: 2.6.32-34-pve)<br>pve-manager: 3.3-5 (running version: 3.3-5/bfebec03)<br>pve-kernel-2.6.32-32-pve: 2.6.32-136<br>pve-kernel-2.6.32-34-pve: 2.6.32-139<br>lvm2: 2.02.98-pve4<br>clvm: 2.02.98-pve4<br>corosync-pve: 1.4.7-1<br>openais-pve: 1.1.4-3<br>libqb0: 0.11.1-2<br>redhat-cluster-pve: 3.2.0-2<br>resource-agents-pve: 3.9.2-4<br>fence-agents-pve: 4.0.10-1<br>pve-cluster: 3.0-15<br>qemu-server: 3.3-3<br>pve-firmware: 1.1-3<br>libpve-common-perl: 3.0-19<br>libpve-access-control: 3.0-15<br>libpve-storage-perl: 3.0-25<br>pve-libspice-server1: 0.12.4-3<br>vncterm: 1.1-8<br>vzctl: 4.0-1pve6<br>vzprocps: 2.0.11-2<br>vzquota: 3.1-2<br>pve-qemu-kvm: 2.1-10<br>ksm-control-daemon: 1.1-1<br>glusterfs-client: 3.5.2-1<br><br><br></div></div>2. VM1<br><br>root@pxtest1:/etc/pve/qemu-server# cat 101.conf <br>bootdisk: ide0<br>cores: 2<br>ide0: /dev/drbd0<br>ide2: none,media=cdrom<br>kvm: 0<br>memory: 128<br>name: vm1<br>net0: e1000=F2:8E:67:5E:BA:CC,bridge=vmbr0<br>onboot: 1<br>ostype: l26<br>sockets: 1<br><div><div><div><div><div><div><div><div><br><br>Best regards,<br>Stanislav German-Evtushenko<br></div></div></div></div></div></div></div></div></div>