<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META content="text/html; charset=utf-8" http-equiv=Content-Type>
<META name=GENERATOR content="MSHTML 8.00.6001.23588">
<STYLE></STYLE>
</HEAD>
<BODY bgColor=#ffffff>
<DIV>
<DIV><FONT size=2 face=Arial>Hi Stanislav</FONT></DIV>
<DIV> </DIV>
<DIV><FONT size=2 face=Arial>I don't try to convince to everybody that the 
problem not exist, i am only commenting my personal experiences and trying of 
help to those in need.</FONT></DIV>
<DIV> </DIV>
<DIV><FONT size=2 face=Arial>But if you think that my comments are not 
necessaries, please excuse me, and for this topic, I will not do comments 
again.<BR>Moreover, I don't know why I don't have this same problem that you 
have ¿? ¿? ¿?</FONT></DIV>
<DIV><FONT size=2 face=Arial>I just wanted to cooperate with this community 
trying of find the root of this strange problem !!!.</FONT></DIV>
<DIV> </DIV>
<DIV><FONT size=2 face=Arial>Best regards<BR>Cesar</FONT></DIV></DIV>
<BLOCKQUOTE 
style="BORDER-LEFT: #000000 2px solid; PADDING-LEFT: 5px; PADDING-RIGHT: 0px; MARGIN-LEFT: 5px; MARGIN-RIGHT: 0px" 
dir=ltr>
  <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>
  <DIV 
  style="FONT: 10pt arial; BACKGROUND: #e4e4e4; font-color: black"><B>From:</B> 
  <A title=ginermail@gmail.com href="mailto:ginermail@gmail.com">Stanislav 
  German-Evtushenko</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>To:</B> <A title=brain@click.com.py 
  href="mailto:brain@click.com.py">Cesar Peschiera</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>Cc:</B> <A title=aderumier@odiso.com 
  href="mailto:aderumier@odiso.com">Alexandre Derumier</A> ; <A 
  title=pve-devel@pve.proxmox.com 
  href="mailto:pve-devel@pve.proxmox.com">pve-devel@pve.proxmox.com</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>Sent:</B> Monday, April 13, 2015 2:11 
PM</DIV>
  <DIV style="FONT: 10pt arial"><B>Subject:</B> Re: [pve-devel] Default cache 
  mode for VM hard drives</DIV>
  <DIV><BR></DIV>
  <P dir=ltr>Hello Cesar,</P>
  <P dir=ltr>If you don't have this problem I do not really understand why cut 
  in any try to convince everybody that the problem does not exist.</P>
  <P dir=ltr>Regards,<BR>Stanislav</P>
  <P dir=ltr>On Apr 13, 2015 8:46 PM, "Cesar Peschiera" <<A 
  href="mailto:brain@click.com.py">brain@click.com.py</A>> 
  wrote:<BR>><BR>> Hi Stanislav<BR>><BR>> Excuse me please, but your 
  link don't tell me nothing about of the root of the problem of "oos" in DRBD 
  (assuming that the directive "data-integrity-alg" is 
  disabled).<BR>><BR>> Also, i have configured in the lvm.conf file 
  "write_cache_state = 0" (may be this can help you, that is other recomendation 
  of Linbit)<BR>><BR>> I think that the tuning of DRBD is the key for the 
  success, that i did in workstations and real servers, and never had problems 
  of "oos", always with all firmwares of hardware updated and with NICs Intel of 
  1 Gb/s or 10 Gb/s with bonding balance-rr exclusive for replication of DRBD 
  (NIC-to-NIC, and i don't know if will work well with the broadcom brand or 
  with other brands, I never did a test).<BR>><BR>> In real servers, with 
  I/OAT engine enabled in the BIOS, and with Intel NICs, you get better 
  performance (and in my case, without get  a "oos")<BR>><BR>> Best 
  regards<BR>> Cesar<BR>><BR>> ----- Original Message ----- From: 
  Stanislav German-Evtushenko<BR>> To: Cesar Peschiera<BR>> Cc: Alexandre 
  DERUMIER ; pve-devel<BR>> Sent: Monday, April 13, 2015 12:12 
  PM<BR>><BR>> Subject: Re: [pve-devel] Default cache mode for VM hard 
  drives<BR>><BR>><BR>> Hi Cesar,<BR>><BR>><BR>> Out of sync 
  with cache=directsync happen in very specific cases. Here is the decription of 
  one of them: <A 
  href="http://forum.proxmox.com/threads/18259-KVM-on-top-of-DRBD-and-out-of-sync-long-term-investigation-results?p=108099#post108099">http://forum.proxmox.com/threads/18259-KVM-on-top-of-DRBD-and-out-of-sync-long-term-investigation-results?p=108099#post108099</A><BR>><BR>><BR>> 
  Best regards,<BR>><BR>> 
  Stanislav<BR>><BR>><BR>><BR>><BR>> On Mon, Apr 13, 2015 at 7:02 
  PM, Cesar Peschiera <<A 
  href="mailto:brain@click.com.py">brain@click.com.py</A>> 
  wrote:<BR>><BR>> Hi to all<BR>><BR>> I use directsync in my VMs 
  with DRBD 8.4.5 in four nodes (LVM on top of DRBD), since some months ago, 
  never did have problems (all sunday days, a automated system verify all 
  storages DRBD),<BR>><BR>> These are the version of packages of my PVE 
  nodes:<BR>><BR>> In a pair of nodes:<BR>> Shell# pveversion 
  -v<BR>> proxmox-ve-2.6.32: 3.3-139 (running kernel: 3.10.0-5-pve)<BR>> 
  pve-manager: 3.3-5 (running version: 3.3-5/bfebec03)<BR>> 
  pve-kernel-2.6.32-27-pve: 2.6.32-121<BR>> pve-kernel-3.10.0-5-pve: 
  3.10.0-19<BR>> pve-kernel-2.6.32-28-pve: 2.6.32-124<BR>> 
  pve-kernel-2.6.32-29-pve: 2.6.32-126<BR>> pve-kernel-2.6.32-34-pve: 
  2.6.32-139<BR>> lvm2: 2.02.98-pve4<BR>> clvm: 2.02.98-pve4<BR>> 
  corosync-pve: 1.4.7-1<BR>> openais-pve: 1.1.4-3<BR>> libqb0: 
  0.11.1-2<BR>> redhat-cluster-pve: 3.2.0-2<BR>> resource-agents-pve: 
  3.9.2-4<BR>> fence-agents-pve: 4.0.10-1<BR>> pve-cluster: 3.0-15<BR>> 
  qemu-server: 3.3-3<BR>> pve-firmware: 1.1-3<BR>> libpve-common-perl: 
  3.0-19<BR>> libpve-access-control: 3.0-15<BR>> libpve-storage-perl: 
  3.0-25<BR>> pve-libspice-server1: 0.12.4-3<BR>> vncterm: 1.1-8<BR>> 
  vzctl: 4.0-1pve6<BR>> vzprocps: 2.0.11-2<BR>> vzquota: 3.1-2<BR>> 
  pve-qemu-kvm: 2.1-10<BR>> ksm-control-daemon: 1.1-1<BR>> 
  glusterfs-client: 3.5.2-1<BR>><BR>> In other pair of nodes:<BR>> 
  Shell# pveversion -v<BR>> proxmox-ve-2.6.32: 3.3-139 (running kernel: 
  3.10.0-5-pve)<BR>> pve-manager: 3.3-5 (running version: 
  3.3-5/bfebec03)<BR>> pve-kernel-3.10.0-5-pve: 3.10.0-19<BR>> 
  pve-kernel-2.6.32-34-pve: 2.6.32-139<BR>> lvm2: 2.02.98-pve4<BR>> clvm: 
  2.02.98-pve4<BR>> corosync-pve: 1.4.7-1<BR>> openais-pve: 
  1.1.4-3<BR>> libqb0: 0.11.1-2<BR>> redhat-cluster-pve: 3.2.0-2<BR>> 
  resource-agents-pve: 3.9.2-4<BR>> fence-agents-pve: 4.0.10-1<BR>> 
  pve-cluster: 3.0-15<BR>> qemu-server: 3.3-5 <-particularly made by 
  Alexandre<BR>> pve-firmware: 1.1-3<BR>> libpve-common-perl: 
  3.0-19<BR>> libpve-access-control: 3.0-15<BR>> libpve-storage-perl: 
  3.0-25<BR>> pve-libspice-server1: 0.12.4-3<BR>> vncterm: 1.1-8<BR>> 
  vzctl: 4.0-1pve6<BR>> vzprocps: 2.0.11-2<BR>> vzquota: 3.1-2<BR>> 
  pve-qemu-kvm: 2.2-2 <-particularly made by Alexandre<BR>> 
  ksm-control-daemon: 1.1-1<BR>> glusterfs-client: 3.5.2-1 
<BR></P></BLOCKQUOTE></BODY></HTML>