<html>
  <head>

    <meta http-equiv="content-type" content="text/html; charset=utf-8">
  </head>
  <body text="#000000" bgcolor="#FFFFFF">
    Hi all,<br>
    <br>
    I'm in the process of patching our office 4-node Proxmox cluster. 
    It seems I'm unable to online migrate VMs between the newest PVE
    version and our previous installed versions:<br>
    <br>
    node1, node4: (updated nodes)<br>
    # pveversion -v<br>
    proxmox-ve: 4.1-37 (running kernel: 4.2.6-1-pve)<br>
    pve-manager: 4.1-13 (running version: 4.1-13/cfb599fb)<br>
    pve-kernel-2.6.32-37-pve: 2.6.32-150<br>
    pve-kernel-2.6.32-42-pve: 2.6.32-165<br>
    pve-kernel-4.2.6-1-pve: 4.2.6-36<br>
    pve-kernel-2.6.32-43-pve: 2.6.32-166<br>
    pve-kernel-4.2.8-1-pve: 4.2.8-37<br>
    pve-kernel-2.6.32-39-pve: 2.6.32-157<br>
    pve-kernel-2.6.32-34-pve: 2.6.32-140<br>
    pve-kernel-2.6.32-40-pve: 2.6.32-160<br>
    lvm2: 2.02.116-pve2<br>
    corosync-pve: 2.3.5-2<br>
    libqb0: 1.0-1<br>
    pve-cluster: 4.0-32<br>
    qemu-server: 4.0-55<br>
    pve-firmware: 1.1-7<br>
    libpve-common-perl: 4.0-48<br>
    libpve-access-control: 4.0-11<br>
    libpve-storage-perl: 4.0-40<br>
    pve-libspice-server1: 0.12.5-2<br>
    vncterm: 1.2-1<br>
    pve-qemu-kvm: 2.5-5<br>
    pve-container: 1.0-44<br>
    pve-firewall: 2.0-17<br>
    pve-ha-manager: 1.0-21<br>
    ksm-control-daemon: 1.2-1<br>
    glusterfs-client: 3.5.2-2+deb8u1<br>
    lxc-pve: 1.1.5-7<br>
    lxcfs: 0.13-pve3<br>
    cgmanager: 0.39-pve1<br>
    criu: 1.6.0-1<br>
    <br>
    node2, node3: (not updated)<br>
    # pveversion -v<br>
    proxmox-ve: 4.1-32 (running kernel: 4.2.6-1-pve)<br>
    pve-manager: 4.1-4 (running version: 4.1-4/ccba54b0)<br>
    pve-kernel-2.6.32-37-pve: 2.6.32-150<br>
    pve-kernel-2.6.32-42-pve: 2.6.32-165<br>
    pve-kernel-4.2.6-1-pve: 4.2.6-32<br>
    pve-kernel-2.6.32-32-pve: 2.6.32-136<br>
    pve-kernel-2.6.32-43-pve: 2.6.32-166<br>
    pve-kernel-2.6.32-39-pve: 2.6.32-157<br>
    pve-kernel-4.2.2-1-pve: 4.2.2-16<br>
    lvm2: 2.02.116-pve2<br>
    corosync-pve: 2.3.5-2<br>
    libqb0: 0.17.2-1<br>
    pve-cluster: 4.0-30<br>
    qemu-server: 4.0-44<br>
    pve-firmware: 1.1-7<br>
    libpve-common-perl: 4.0-43<br>
    libpve-access-control: 4.0-11<br>
    libpve-storage-perl: 4.0-38<br>
    pve-libspice-server1: 0.12.5-2<br>
    vncterm: 1.2-1<br>
    pve-qemu-kvm: 2.4-20<br>
    pve-container: 1.0-37<br>
    pve-firewall: 2.0-15<br>
    pve-ha-manager: 1.0-16<br>
    ksm-control-daemon: 1.2-1<br>
    glusterfs-client: 3.5.2-2+deb8u1<br>
    lxc-pve: 1.1.5-5<br>
    lxcfs: 0.13-pve3<br>
    cgmanager: 0.39-pve1<br>
    criu: 1.6.0-1<br>
    fence-agents-pve: not correctly installed<br>
    <br>
    I can online migrate VMs:<br>
        node1<->node4<br>
        node2<->node3<br>
    but can't do <br>
        node1<->node2<br>
        node4<->node2<br>
        node1<->node3<br>
        node4<->node3<br>
    <br>
    Reported log:<br>
    <div id="pveLogView-7404-body" class="x-panel-body
      x-panel-body-default x-panel-body-default x-docked-noborder-right
      x-docked-noborder-bottom x-docked-noborder-left" style="padding:
      5px; overflow: auto; width: 776px; height: 303px; left: 0px; top:
      26px;">
      <div role="presentation" style="font: 11px/16px tahoma,arial,verdana,sans-serif; white-space: pre; padding-top: 0px; height: 192px;" class="x-component x-component-default" id="component-7405">Feb 25 12:38:38 starting migration of VM 119 to node 'sanmarko' (172.29.37.4)
Feb 25 12:38:38 copying disk images
Feb 25 12:38:38 starting VM 119 on remote node 'sanmarko'
Feb 25 12:38:39 starting ssh migration tunnel
Feb 25 12:38:39 starting online/live migration on localhost:60000
Feb 25 12:38:39 migrate_set_speed: 8589934592
Feb 25 12:38:39 migrate_set_downtime: 0.1
Feb 25 12:38:41 ERROR: online migrate failure - aborting
Feb 25 12:38:41 aborting phase 2 - cleanup resources
Feb 25 12:38:41 migrate_cancel
Feb 25 12:38:43 ERROR: migration finished with problems (duration 00:00:05)
TASK ERROR: migration problems
</div>
    </div>
    Offline migration works OK.<br>
    I have also tried to upgrade a node (node4) and then migrate to
    node1, but it hasn't worked, until I have stopped and restarted the
    VM.<br>
    <br>
    Is this expected? How should I upgrade without VM downtime?<br>
    <br>
    Thanks<br>
    Eneko<br>
    <br>
    <pre class="moz-signature" cols="72">-- 
Zuzendari Teknikoa / Director Técnico
Binovo IT Human Project, S.L.
Telf. 943493611
      943324914
Astigarraga bidea 2, planta 6 dcha., ofi. 3-2; 20180 Oiartzun (Gipuzkoa)
<a class="moz-txt-link-abbreviated" href="http://www.binovo.es">www.binovo.es</a></pre>
  </body>
</html>