<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">I’ve just rebuild all my proxmox heads and created a new cluster. No HA.<div class=""><br class=""></div><div class="">This was working just fine before upgrading to proxmox 4.1</div><div class=""><br class=""></div><div class="">Within 5 minutes adding all 4 systems to the cluster proxmox03 and proxmox01 have dropped from the cluster group.</div><div class=""><br class=""></div><div class="">I’m seeing the following filling up the logs</div><div class=""><br class=""></div><div class=""><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:42:23 proxmox04 corosync[34115]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Retransmit List: 4d7 4d8 4d9 4da 4db 4dc 4dd 4de 4df 4e0 4e1 4e2 4e</span></div></div><div class=""><span style="font-variant-ligatures: no-common-ligatures" class=""><br class=""></span></div><div class=""><br class=""></div><div class=""><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:44:48 proxmox01 corosync[3195]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[MAIN  ] Completed service synchronization, ready to provide servi</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:44:54 proxmox01 corosync[3195]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] A new membership (10.240.0.100:220) was formed. Members l</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:44:54 proxmox01 corosync[3195]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[TOTEM ] Failed to receive the leave message. failed: 3 1</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(41, 249, 20); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 17 11:44:54 proxmox01 pmxcfs[3172]: </span><span style="font-variant-ligatures: no-common-ligatures; color: #00f900" class="">[dcdb] notice: members: 4/3172</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(41, 249, 20); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 17 11:44:54 proxmox01 pmxcfs[3172]: </span><span style="font-variant-ligatures: no-common-ligatures; color: #00f900" class="">[status] notice: members: 4/3172</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(41, 249, 20); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 17 11:44:54 proxmox01 pmxcfs[3172]: </span><span style="font-variant-ligatures: no-common-ligatures; color: #00f900" class="">[status] notice: node lost quorum</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:44:54 proxmox01 corosync[3195]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[QUORUM] This node is within the non-primary component and will NO</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(41, 249, 20); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 17 11:44:54 proxmox01 corosync[3195]: </span><span style="font-variant-ligatures: no-common-ligatures; color: #00f900" class="">[QUORUM] Members[1]: 4</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(0, 249, 0); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:44:54 proxmox01 corosync[3195]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[MAIN  ] Completed service synchronization, ready to provide servi</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(195, 55, 32); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures; color: #29f914" class="">Feb 17 11:44:54 proxmox01 pmxcfs[3172]: </span><span style="font-variant-ligatures: no-common-ligatures" class="">[dcdb] crit: received write while not quorate - trigger resync</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(41, 249, 20); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 17 11:44:54 proxmox01 pmxcfs[3172]: </span><span style="font-variant-ligatures: no-common-ligatures; color: #c33720" class="">[dcdb] crit: leaving CPG group</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(41, 249, 20); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 17 11:44:55 proxmox01 pmxcfs[3172]: </span><span style="font-variant-ligatures: no-common-ligatures; color: #00f900" class="">[dcdb] notice: start cluster connection</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(41, 249, 20); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 17 11:44:55 proxmox01 pmxcfs[3172]: </span><span style="font-variant-ligatures: no-common-ligatures; color: #00f900" class="">[dcdb] notice: members: 4/3172</span></div><div style="margin: 0px; font-size: 9px; line-height: normal; font-family: Monaco; color: rgb(41, 249, 20); background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 17 11:44:55 proxmox01 pmxcfs[3172]: </span><span style="font-variant-ligatures: no-common-ligatures; color: #00f900" class="">[dcdb] notice: all data is up to date</span></div></div><div class=""><span style="font-variant-ligatures: no-common-ligatures; color: #00f900" class=""><br class=""></span></div><div class=""><br class=""><div class="">
<div class="">----</div><div class="">Guy</div><div class=""><br class=""></div><br class="Apple-interchange-newline">

</div>
<br class=""><div><blockquote type="cite" class=""><div class="">On 17 Feb 2016, at 07:23, Thomas Lamprecht <<a href="mailto:t.lamprecht@proxmox.com" class="">t.lamprecht@proxmox.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class="">
  
    <meta content="text/html; charset=windows-1252" http-equiv="Content-Type" class="">
  
  <div text="#000000" bgcolor="#FFFFFF" class="">
    Note that /etc/cluster/cluster.conf isn't needed anymore, everything
    cluster relevant will we read out of /etc/pve/corosync.conf (which
    looks good as far as I can see).<br class="">
    <br class="">
    You said you upgrade, are you really _really_ sure you did not miss
    a step (no offense)?<br class="">
    <br class="">
    I assume you rebuild the cluster cleanly with pvecm addnode
    <...>?<br class="">
    <br class="">
    Can you post also your /etc/hostname and /etc/network/interfaces,<br class="">
    but it seems to be able to connect initially, thus they should be
    fine...<br class="">
    <br class="">
    <br class="">
    proxmox04 seems to be the problem, as the other can connect just
    fine.<br class="">
    <br class="">
    Can you post whats happening there with:<br class="">
    $ journalctl -u corosync.service -u pve-cluster.service -b<br class="">
    <br class="">
    So we filter out (possible) irrelevant other logging.<br class="">
    <br class="">
    cheers,<br class="">
    Thomas<br class="">
    <br class="">
    <div class="moz-cite-prefix">On 02/16/2016 07:46 PM, Guy Plunkett
      wrote:<br class="">
    </div>
    <blockquote cite="mid:8F3459BC-79D9-4C03-A2BD-9A9695DAAC1C@britewhite.net" type="cite" class="">
      <meta http-equiv="Content-Type" content="text/html;
        charset=windows-1252" class="">
      <meta http-equiv="Content-Type" content="text/html;
        charset=windows-1252" class="">
      <meta http-equiv="Content-Type" content="text/html;
        charset=windows-1252" class="">
      Hello,
      <div class=""><br class="">
      </div>
      <div class="">I’ve upgraded my Dell M1000 blade centre to Proxmox
        4.1. The upgrade seems to go fine, however I can’t seem to have
        all 4 nodes connected at once.  It seems to work for a short
        time then then one node will disappear,  I can SSH to it just
        fine, and have to restart corosync and pve-cluster and it will
        join again, however shortly later another node will disappear.</div>
      <div class=""><br class="">
      </div>
      <div class="">Finally a node crashes and restarts. There is
        nothing present in the syslogs as to why this node cashed.</div>
      <div class=""><br class="">
      </div>
      <div class="">I’ve spent 2 days fighting with this to try and
        resolve it.  This was working just fine on 3.x.</div>
      <div class=""><br class="">
      </div>
      <div class="">Please can someone help here I’m pulling my hair out
        trying to get this working, and I don’t have much left!</div>
      <div class=""><br class="">
      </div>
      <div class="">Cheers,</div>
      <div class="">—Guy</div>
      <div class=""><br class="">
      </div>
      <div class="">
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:50 proxmox01 corosync[5747]:  [TOTEM ] A new
            membership (10.240.0.100:35536) was formed. Members</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:50 proxmox01 corosync[5747]:  [QUORUM] Members[3]:
            4 3 2</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:50 proxmox01 corosync[5747]:  [MAIN  ] Completed
            service synchronization, ready to provide service.</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:53 proxmox01 corosync[5747]:  [TOTEM ] A new
            membership (10.240.0.100:35540) was formed. Members</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:53 proxmox01 corosync[5747]:  [QUORUM] Members[3]:
            4 3 2</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:53 proxmox01 corosync[5747]:  [MAIN  ] Completed
            service synchronization, ready to provide service.</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:56 proxmox01 corosync[5747]:  [TOTEM ] A new
            membership (10.240.0.100:35544) was formed. Members</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:56 proxmox01 corosync[5747]:  [QUORUM] Members[3]:
            4 3 2</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:56 proxmox01 corosync[5747]:  [MAIN  ] Completed
            service synchronization, ready to provide service.</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:59 proxmox01 corosync[5747]:  [TOTEM ] A new
            membership (10.240.0.100:35548) was formed. Members</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:59 proxmox01 corosync[5747]:  [QUORUM] Members[3]:
            4 3 2</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:32:59 proxmox01 corosync[5747]:  [MAIN  ] Completed
            service synchronization, ready to provide service.</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:02 proxmox01 corosync[5747]:  [TOTEM ] A new
            membership (10.240.0.100:35552) was formed. Members</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:02 proxmox01 corosync[5747]:  [QUORUM] Members[3]:
            4 3 2</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:02 proxmox01 corosync[5747]:  [MAIN  ] Completed
            service synchronization, ready to provide service.</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:05 proxmox01 corosync[5747]:  [TOTEM ] A new
            membership (10.240.0.100:35556) was formed. Members</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:05 proxmox01 corosync[5747]:  [QUORUM] Members[3]:
            4 3 2</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:05 proxmox01 corosync[5747]:  [MAIN  ] Completed
            service synchronization, ready to provide service.</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:08 proxmox01 corosync[5747]:  [TOTEM ] A new
            membership (10.240.0.100:35560) was formed. Members</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:08 proxmox01 corosync[5747]:  [QUORUM] Members[3]:
            4 3 2</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:08 proxmox01 corosync[5747]:  [MAIN  ] Completed
            service synchronization, ready to provide service.</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:11 proxmox01 corosync[5747]:  [TOTEM ] A new
            membership (10.240.0.100:35564) was formed. Members</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:11 proxmox01 corosync[5747]:  [QUORUM] Members[3]:
            4 3 2</span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb
            16 16:33:11 proxmox01 corosync[5747]:  [MAIN  ] Completed
            service synchronization, ready to provide service.</span></div>
      </div>
      <div style="margin: 0px; font-size: 9px; line-height: normal;
        font-family: Monaco; color: rgb(41, 249, 20); background-color:
        rgb(0, 0, 0);" class=""><span style="font-variant-ligatures:
          no-common-ligatures" class="">
          <div style="margin: 0px; line-height: normal;" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 16 16:36:45 proxmox01 rsyslogd: [origin
              software="rsyslogd" swVersion="8.4.2" x-pid="2723"
              x-info="<a moz-do-not-send="true" href="http://www.rsyslog.com/" class="">http://www.rsyslog.com</a>"]
              start</span></div>
          <div style="margin: 0px; line-height: normal;" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 16 16:36:45 proxmox01
              systemd-modules-load[999]: Module 'fuse' is builtin</span></div>
          <div style="margin: 0px; line-height: normal;" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 16 16:36:45 proxmox01
              systemd-modules-load[999]: Inserted module 'vhost_net'</span></div>
          <div style="margin: 0px; line-height: normal;" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 16 16:36:45 proxmox01 hdparm[1031]: Setting
              parameters of disc: (none).</span></div>
          <div style="margin: 0px; line-height: normal;" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">Feb 16 16:36:45 proxmox01 lvm[1280]: 3 logical
              volume(s) in volume group "pve" now active</span></div>
          <div class=""><span style="font-variant-ligatures:
              no-common-ligatures" class=""><br class="">
            </span></div>
        </span></div>
      <div class=""><span style="font-variant-ligatures:
          no-common-ligatures" class=""><br class="">
        </span></div>
      <div class=""><br class="">
      </div>
      <div class="">
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">#
            cat /etc/cluster/cluster.conf </span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""><?xml
            version="1.0"?></span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""><cluster
            name="Cork-Training" config_version="6"></span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
        </div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""> 
            <cman keyfile="/var/lib/pve-cluster/corosync.authkey"></span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""> 
            </cman></span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
        </div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""> 
            <clusternodes></span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""> 
            <clusternode name="proxmox01" votes="1" nodeid="1"/></span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""> 
            <clusternode name="proxmox02" votes="1"
            nodeid="2"/><clusternode name="proxmox03" votes="1"
            nodeid="3"/><clusternode name="proxmox04" votes="1"
            nodeid="4"/></clusternodes></span></div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
        </div>
        <div style="margin: 0px; font-size: 9px; line-height: normal;
          font-family: Monaco; color: rgb(41, 249, 20);
          background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></cluster></span></div>
      </div>
      <div class=""><span style="font-variant-ligatures:
          no-common-ligatures" class=""><br class="">
        </span></div>
      <div class=""><span style="font-variant-ligatures:
          no-common-ligatures" class="">
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""># cat /etc/pve/corosync.conf </span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">logging {</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  debug: off</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  to_syslog: yes</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">}</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
          </div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">nodelist {</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  node {</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    name: proxmox04</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    nodeid: 1</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    quorum_votes: 1</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    ring0_addr: proxmox04</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  }</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
          </div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  node {</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    name: proxmox03</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    nodeid: 2</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    quorum_votes: 1</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    ring0_addr: proxmox03</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  }</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
          </div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  node {</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    name: proxmox02</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    nodeid: 3</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    quorum_votes: 1</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    ring0_addr: proxmox02</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  }</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
          </div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  node {</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    name: proxmox01</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    nodeid: 4</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    quorum_votes: 1</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    ring0_addr: proxmox01</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  }</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
          </div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">}</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
          </div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">quorum {</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  provider: corosync_votequorum</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">}</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
          </div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">totem {</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  cluster_name: Cork-Training</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  config_version: 6</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  ip_version: ipv4</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  secauth: on</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  version: 2</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  interface {</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    bindnetaddr: 10.240.0.100</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">    ringnumber: 0</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">  }</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
          </div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0);" class=""><span style="font-variant-ligatures: no-common-ligatures" class="">}</span></div>
          <div style="margin: 0px; font-size: 9px; line-height: normal;
            font-family: Monaco; color: rgb(41, 249, 20);
            background-color: rgb(0, 0, 0); min-height: 12px;" class=""><span style="font-variant-ligatures: no-common-ligatures" class=""></span><br class="">
          </div>
        </span></div>
      <div class=""><br class="">
      </div>
      <div class=""><br class="">
      </div>
      <div class=""><br class="">
        <div class="">
          <div class="">----</div>
          <div class="">Guy</div>
          <div class=""><br class="">
          </div>
          <br class="Apple-interchange-newline">
        </div>
        <br class="">
      </div>
      <br class="">
      <fieldset class="mimeAttachmentHeader"></fieldset>
      <br class="">
      <pre wrap="" class="">_______________________________________________
pve-user mailing list
<a class="moz-txt-link-abbreviated" href="mailto:pve-user@pve.proxmox.com">pve-user@pve.proxmox.com</a>
<a class="moz-txt-link-freetext" href="http://pve.proxmox.com/cgi-bin/mailman/listinfo/pve-user">http://pve.proxmox.com/cgi-bin/mailman/listinfo/pve-user</a>
</pre>
    </blockquote>
    <br class="">
  </div>

_______________________________________________<br class="">pve-user mailing list<br class=""><a href="mailto:pve-user@pve.proxmox.com" class="">pve-user@pve.proxmox.com</a><br class="">http://pve.proxmox.com/cgi-bin/mailman/listinfo/pve-user<br class=""></div></blockquote></div><br class=""></div></body></html>