2013/3/12 Alexandre DERUMIER <span dir="ltr"><<a href="mailto:aderumier@odiso.com" target="_blank">aderumier@odiso.com</a>></span><br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<div><br>
<br>
>> In one PCIe Slot there are an Intel 10 GB card, to talk with a Supermicro 10 GB switcher, exclusive to communication between the five nodes and the Storage .<br>
<br>
</div>What is the intel model card ?  do you use mtu 9000 ?<br></blockquote><div><br>Not yet, doing now .<br>I did not saw that in any documentation, why ?<br>This is the output of lspci -v<br><br>03:00.1 Ethernet controller: Intel Corporation 82598EB 10-Gigabit AF Dual Port Network Connection (rev 01)<br>

        Subsystem: Intel Corporation 10-Gigabit XF SR Dual Port Server Adapter<br>        Flags: bus master, fast devsel, latency 0, IRQ 19<br>        Memory at dff20000 (32-bit, non-prefetchable) [size=128K]<br>        Memory at dff40000 (32-bit, non-prefetchable) [size=256K]<br>

        I/O ports at e400 [size=32]<br>        Memory at dff1c000 (32-bit, non-prefetchable) [size=16K]<br>        Capabilities: [40] Power Management version 3<br>        Capabilities: [50] MSI: Enable- Count=1/1 Maskable- 64bit+<br>

        Capabilities: [60] MSI-X: Enable+ Count=18 Masked-<br>        Capabilities: [a0] Express Endpoint, MSI 00<br>        Capabilities: [100] Advanced Error Reporting<br>        Capabilities: [140] Device Serial Number 00-1b-21-ff-ff-d9-39-5e<br>

        Kernel driver in use: ixgbe<br><br><br> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div><br>
>>pvestatd[2804]: WARNING: storage 'iudice01' is not online<br>
<br>
</div>What storage protocol do you use ? nfs/iscsi/lvm ?<br>
if nfs, what is your mounts options ?<br></blockquote><div><br>Sorry, I forget to say it, is is nfs , the config were made within web interface in the very first attempt .<br>This is the content of storage.conf :<br><br>
dir: local<br>    path /var/lib/vz<br>    content images,iso,vztmpl,rootdir<br>    maxfiles 0<br><br>nfs: Backups<br>    path /mnt/pve/Backups<br>    server 192.168.100.20<br>    export /iudice01/backup<br>    options vers=3<br>
    content images,backup<br>    maxfiles 1<br><br>nfs: Imagens<br>    path /mnt/pve/Imagens<br>    server 192.168.100.20<br>    export /iudice01/images<br>    options vers=3<br>    content images,iso<br>    maxfiles 1<br>
<br><br> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<div><br>
<br>
>>After that, if I try to restart the pve daemon, it refuses to .<br>
>>If I try to reboot the server, it stops when the PVE daemon should stops, and stays there forever .<br>
>><br>
>>The only way to reboot any of the nodes is a hard reset !<br>
<br>
</div>It's possible that a access to the storage is hanging (stats, vm volume info,...).<br>
Normally a check is done to avoid that. (this is the "not online" message you see).<br></blockquote><div><br>The Storage are OK, I can access its web interface, view logs, and etc ... nothing wrong in there .<br>
 </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
The check are :<br>
<br>
for nfs::<br>
/usr/bin/rpcinfo -p nfsipserver  with a timeout of 2sec<br>
<br>
for iscsi:<br>
<br>
ping iscsiserverip tcp port 3260 with a timeout of 2sec.<br>
<br>
<br>
So maybe the timeout is too low in proxmox code, when your san is under load.<br>
<br>
<br>
<br>
Also, do you have vms hang ? or is it only pvedaemon/manager ?<br></blockquote><div> <br><br>No, VMs do not hang, unless I try to restart pvedaemon, them all VMs in that node hangs ...<br>But I can not migrate any VM, each node do not talk with each other ...<br>
<br><br>Fábio Rabelo<br>
</div></div>