<div dir="ltr"><br><div class="gmail_extra"><br><br><div class="gmail_quote">On Sat, Oct 5, 2013 at 3:57 PM, Fabrizio Cuseo <span dir="ltr"><<a href="mailto:f.cuseo@panservice.it" target="_blank">f.cuseo@panservice.it</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">All my answers below:<br>
<div><br>
> 1. would you please share your hardware specs of Ceph storage cluster<br>
> and PVE Box and the connectivity of all boxes.<br>
<br>
</div>You can use legacy linux servers for Ceph Storage; of course, you can use cheap servers (ex: HP Microserver, with 4 sata disks) if you don't mind about performances; if you want performances, you can use 3 xeon based server, not less of 8Gbyte ram (16Gbyte is better), and several SAS disks for each server. For network connections, use 2/4 giga ethernet in a single bond.<br>


You can also use every kind of legacy linux server, or a virtual machine on each proxmox node, using 2 or more local disks (not used for other proxmox local storage), like Vmware does with VSA (virtual storage appliance); performances can be enough or not depending on your needs.<br>


<div><br></div></blockquote><div><br></div><div>Yes i have got few old Dell 490 Xeon workstations with same specs you specified. so will give it a try.<br></div><div>but which bond type. there are 7 bond modes<br><div align="justify">

<br></div><div align="justify">mode=0 (Balance Round Robin) <br>mode=1 (Active backup) <br>mode=2 (Balance XOR) <br>mode=3 (Broadcast) <br>mode=4 (802.3ad) <br>mode=5 (Balance TLB) <br>mode=6 (Balance ALB) <br>
<br></div><br></div><div>. actually i am asking in stability perspective because i dont have enough time left to experience and find a a right bond type for the configuration.  <br></div><div> if you already used one with Proxmox setup that would be highly appreciated if you share your experience it will save lot of time for me.<br>
</div><div>for me BRR seems a bit better. as per my set of configuration.<br></div><div><br>
</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>
> 2. do you relay upon only replication. dont you take the backup of<br>
> VM? if yes then again would you please throw some light on your<br>
> strategy in reference to my question in first message.<br>
<br>
</div>Replication is never enough; you always need a backup with a retemption strategy; use another storage (a cheap soho nas with 2/4 sata disk in raid 1/10)<br></blockquote><div><br></div><div>agreed, i can do that, easy for me :). Thanks for the tip<br>

</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div><br>
> 3. Any recommended how to for ceph and PVE.<br>
<br>
</div>You can find an howto on proxmox ve wiki, ( <a href="http://pve.proxmox.com/wiki/Storage:_Ceph" target="_blank">http://pve.proxmox.com/wiki/Storage:_Ceph</a> ) and of course you can read on ceph home page.<br>
<div><br></div></blockquote><div><br>Thanks for sharing, atleast i will get some basic understanding. <br><br><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div>
> 4. is your setup Ceph cluster is like DRBD active/passive with heart<br>
> beat. if one down second will auto up. with a second or 2 downtime?<br>
<br>
</div>Replication on a clustered storage is something different; every "file" is splitted in several chunks (blocks) and every chunk is written on 2 or more servers (depending of replication level you need); so if one of the nodes of the ceph storage cluster dies (or if you need to reboot, change hardware, move location), the cluster can work in degraded mode (as a raid volume), but differently from raid, if you have 3 or more servers, and your replica goal is 2, the cluster begin to write the clusters with only 1 copy on the other servers; when your dead server can rejoin the cluster, it will be syncronized with every change... so always works like a charme.<br>


<div><br>
<br>
> Sorry for involving DRBD all the time since i have only worked on<br>
> DRBD clustering, only concept of mine in clustering starts and ends<br>
> on DRBD+heartbeat :) and as you also know that DRBD work little<br>
> differently and have some limitations too. so please dont mind.<br>
<br>
<br>
</div>Is really different, and (for me) better. A storage cluster is not only redundant, but you can expand it lineary, with other server and/or disks, having more space (theoretically infinite space), more redundancy (if you change your replica goal from 2 to 3, for example), and more performance because you have more cpu, more disk, more IOPS.<br>


<br>
Regards, Fabrizio<br>
<div><div><br>
><br>
> Thanks,<br>
><br>
><br>
><br>
><br>
><br>
><br>
> Regards, Fabrizio<br>
><br>
><br>
><br>
> ----- Messaggio originale -----<br>
> Da: "Muhammad Yousuf Khan" < <a href="mailto:sirtcp@gmail.com" target="_blank">sirtcp@gmail.com</a> ><br>
> A: <a href="mailto:pve-user@pve.proxmox.com" target="_blank">pve-user@pve.proxmox.com</a><br>
> Inviato: Sabato, 5 ottobre 2013 10:58:41<br>
> Oggetto: [PVE-User] efficient backup of VM on external storage.<br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
><br>
> i have never worked on external storage just worked on drbd on local<br>
> storage/system drives.<br>
><br>
><br>
> Scenario is:<br>
> for example. i have two external storage and 1 Proxmox Machine.<br>
> i am using 1G NICs to connect all nodes<br>
><br>
> the storage are connected to each other from another link but no<br>
> replication done b/w storage boxes mean they are no failover to each<br>
> other. and both the storage are connected to Proxmox. i am using<br>
> primary storage to run 3 machines on NFS or iSCSI. note that machine<br>
> are running on primary storage over a single 1G ethernet link/single<br>
> point of failure.<br>
><br>
><br>
><br>
> now lets say. i want VM1 backedup to secondary storage. however i<br>
> dont want my backup traffic to effect my primary link where 3<br>
> machines are active.<br>
><br>
><br>
> any suggestion to achieve that.<br>
><br>
><br>
><br>
><br>
><br>
> Thanks.<br>
><br>
><br>
> _______________________________________________<br>
> pve-user mailing list<br>
> <a href="mailto:pve-user@pve.proxmox.com" target="_blank">pve-user@pve.proxmox.com</a><br>
> <a href="http://pve.proxmox.com/cgi-bin/mailman/listinfo/pve-user" target="_blank">http://pve.proxmox.com/cgi-bin/mailman/listinfo/pve-user</a><br>
><br>
> --<br>
> ---<br>
> Fabrizio Cuseo - mailto: <a href="mailto:f.cuseo@panservice.it" target="_blank">f.cuseo@panservice.it</a><br>
> Direzione Generale - Panservice InterNetWorking<br>
> Servizi Professionali per Internet ed il Networking<br>
> Panservice e' associata AIIP - RIPE Local Registry<br>
> Phone: <a href="tel:%2B39%200773%20410020" value="+390773410020" target="_blank">+39 0773 410020</a> - Fax: <a href="tel:%2B39%200773%20470219" value="+390773470219" target="_blank">+39 0773 470219</a><br>
> <a href="http://www.panservice.it" target="_blank">http://www.panservice.it</a> mailto: <a href="mailto:info@panservice.it" target="_blank">info@panservice.it</a><br>
> Numero verde nazionale: 800 901492<br>
><br>
><br>
<br>
--<br>
---<br>
Fabrizio Cuseo - mailto:<a href="mailto:f.cuseo@panservice.it" target="_blank">f.cuseo@panservice.it</a><br>
Direzione Generale - Panservice InterNetWorking<br>
Servizi Professionali per Internet ed il Networking<br>
Panservice e' associata AIIP - RIPE Local Registry<br>
Phone: <a href="tel:%2B39%200773%20410020" value="+390773410020" target="_blank">+39 0773 410020</a> - Fax: <a href="tel:%2B39%200773%20470219" value="+390773470219" target="_blank">+39 0773 470219</a><br>
<a href="http://www.panservice.it" target="_blank">http://www.panservice.it</a>  mailto:<a href="mailto:info@panservice.it" target="_blank">info@panservice.it</a><br>
Numero verde nazionale: 800 901492<br>
</div></div></blockquote></div><br></div></div>