Aggiungere una network separata per lo storage Ceph

Ceph funziona anche con una sola network.

Se si vuole separare la network di frontend (la PUBLIC_NETWORK, cioè quella a cui si connettono i client, ad esempio lo storage Proxmox), si può separare la CLUSTER_NETWORK, che è quella di hertbeat ed usata per il rebalance degli OSD.

È sufficiente

• Configurare le nuove interfacce di rete con i relativi indirizzi IP su tutti i nodi e verificare che si pinghino

vi /etc/network/interfaces

• Impostare su un nodo nella configurazione (verrà distribuita agli altri nodo da proxmox) la cluster_network ed i cluster_addr e riavviare gli OSD, ed il traffico viene automaticamente girato da Ceph sul quella network.

vi /etc/pve/ceph.conf

[global]
...
	 cluster_network = 10.56.57.0/24
..
[mon.one]
...
	 cluster_addr = 10.56.57.112

[mon.two]
...
	 cluster_addr = 10.56.57.111
...
[mon.three]
...
	 cluster_addr = 10.56.57.114

• Riavviare SU TUTTI i nodi i monitor e gli osd, e vedere il traffico con iftop

systemctl restart ceph-mon@one.service 

systemctl restart ceph-osd@1.service 
systemctl restart ceph-osd@2.service 
systemctl restart ceph-osd@3.service
....

Per separare anche il traffico dello Storage proxmox dalla LAN normale, bisognerebbe cambiare ANCHE la PUBLIC_NETWORK

• Per far questo, dichiarare in ceph.conf la nuova public_network:

vi /etc/pve/ceph.conf

[global]
...
	 public_network = 10.58.59.0/24
..

• Da proxmox, distruggere il monitor e ricrearlo: avrà il nuovo ip corrispondente alla subnet dichiarata.

• Rimettere il parametro cluster_network e riavviare il monitor.

• Riavviare gli OSD.

• Fare lo stesso per gli altri nodi

TUTTO QUESTO SENZA INTERRUZIONE DI SERVIZIO

Riferimenti

• Change Public Network and / or Cluster Network in Ceph | Proxmox Support Forum
• Network Configuration Reference — Ceph Documentation
• Configuring a private network - IBM Documentation
• Change Ceph network : Proxmox