Configurare Ceph per usare delle OSD basate su ZVOL Zfs in Proxmox

• Se nons i vuole usare tutto un disco come OSD, ma configurarlo come ZPOLL ed utilizzarne solo una parte, occorre creare uno ZVOL della dimensione voluta:

zfs create -V 200G BACKUP/ceph-osd1

• Identificare il device:

ls /dev/zd*

• Eventualmente usare:

 ls /dev/zvol/BACKUP/ceph-osd1

• Settare le proprietà:

 zfs set sync=disabled BACKUP/ceph-osd1
 zfs set atime=off BACKUP/ceph-osd1
 zfs set checksum=off  BACKUP/ceph-osd1
 set atime=off BACKUP/ceph-osd1
 zfs set xattr=sa BACKUP/ceph-osd1

• Modificare /etc/lvm/lvm.conf per rimuovere il filtro che blocca l'uso degli zvol (TODO: che conseguenze ha ?):

vi /etc/lvm/lvm.conf

devices {
    # added by pve-manager to avoid scanning ZFS zvols
    #global_filter=["r|/dev/zd.*|"]
}

• Copiare la key di autenticazione epr la creazioen manuale degli OSD:

ceph auth get client.bootstrap-osd > /var/lib/ceph/bootstrap-osd/ceph.keyring

• Verificare:

cat /var/lib/ceph/bootstrap-osd/ceph.keyring

[client.bootstrap-osd]
       key = AQB3kBFljx9JMBAApaW2Shm3bDSGcw6spoXIXQ==
       caps mon = "allow profile bootstrap-osd"

• Creare l'OSD:

ceph-volume lvm create --data /dev/zd0 --crush-device-class HDD

• Deve apparire ed essere attiva in web gui proxmox.

• Fare reboot.

• Se non si avvia, eliminare glie eventuali servizi systemd errati identificando i LVM attivi:

lvs
 LV                                             VG                                        Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
 osd-block-7f9a6796-498d-4e44-bfc5-6d36455a87b9 ceph-f440f03b-b8f6-4c09-804c-2a561c60ff17 -wi-ao---- <200.00g                                                    
 root     

• Vedere se esistono i device:

ls /dev/ceph-f440f03b-b8f6-4c09-804c-2a561c60ff17/osd-block-7f9a6796-498d-4e44-bfc5-6d36455a87b9

• Se non esitono, farli creare:

vgchange -ay

• Eliminare le eventuali unit systemd errate:

 systemctl disable ceph-volume@lvm-0-949336e5-a3e1-4a19-a13d-79ef5a9e7904.service
 systemctl disable ceph-volume@lvm-0-80828744-bad6-46f8-a1f2-41ad5cb20e08.service

• Riavviare manualmente i servizi dell'OSD

systemctl restart ceph-volume@lvm-0-7f9a6796-498d-4e44-bfc5-6d36455a87b9.service 

systemctl status ceph-volume@lvm-0-7f9a6796-498d-4e44-bfc5-6d36455a87b9.service 

systemctl restart ceph-osd@0.service 

systemctl status ceph-osd@0.service 

• Fare reboot e vedere se lpOSD si riattiva correttamente

• Se la si vuole ricreare, metterla in out da web gui
• Fermarla con systemctl
• Rimuoverla

pveceph osd remove --id 0

• Pulire lo zvol:

ceph-volume lvm zap /dev/zd0

• Rifare da capo l'OSD

Riferimenti

• [Solution CEPH on ZFS | Proxmox Support Forum]

• Ceph OSD on zvol or dir? | Proxmox Support Forum