Использование необработанного пространства CEPH

Question

Я не могу понять, где мое чистое пространство отсутствует.

cluster 90dc9682-8f2c-4c8e-a589-13898965b974 
    health HEALTH_WARN 72 pgs backfill; 26 pgs backfill_toofull; 51 pgs backfilling; 141 pgs stuck unclean; 5 requests are blocked > 32 sec; recovery 450170/8427917 objects degraded (5.341%); 5 near full osd(s) 
    monmap e17: 3 mons at {enc18=192.168.100.40:6789/0,enc24=192.168.100.43:6789/0,enc26=192.168.100.44:6789/0}, election epoch 734, quorum 0,1,2 enc18,enc24,enc26 
    osdmap e3326: 14 osds: 14 up, 14 in 
     pgmap v5461448: 1152 pgs, 3 pools, 15252 GB data, 3831 kobjects 
      31109 GB used, 7974 GB/39084 GB avail 
      450170/8427917 objects degraded (5.341%) 
        18 active+remapped+backfill_toofull 
       1011 active+clean 
        64 active+remapped+wait_backfill 
        8 active+remapped+wait_backfill+backfill_toofull 
        51 active+remapped+backfilling 
recovery io 58806 kB/s, 14 objects/s 

OSD дерево (каждый узел имеет 2 OSD):

# id weight type name  up/down reweight 
-1  36.45 root default 
-2  5.44   host enc26 
0  2.72     osd.0 up  1 
1  2.72     osd.1 up  0.8227 
-3  3.71   host enc24 
2  0.99     osd.2 up  1 
3  2.72     osd.3 up  1 
-4  5.46   host enc22 
4  2.73     osd.4 up  0.8 
5  2.73     osd.5 up  1 
-5  5.46   host enc18 
6  2.73     osd.6 up  1 
7  2.73     osd.7 up  1 
-6  5.46   host enc20 
9  2.73     osd.9 up  0.8 
8  2.73     osd.8 up  1 
-7  0    host enc28 
-8  5.46   host archives 
12  2.73     osd.12 up  1 
13  2.73     osd.13 up  1 
-9  5.46   host enc27 
10  2.73     osd.10 up  1 
11  2.73     osd.11 up  1 

реального использования:

/dev/rbd0  14T 7.9T 5.5T 59% /mnt/ceph 

Размер бассейна:

osd pool default size = 2 

Бассейны: цеф Osd lspools

0 data,1 metadata,2 rbd, 

RADOS ДФ

pool name  category     KB  objects  clones  degraded  unfound   rd  rd KB   wr  wr KB 
data   -       0   0   0   0   0   0   0   0   0 
metadata  -       0   0   0   0   0   0   0   0   0 
rbd    -    15993591918  3923880   0  444545   0  82936  1373339  2711424 849398218 
    total used  32631712348  3923880 
    total avail  8351008324 
    total space 40982720672 

Сырье использования является 4x реального использования. Насколько я понимаю, это должно быть 2x?

Answer 1

Я не думаю, что у вас есть только одно изображение rbd. Результат «ceph osd lspools» показал, что у вас было 3 бассейна, а один из бассейнов - «метаданные». (Возможно, вы использовали cephfs)./dev/rbd0 появился, потому что вы сопоставили изображение, но могли бы иметь и другие изображения. Чтобы перечислить изображения, вы можете использовать «rbd list -p». Вы можете увидеть информацию об изображении с "rbd info -p"

Answer 2

Да, это должно быть 2x. Я действительно не уверен, что реальное сырьевое использование - 7.9T. Почему вы проверяете это значение на сопоставленном диске?

Это мои бассейны:

 

pool name     KB  objects  clones  degraded  unfound   rd  rd KB   wr  wr KB 
admin-pack   7689982   1955   0   0   0  693841  3231750  40068930 353462603 
public-cloud  105432663  26561   0   0   0  13001298 638035025 222540884 3740413431 
rbdkvm_sata  32624026697  7968550  31783   0   0 4950258575 232374308589 12772302818 278106113879 
    total used  98289353680  7997066 
    total avail 34474223648 
    total space 132763577328 

Вы можете видеть, что общий объем используемого пространства в 3 раза больше, чем используемые пространства в rbdkvm_sata бассейна (+ -).

ceph -s показывает тот же результат тоже:

 

pgmap v11303091: 5376 pgs, 3 pools, 31220 GB data, 7809 kobjects 
      93736 GB used, 32876 GB/123 TB avail