ceph pg states

incomplete state

Der Ceph Cluster hat erkannt, dass einer placement group (PG) wichtige Informationen fehlen.
Dabei kann es sich um fehlende Informationen zu eventuell aufgetretenen Schreibvorgängen handeln oder dass es keine fehlerfreien Kopien gibt.

Empfehlung ist alle OSDs, die im State down oder out sind wieder in den Ceph Cluster zu bringen, da diese die erforderlichen Informationen enthalten könnten.
Bei einem Ereasure Coding (EC) Pool kann die kurzzeitige Reduzierung der min_size die Wiederherstellung ermöglichen. Die min_size kann jedoch nicht kleiner sein als die Anzahl der definierten data shunks für diesen Pool.

Quelle:
http://docs.ceph.com/docs/master/rados/operations/pg-states/
http://docs.ceph.com/docs/master/rados/operations/erasure-code/

Ceph OSD ordentlich aus einem produktiven Cluster entfernen

In einem produktiven Cluster kann die Entfernung von OSDs oder ganzen Hosts, je nach Last die regulären Operationen für die Nutzer beeinflußen.
Deshalb entpfiehlt sich zum Beispiel eine OSD oder einen Host schrittweise aus dem produktien Betrieb zu nehmen, um die volle Replikation über den ganzen Prozess sicherzustellen.

Manuell könnte man die Befehle schrittweise ausführen und immer warten bis die Daten komplett im Cluster neu verteilt sind.
„Ceph OSD ordentlich aus einem produktiven Cluster entfernen“ weiterlesen