コンテンツにスキップ

10.4.1 画像分割ロードマップ:ピクセル単位の領域

Segmentation は detection より細かいです。box ではなく mask を出力し、どの pixels が class または instance に属するかを示します。

Image segmentation 章の学習順序図

Semantic segmentation の mask 例

Semantic segmentation の IoU と boundary 対応図

この章の中心 object は mask です。よくある failure は boundary quality、small objects、occlusion、class confusion です。

この script は 2 つの小さな binary masks を比較します。

truth = [
[1, 1, 0],
[1, 0, 0],
[0, 0, 0],
]
pred = [
[1, 0, 0],
[1, 1, 0],
[0, 0, 0],
]
intersection = 0
union = 0
for y in range(3):
for x in range(3):
intersection += truth[y][x] == 1 and pred[y][x] == 1
union += truth[y][x] == 1 or pred[y][x] == 1
print("mask_iou:", round(intersection / union, 3))

出力:

mask_iou: 0.5

Segmentation report では mask、metrics、boundary errors を示します。colored overlay だけで終わらせないでください。

手順読む内容実践アウトプット
1Semantic segmentationすべての pixel に 1 つの class を予測する
2Instance segmentation同じ class の別 object を分ける
3Segmentation practicemasks、IoU/Dice、boundary errors、failed samples を比較する

mask を作成または inspect し、簡単な overlap metric を計算し、boundary または class-confusion failure を説明できれば、この章は合格です。

確認の考え方と解説
  1. 合格レベルの答えでは、task を class label、bounding box、mask、OCR text、embedding、video event など正しい視覚出力に対応づけます。
  2. 証拠には、rendered visual artifact と、metric または定性的な error note を含めます。
  3. class confusion、missed object、bad mask、lighting shift、domain shift、annotation quality など、失敗モードを1つ説明できればよいです。

このページを終えたら、この evidence card を残します。

入力画像
元画像とターゲットマスクまたはクラスマップ
予測
予測マスク、重ね合わせ可視化、境界の例
指標
IoU、Dice、クラス別スコア、境界の失敗メモ
失敗確認
アノテーション品質、境界が薄い、領域が小さい、またはクラス混同
期待される成果
マスク重ね合わせとセグメンテーションメトリクス要約