Анализ входных данных и метрики

В качестве входных данных были предоставлены два набора изображений: тренировочные (train) и тестовые (test). В тренировочном наборе 25 различных областей поверхности земли, снятых со спутника, в тестовом 429 поверхностей. Для каждой поверхности было предоставлено 20 различных изображений снятых в разных спектрах спутником World View 3 [9] (см. таблицу 1).

Таблица №1

Характеристики изображений спутника World View 3

Название на английском

Длина волны, нм

Разрешение, м

Динамический диапазон, бит/пиксел

Разрешение файлов, пиксел

Panchromatic

450-800

0.31

11

~ 3396х3348

RGB (Red)

630-690

RGB (Blue)

450-510

RGB (Green)

510-580

Coastal

400-450

1.24

~ 849x837

Blue

450-510

Green

510-580

Yellow

585-625

Red

630-690

RedEdge

705-745

Near-IR1

770-895

Near-IR2

860-1040

SWIR-1

1195-1225

7.5

14

~136x134

SWIR-2

1550-1590

SWIR-3

1640-1680

SWIR-4

1710-1750

SWIR-5

2145-2185

SWIR-6

2185-2225

SWIR-7

2235-2285

SWIR-8

2295-2365

Для тренировочных данных была также предоставлена готовая разметка по 10 классам. От участников соревнования требовалось автоматически получить разметку на тестовых данных. Список классов и их относительная площадь приведены в таблице 2.

Таблица №2

Список классов для разметки и максимальный размер полигона

Номер класса

Описание

Максимальный размер полигона для отдельной картинки, %

1

Строения

20.7

2

Заборы и другие структуры

2.9

3

Большие дороги

4.3

4

Тропинки

12.3

5

Деревья

24.9

6

Возделываемые поля, зерновые культуры, и. т.д.

93.6

7

Быстрая вода (реки, моря)

10.6

8

Медленная вода (лужи, высохшие русла)

1.4

9

Большие транспортные средства (грузовики, автобусы)

0.018

10

Автомобили и мотоциклы

0.156

Пример одной из тестовых картинок в RGB приведен на рис.1. Полигоны для этой картинки изображены на рис.2.

Один из тренировочных снимков

Рис.1. - Один из тренировочных снимков

Полигональная разметка для тренировочного снимка

Рис.2. - Полигональная разметка для тренировочного снимка

Для оценки решения использовалась метрика Jaccard Index, который задаётся формулой (1):

, (1)

где TP - True positive, FP - False Positive, FN - False negative. Схематично формулу можно пояснить с помощью кругов Эйлера (см. рисунок 3)

Пересечение реального полигона A, с предсказанным полигоном B

Рис.3. - Пересечение реального полигона A, с предсказанным полигоном B

Из формулы (1) видно, что Jaccard Index изменяется на промежутке от 0 до 1. При этом в задаче метрика считалась одновременно для всех картинок. Плохое предсказание на одной картинке значительно влияло на финальную метрику. Поэтому требовалось избегать ложноположительных срабатываний.

 
< Пред   СОДЕРЖАНИЕ   Загрузить   След >