Що ми виміряли в лісах Дадьї, а що ні

Для кожної задачі ми порівняли конкуруючі підходи на лейблах з незалежних супутникових продуктів і перевірили їх на даних, яких вони не бачили. Нижче — що вийшло й що це означає для рейнджерів. Усі запуски записані локально, а датасети мають версії за вмістом.

Усі задачі в одній таблиці

Еталон це правильна відповідь, з якою звіряємо. Простий підхід це найпростіше рішення, яке обраний має перемогти. Різниця це обраний мінус простий на тих самих тестових прикладах, з 95 % інтервалом парного бутстрепа. Якщо інтервал перетинає нуль, переваги не доведено.

• Аналіз даних (EDA)Кожен сирий набір і кожен датасет: що в ньому, розподіли, лейбли, мапи, яка ознака відділяє лейбл, кореляціїусі
• Вибір лідера на валідаціїУсі підходи гілки порівнюються на валідаційних даних, лідер обирається там, а не на тестіусі
• Тест на нових данихЛідер перевіряється на даних, яких не бачив: інша половина парку, наступні роки, інша пожежаусі
• Довірчий інтервалБутстреп за просторовими чи часовими блоками: наскільки число стійкеFD FM FG LD LM LG AR TP CP SD CD
• Різниця з базовою лінієюЧи кращий лідер за просте правило на тих самих блоках: FIRMS, кліматологія, випадковий вибір, «де вже горіло»FD FG AR LG TP CP
• Стійкість до еталонаТой самий результат проти іншого лейбла: EFFIS, лише 2023, Hansen, падіння NDVIFD FG
• Лише минулеКожен рік прогнозується тільки з даних до нього, як у реальній роботіFG LG TP CP
• Без однієї пожежіМодель вчиться на всіх пожежах, крім однієї, і перевіряється на ній; так для кожноїFG
• Розрізи за рокамиЯк якість змінюється від року до рокуFG LG TP CP
• Криві ROC і PRЯк лідер відділяє позитивні випадки від решти на всіх порогахFG
• Верхня межаСкільки дала б модель, якби лейбли того ж року були відоміFG
• Важливість ознакЯкі ознаки найбільше впливають на рішення моделіFG
• Мапа помилок лідераДе лідер влучив, де помилився, де пропустивFD
• ЧутливістьСкільки веж чи камер треба, інша висота щогли, інші під'їздиTP CP
• Крива часткиЯку частку втрат ловить прогноз залежно від площі, яку перевіряютьLG
• Роздільність знімкаЯк точність падає з 12 до 50 см на піксельSD

Ареали застосунку кажуть, що відбувається в кожній зоні: тип, чи вона активна, згасла чи відновилась, чи розширюється, як часто там щось стається й хто це бачить. Перевіряємо, наскільки ці риси збігаються із задумом сценарію.

Наступні кроки

1. Більше подій. Пожежних днів і рубок у тестах замало: розширити дані на сусідні парки й більше років.
2. Валідація на кількох сезонах і регіонах для ризику ділянок замість однієї пожежі.
3. Розмітка кадрів реальної вежі й супутникових знімків лісу, щоб виміряти детектори в умовах парку.
4. Прив'язка реальної вежі. Зіставити кадри з відомими точками на мапі й виміряти справжню похибку напрямку: зараз вона симульована.
5. Журнали проїздів. Перевірити місця камер на реальних GPS-треках або записах: зараз шлях припущений.
6. Реальний потік сигналів. Перевірити зведення на справжніх камерах і дзвінках, а надійність джерел навчити на підтвердженнях рейнджерів: зараз вона задана вручну.

Загрози валідності

• Одна велика пожежа. Еврос-2023 домінує в згарищі, ризику ділянок, поширенні й камері на координати. Результати можуть не переноситися на дрібні пожежі.
• Лейбли з продуктів, а не з поля. Hansen бачить загибель крон, але не її причину. EFFIS пропускає частину дрібних пожеж. FIRMS бачить вогонь лише під час прольоту супутника.
• Мало подій у тестах. 30 пожежних днів, кілька десятків рубок і пожеж у задачах розміщення, кілька гектарів у детекції вирубки. Тому інтервали широкі, а різниці з базою часто не доведені.
• Погода в одній точці. NASA POWER у центрі парку не бачить різниці між ділянками.
• Сценарні припущення й симуляція. Дальність огляду й висота диму у вежах, похибка напрямку в камері, найкоротший шлях до рубки, генератор потоку сигналів. Ці задачі позначено окремо.
• Зміни протоколу. У «Де ставити камери» перший тест мав 2 рубки, після цього всі три задачі розміщення перейшли на прогресивний протокол. У «Дні пожежі» підхід раніше обирали на тестових роках, тепер на 2022. Обидві зміни описано в блоках.
• Детектори не донавчались. Їх перевірено на відкритих еталонах, а не на кадрах із парку.

Джерела

1. Hansen M.C. et al. (2013). High-resolution global maps of 21st-century forest cover change. Science 342, 850–853. Global Forest Change v1.12.
2. Schroeder W. et al. (2014). The New VIIRS 375 m active fire detection data product. Remote Sensing of Environment 143, 85–96. NASA FIRMS.
3. Giglio L. et al. (2016). The collection 6 MODIS active fire detection algorithm and fire products. Remote Sensing of Environment 178, 31–41.
4. Didan K. (2021). MODIS/Terra Vegetation Indices 16-Day L3 Global 250 m, MOD13Q1 v061. NASA LP DAAC; вирізки ORNL DAAC.
5. NASA POWER Project, Prediction Of Worldwide Energy Resources, NASA Langley Research Center.
6. Copernicus Sentinel-2 L2A, ESA; каталог Earth Search, Element 84.
7. OPERA Land Surface Disturbance Alert (DIST-ALERT-HLS), NASA JPL; шар NASA GIBS.
8. San-Miguel-Ayanz J. et al. (2012). Comprehensive monitoring of wildfires in Europe: the European Forest Fire Information System (EFFIS).
9. Van Wagner C.E. (1987). Development and structure of the Canadian Forest Fire Weather Index System. Canadian Forestry Service, Technical Report 35.
10. Key C.H., Benson N.C. (2006). Landscape Assessment: ground measure of severity, the Composite Burn Index, and remote sensing of severity, the Normalized Burn Ratio. FIREMON, USDA Forest Service.
11. Anderson H.E. (1983). Predicting wind-driven wild land fire size and shape. USDA Forest Service, Research Paper INT-305.
12. Birant D., Kut A. (2007). ST-DBSCAN: an algorithm for clustering spatial–temporal data. Data & Knowledge Engineering 60, 208–221.
13. Amigó E. et al. (2009). A comparison of extrinsic clustering evaluation metrics based on formal constraints. Information Retrieval 12, 461–486. BCubed.
14. Razakarivony S., Jurie F. (2016). Vehicle detection in aerial imagery: a small target detection benchmark. JVCIR 34, 187–203. VEDAI.
15. Venâncio P.V.A.B. et al. (2022). An automatic fire detection system based on deep convolutional neural networks for low-power, resource-constrained devices. Neural Computing and Applications. D-Fire.
16. Yousif H. et al. (2019). Dynamic programming selection of object proposals for sequence-level animal species classification in the wild. ENA24, LILA BC.
17. Liu S. et al. (2023). Grounding DINO. arXiv:2303.05499. Cheng T. et al. (2024). YOLO-World. CVPR. Ultralytics YOLO11.
18. AWS Terrain Tiles (SRTM). OpenStreetMap contributors, ODbL. H3, Uber Technologies.

Використання ШІ

Код, аналіз і тексти цієї сторінки підготовлено з допомогою ШІ-асистента Claude (Anthropic). Протоколи, перевірку чисел і висновки визначали автори.