Słowa kluczowe:
Detekcja zmian w drzewostanach na podstawie danych satelitarnych polega na pośrednim wnioskowaniu o stanie terenu z zarejestrowanego promieniowania. Zmian zachodzących w lesie nie obserwuje się bowiem bezpośrednio na optycznym obrazie satelitarnym. Jedną z satelit obserwacyjnych jest Sentinel-2.
Sentinel-2 jest misją obserwacji Ziemi programu Copernicus, realizowaną przez satelity wyposażone w instrument wielospektralny (ang. Multi-Spectral Instrument, MSI) [589]. Dane misji udostępnia się na kolejnych poziomach przetwarzania; Level-2A oznacza produkt obejmujący obrazy współczynnika odbicia powierzchniowego uzyskane po korekcji atmosferycznej [589], nie zaś bezpośredni zapis drzewostanu lub procesu, który go zmienił. Interpretacja przebiega zatem zgodnie z łańcuchem wnioskowania: sensor rejestruje informacje spektralne próbkowane przestrzennie, pomiary są reprezentowane w pikselach rastra, model przypisuje etykiety klas, a niezależnie sklasyfikowane mapy z różnych terminów są porównywane w celu identyfikacji przejść [98]. Wynikowa mapa przejść zależy od cech lasu będących przedmiotem wnioskowania, sposobu pozyskania i przetworzenia pomiarów satelitarnych, sposobu reprezentacji tych pomiarów na wejściu modelu, etykiet referencyjnych, modelu oraz reguły porównywania obu sklasyfikowanych map. Ponieważ błędy klasyfikacji mogą być skorelowane między terminami, dokładności mapy przejść nie można określić wyłącznie na podstawie dokładności dwóch map dla poszczególnych terminów [90]. Zmiana przypisanej etykiety stanowi zatem przesłankę wskazującą na zmianę w ramach określonej procedury pomiarowej i modelowania, nie jest jednak bezpośrednim dowodem jej przyczyny.
Poniższy rozdział opisuje ten łańcuch. Na początku definiuje obiekty leśne, źródła informacji i granice obserwowalności, a następnie wyjaśnia dane optyczne Sentinel-2 oraz kartowanie za pomocą segmentacji semantycznej. Następnie wprowadza głębokie sieci neuronowe oraz wybrane architektury konwolucyjne, hybrydowe i oparte na transformerach. W dalszej części przechodzi do porównania po klasyfikacji i generalizacji czasowej, po czym przedstawia kategoryczny i ciągły opis składu gatunkowego. Na końcu przegląd powiązanych badań, ukierunkowany na problem pracy, łączy te podstawy z luką badawczą i projektem badania przedstawionym w rozdziale 3.
Pierwszym elementem charakterystyki ww. łańcucha jest określenie, do jakich obiektów odnoszą się obserwowane i przewidywane zmiany. Wymaga to rozdzielenia obiektów biologicznych i jednostek ewidencyjnych od pikseli, w których zapisywany jest pomiar.
W rozpatrywanym problemie informatycznym las, drzewostan, wydzielenie i piksel stanowią odrębne obiekty. Zgodnie z polską ustawą o lasach, las jest prawną kategorią gruntu, obejmującą spełniające określone warunki obszary o zwartej powierzchni co najmniej 0,10 ha, pokryte roślinnością leśną lub przejściowo jej pozbawione, a także określone grunty związane z gospodarką leśną [576]. Grunt nieleśny pozostaje poza tą kategorią, lecz nie musi być pozbawiony drzew [578]. Drzewostan jest dostatecznie jednorodnym zbiorowiskiem wzajemnie oddziałujących drzew, wykorzystywanym jako jednostka ewidencji i planowania [577], a jego okap stanowi górną warstwę utworzoną przez korony drzew. Wydzielenie jest kartograficzną reprezentacją nieliniowego wyłączenia taksacyjnego; jego granice mogą wynikać z gatunku panującego, potrzeb gospodarczych lub ochronnych oraz wymaganej dokładności inwentaryzacji [578]. Skład gatunkowy opisuje udziały określane na podstawie zajmowanej powierzchni lub liczby drzew, przy czym gatunkiem panującym jest gatunek o największym udziale [578]. Piksel jest natomiast stałą komórką rastra. Produkt Level-2A przechowuje wartości współczynnika odbicia powierzchniowego w pikselach o rozmiarach zależnych od kanału spektralnego [41], dlatego granice pikseli nie pokrywają się z granicami koron drzew, drzewostanów ani wydzieleń.
Główne źródła informacji opisują odmienne aspekty tych obiektów. W ramach inwentaryzacji terenowej na powierzchniach próbnych wykonuje się pomiary drzew i drzewostanów [578], natomiast w ramach urządzania lasu porządkuje się opisy, cele, zadania i sposoby prowadzenia gospodarki leśnej dla określonych jednostek [576]. Bank Danych o Lasach (BDL) jest internetową bazą danych, która gromadzi informacje leśne i udostępnia je publicznie za pośrednictwem portalu [133]. Jest to pojedynczy system informacyjny - nie określenie całej inwentaryzacji i urządzania lasu w kraju. Mapy pokrycia terenu opisują obszar za pomocą legendy tematycznej, natomiast obrazy satelitarne pozyskiwane w różnych terminach dostarczają pomiarów optycznych o rozległym pokryciu przestrzennym, odnoszących się do widocznego okapu drzewostanu i powierzchni terenu. Same dane satelitarne nie pozwalają ustalić statusu prawnego, odtworzyć historii gospodarki leśnej ani jednoznacznie określić przyczyny zaburzenia.
Na potrzeby tego badania rozróżnia się cztery poziomy zmian: - Proces biologiczny lub działanie z zakresu gospodarki leśnej, takie jak zamieranie drzew, stres suszowy, pozyskanie drewna bądź odnowienie drzewostanu, mogą zmienić udział gatunkowy. - Zmiana pokrycia terenu zachodzi, gdy zmienia się obserwowalny stan okapu drzewostanu lub powierzchni terenu. - Zmiana etykiety referencyjnej dotyczy kategorii przypisanych przez źródło referencyjne i może również wynikać z terminu aktualizacji, sposobu interpretacji lub reguł klasyfikacji. - Zmiana predykcji modelu może wynikać z warunków obserwacji lub błędu klasyfikacji.
Zmiany na tych czterech poziomach mogą występować jednocześnie, ale żadnego poziomu nie można automatycznie utożsamiać z pozostałymi. Rozróżnienie to wyznacza granice interpretacji zmian: przedmiotem dalszej analizy nie są bezpośrednio procesy biologiczne lub gospodarcze, lecz ich możliwe przejawy w danych optycznych.
Przejście od obiektów i procesów do ich reprezentacji satelitarnej wymaga wyjaśnienia, w jaki sposób sensor optyczny rejestruje promieniowanie odbite od powierzchni. W zależności od powierzchni odbicie może mieć różną wartość. Szczególnie istotna z punktu widzenia podjętych badań jest analiza materiału roślinnego. Barwniki roślinne silnie absorbują promieniowanie widzialne; współczynnik odbicia wzrasta w kierunku bliskiej podczerwieni (NIR), gdzie na odpowiedź spektralną wpływa wewnętrzna struktura liścia, natomiast odpowiedź w zakresie krótkofalowej podczerwieni (SWIR) silnie zależy od absorpcji wody [121]. Struktura okapu drzewostanu, pnie, gałęzie, niższe warstwy roślinności, wielokrotne rozpraszanie oraz zacienienie przez korony modyfikują w skali piksela zależności obserwowane na poziomie liścia [121].
Podstawową wielkością opisującą ten pomiar jest współczynnik odbicia spektralnego, czyli stosunek promieniowania odbitego do promieniowania padającego w danym zakresie długości fal. Przeskalowane wartości współczynnika odbicia powierzchniowego przechowuje produkt Level-2A [41]. Sentinel-2 próbkuje przestrzennie kanały B2 (niebieski), B3 (zielony), B4 (czerwony) i szeroki kanał NIR B8 co 10 m, natomiast kanały red-edge B5–B7, wąski kanał NIR B8A oraz kanały SWIR B11–B12 co 20 m [41]. Kanały te dostarczają uzupełniających się informacji związanych z barwnikami, strukturą i zawartością wody w materiale roślinnym [121]. Przepróbkowanie tych kanałów do wspólnej siatki rastrowej wyznacza przestrzennie wyrównane komórki wyjściowe na podstawie pomiarów o natywnej rozdzielczości, lecz nie dodaje nowych pomiarów przy drobniejszym rozstawie pikseli. Na rysunku 2.1 zestawiono dwa laboratoryjne widma elementów roślin z wartościami ważonymi funkcjami odpowiedzi kanałów Sentinel-2 MSI. Krzywe odnoszą się do pomiarów liścia i igieł, a nie do uogólnionych sygnatur spektralnych okapu drzewostanu [587], [588].
Rysunek 2.1. Zmierzone laboratoryjnie widma współczynnika odbicia pojedynczego liścia osiki i igieł świerka kłującego oraz względne funkcje odpowiedzi spektralnej kanałów Sentinel-2 MSI; punkty oznaczają współczynnik odbicia ważony odpowiedzią kanału. Krzywe nie stanowią uogólnionych sygnatur spektralnych okapu drzewostanu. Źródło: opracowanie własne na podstawie danych PySpectral [587] i USGS Spectral Library Version 7 [588].
Wskaźniki spektralne łączą wartości wybranych kanałów w zwięzłe miary kontrastu, na przykład między NIR a kanałem czerwonym albo między NIR a SWIR. W przypadku wskaźników wegetacji, pojedynczy wskaźnik rozpatrywany samodzielnie stanowi nieodwracalną kompresję i dlatego nie zachowuje wszystkich informacji zawartych w kanałach źródłowych [585]. Wartości wskaźników wegetacji mogą uwydatniać zmienność roślinności, lecz integrują wiele właściwości okapu drzewostanu, zamiast wyodrębniać jeden proces przyczynowy [586].
Na pomiar wpływają także czynniki atmosferyczne. Obserwacje optyczne mogą zakłócać chmury i ich cienie. Stąd, w rocznych kompozytach medianowych Sentinel-2 Level-1C obejmujących strefę międzyzwrotnikową nierównomierny rozkład zachmurzenia w ciągu roku mógł skutkować niewielką liczbą obserwacji bezchmurnych i nadreprezentacją warunków pory suchej [457]. Pokazuje to syntetyczny eksperyment modelowy, gdzie ekspozycja terenu wpływała na oświetlenie okapu i udział jego zacienionych części [387]. Zmieniało to modelowany współczynnik odbicia mimo niezmienionej struktury drzewostanu. Tworzenie kompozytów czasowych, po zamaskowaniu chmur i ich cieni, umożliwiają obserwacje wielokrotne. Wówczas dla każdego kanału i piksela można obliczyć medianę wartości współczynnika odbicia ze wszystkich ważnych obserwacji w wybranym oknie czasowym. Wynikowy kompozyt redukuje te obserwacje do jednej wartości, stąd też nie zachowuje ich sekwencji czasowej.
Tworzenie kompozytu nie eliminuje całej zmienności czasowej. W przypadku zimozielonych gatunków iglastych w regionach borealnych i północnej części strefy umiarkowanej sezonową zmienność widm igieł wiąże się ze zmianami strukturalnymi i biochemicznymi. Do zmian strukturalnych zalicza się wzrost igieł. Natomiast w igłach przezimowanych, wiosenne zmiany składu barwników wpływają na widma w zakresie widzialnym i położenie red-edge [121].
Łącznie mechanizmy te wskazują, że różnice między kompozytami mogą odzwierciedlać nie tylko trwałą zmianę stanu okapu drzewostanu, lecz także sezonowy stan roślinności, czasowy dobór ważnych obserwacji i oświetlenie zależne od rzeźby terenu. Porównywalne okna sezonowe i wystarczająca liczba ważnych obserwacji mogą ograniczać różnice wynikające z próbkowania czasowego, natomiast spójne przetwarzanie wstępne może ograniczać różnice wprowadzane podczas przetwarzania. Środki te nie pozwalają jednak same w sobie ustalić przyczyny różnicy spektralnej.
Opisane kanały i kompozyty tworzą rastrową reprezentację obserwacji, lecz same nie stanowią jeszcze mapy klas potrzebnej do analizy zmian. Aby przejść od pomiaru optycznego do takiej mapy, należy określić wynik przypisywany każdemu położeniu rastra.
Klasyfikacja pikselowa przypisuje jedną etykietę ze skończonej legendy klas do wektora cech komórki rastra, a rozmieszczenie tych etykiet na siatce tworzy mapę klas. Segmentacja semantyczna ujmuje to zadanie jako gęstą predykcję mapy na podstawie obrazu, przy czym wynik zachowuje zgodność przestrzenną z wejściem [580]. W odróżnieniu od klasyfikacji opartej wyłącznie na wektorze pojedynczego piksela model segmentacyjny może wykorzystywać również kontekst przestrzenny, w tym widma sąsiednich pikseli, teksturę obrazu, granice i szerszy układ klas. Mechanizm sieci określający, jak duża część wejścia może wpływać na element wyjścia, opisuje pole recepcyjne, omówione w podrozdziale 2.4. Szerszy kontekst może sprzyjać spójności strukturalnej, jednak jego użyteczność pozostaje kwestią empiryczną, ponieważ małe obiekty i granice nadal wymagają lokalizacji przestrzennej.
Segmentacja dostarcza map tematycznych potrzebnych do porównania realizowanego po klasyfikacji (ang. post-classification comparison, PCC). Dla każdego terminu obserwacji tworzy się osobną mapę, a następnie w macierzy przejść zestawia się klasy przypisane na obu mapach [98]. Najpierw określa się zatem klasę w każdym terminie, a dopiero potem porównuje obie mapy. Odrębną decyzją jest forma wartości docelowej. Twarda wartość docelowa zachowuje jedną kategorię, często klasę dominującą, natomiast wektor udziałów – udziały poszczególnych składowych. W badaniach wykorzystujących Sentinel-2 mieszaniny gatunków drzew przedstawiano jako udziały dla każdego piksela [570]. Każda z tych wartości docelowych może odnosić się do piksela, drzewostanu lub wydzielenia. W tabeli 2.1 zestawiono zakres zachowywanej informacji i konsekwencje agregacji obu reprezentacji. Konsekwencje przyjęcia określonego mianownika, sposobu agregacji i przestrzennej jednostki odniesienia walidacji rozwinięto w podrozdziałach 2.7 i 2.8.4.
| Właściwość | Twarda etykieta klasy | Wektor udziałów |
|---|---|---|
| Wynik jednostkowy | Jedna kategoria z legendy docelowej | Nieujemne udziały składowych zdefiniowane względem jednego mianownika |
| Zachowana informacja | Wybrana kategoria, najczęściej klasa dominująca | Względny udział każdej zdefiniowanej składowej |
| Agregacja przestrzenna | Odsetek lub powierzchnia jednostek przypisanych do poszczególnych klas | Średnia udziałów ważona powierzchnią, przy zachowaniu definicji mianownika |
| Produkt zmiany | Przejście między klasami i macierz przejść | Zmiana udziału każdej składowej między porównywalnymi jednostkami i epokami |
| Wymaganie walidacyjne | Klasa referencyjna dla tej samej przestrzennej jednostki odniesienia | Udziały referencyjne dla tych samych składowych, mianownika i przestrzennej jednostki odniesienia |
| Dwa piksele o jednakowej powierzchni i fC = 0,51 | Oba otrzymują etykietę klasy iglastej; odsetek tej etykiety wynosi 1,00 | Średni udział gatunków iglastych wynosi 0,51 |
Tabela 2.1. Porównanie twardej etykiety klasy i wektora udziałów jako wartości docelowych. Źródło: opracowanie własne na podstawie [580], [98] i [570].
Segmentacja semantyczna określa postać zadania i jego wyniku, ale nie sposób przekształcania rastra wejściowego w mapę klas. W kolejnym kroku należy zatem wyjaśnić, jak głębokie sieci neuronowe tworzą z pomiarów rastrowych wyuczone reprezentacje przestrzenne.
sieci konw. Warstwa konwolucyjna stosuje trenowalne lokalne jądro o współdzielonych parametrach i wytwarza mapy cech, których kanały kodują wyuczone wzorce. Kolejne warstwy łączą informacje z coraz większych obszarów wejścia. Pole recepcyjne jest obszarem wejścia wpływającym na pojedynczy element wyjścia, a zatem wiąże głębokość i skalę architektury z kontekstem dostępnym podczas predykcji [581].
zdanie laczace Mechanizm uwagi łączy wektory wartości za pomocą wag wyznaczonych na podstawie zgodności zapytań i kluczy. Mechanizm samouwagi wiąże położenia w obrębie jednej reprezentacji zgodnie z ich treścią [582]. Architektury typu transformer (ang.) tworzą reprezentacje przede wszystkim poprzez takie interakcje, jednak segmentacja obrazów nadal wymaga hierarchii przestrzennej lub dekodera przywracającego przestrzennie zgodne predykcje. Przykładowo SegFormer wykorzystuje hierarchiczny koder transformera do wytwarzania cech wieloskalowych oraz dekoder agregujący kilka poziomów [18]. Architektury konwolucyjne, hybrydowe i oparte na transformerach różnią się zatem miejscem tworzenia kontekstu lokalnego i nielokalnego oraz sposobem przekazywania go do wyjścia.
Uczenie transferowe wykorzystuje wiedzę uzyskaną w warunkach źródłowych w celu poprawy generalizacji w warunkach docelowych [581].
W segmentacji można ponownie wykorzystać parametry kodera wytrenowanego w zadaniu źródłowym, a następnie nauczyć lub dostosować dekoder i warstwę wyjściową. Adaptacji wymaga również interfejs wejściowy modelu, jeżeli wszystkie kanały danych docelowych mają zostać podane do warstwy wstępnie wytrenowanej dla trójkanałowych obrazów barwnych. Wstępne trenowanie dostarcza reprezentacji początkowej, lecz samo w sobie nie stanowi podstawy do stwierdzenia, że jej cechy są odpowiednie dla każdego kanału spektralnego lub każdej klasy.
Wyniki porównań architektur mogą odzwierciedlać zarówno konstrukcję sieci, jak i procedurę uczenia transferowego. Funkcje straty, optymalizację i ustawienia trenowania określono w rozdziale 3.
Przedstawione mechanizmy — konwolucje, hierarchie cech, dekodery i mechanizm uwagi — mogą być łączone w odmienne układy architektoniczne. W badaniu rozpatruje się trzy architektury: U-Net, UNetFormer i SegFormer-B2, różniące się sposobem tworzenia kontekstu i odtwarzania szczegółów przestrzennych.
Porównanie rozpoczyna U-Net, w którym kontekst i szczegóły przestrzenne są łączone w układzie opartym na konwolucyjnym koderze i dekoderze. Stanowi on punkt odniesienia dla architektur omówionych dalej, które wprowadzają mechanizmy uwagi w innych częściach sieci.
U-Net realizuje architekturę koder–dekoder. W ścieżce kodującej stosuje się lokalne konwolucje i zmniejszanie rozdzielczości, natomiast ścieżka dekodująca stopniowo przywraca rozmiar przestrzenny reprezentacji. Na każdym etapie dekodera reprezentacja po próbkowaniu w górę jest poddawana konkatenacji z odpowiadającą jej mapą cech kodera zachowującą szczegóły przestrzenne, po czym wykonuje się kolejne konwolucje [2]. Wąskie gardło gromadzi kontekst poprzez kolejne operacje lokalne, natomiast połączenia skrótowe przekazują szczegóły przestrzenne z pominięciem tego wąskiego gardła. Interakcje między odległymi położeniami pozostają pośrednie i hierarchiczne. W pracy nazwa U-Net oznacza wzorzec kodera i dekodera z przepływem cech między skalami. Ocenianą głębokość, liczbę kanałów i konfigurację dekodera określono w rozdziale 3.
Względem U-Net architektura UNetFormer zachowuje hierarchiczną organizację cech, lecz uzupełnia konwolucyjny koder dekoderem wykorzystującym mechanizm uwagi. Reprezentuje tym samym wariant hybrydowy, w którym przetwarzanie lokalne i nielokalne współwystępuje w obrębie jednego modelu.
Oceniana konfiguracja UNetFormer odpowiada głównej lekkiej konfiguracji przedstawionej w publikacji i łączy wstępnie wytrenowany koder ResNet-18 z dekoderem opartym na transformerze. Koder dostarcza czterostopniową hierarchię. Jego cechy są rzutowane do wspólnego wymiaru 64 kanałów i łączone z cechami dekodera za pomocą uczonych sum ważonych. Dekoder zawiera trzy bloki typu global-local transformer block (ang.), po których następuje głowica feature refinement head (ang.) [355].
Każdy blok typu global-local transformer block łączy konwolucyjną gałąź lokalną z wielogłowicowym mechanizmem samouwagi działającym w oknach (ang. window attention). Ponieważ niezależne okna nie oddziałują bezpośrednio, krzyżowy moduł wymiany kontekstu między oknami (ang. cross-shaped window context interaction module) łączy cechy uśrednione w kierunku poziomym i pionowym, zanim zostaną połączone reprezentacje globalna i lokalna. Końcowy moduł feature refinement head łączy płytką reprezentację cech zachowującą szczegóły przestrzenne z głębszą reprezentacją cech semantycznych, a następnie stosuje ścieżki uwagi kanałowej i przestrzennej [355]. Kontekst jest przekazywany przez okna, ścieżki uśredniania i wąski dekoder, a nie przez nieograniczoną uwagę w pełnej rozdzielczości. Oceniana konfiguracja zachowuje ResNet-18 i dekoder o 64 kanałach zamiast zwiększać ich rozmiar wyłącznie w celu zrównania liczby parametrów.
W odróżnieniu od UNetFormer architektura SegFormer-B2 skupia zasadniczą część modelowania kontekstu w hierarchicznym koderze transformerowym. Pozwala to zestawić reprezentację wieloskalową z lekką głowicą segmentacyjną [18].
Cztery etapy kodera Mix Transformer (MiT) wytwarzają cechy o rozdzielczości równej odpowiednio jednej czwartej, jednej ósmej, jednej szesnastej i jednej trzydziestej drugiej rozdzielczości wejścia. Operacja overlapping patch merging (ang.) zapewnia sąsiednim tokenom częściowo wspólny obszar wejścia, sequence reduction (ang.) zmniejsza koszt mechanizmu uwagi, a Mix-FFN uzupełnia blok ze sprzężeniem w przód o depth-wise convolution (ang.), czyli konwolucję z jądrem 3 × 3 wykonywaną niezależnie w każdym kanale [18]. Architektura nie jest zatem pozbawiona konwolucji.
Dekoder All-MLP rzutuje cechy ze wszystkich czterech poziomów do wspólnego wymiaru kanałowego, zwiększa ich rozdzielczość do jednej czwartej rozdzielczości wejścia, poddaje je konkatenacji i przewiduje maskę segmentacji na podstawie połączonej reprezentacji [18]. MiT-B2 jest jednym z wariantów rozmiarowych serii B0–B5, której elementy mają wspólną architekturę, lecz różnią się pojemnością. Oznaczenie B2 określa skalę kodera, a nie odmienną zasadę działania dekodera. Konstrukcja zakłada, że hierarchiczny koder dostarcza dostatecznie użytecznych informacji lokalnych i nielokalnych dla lekkiej głowicy. Mniejszy koszt mechanizmu uwagi i proste łączenie wielu poziomów uzyskuje się kosztem rezygnacji z uwagi parami w pełnej rozdzielczości oraz symetrycznego odtwarzania rozdzielczości.
Po osobnym przedstawieniu modeli ich założenia można zestawić według wspólnych kryteriów. Należą do nich miejsce tworzenia kontekstu, sposób przekazywania szczegółów przestrzennych do predykcji oraz konsekwencje porównywania kompletnych konfiguracji.
Określenia „konwolucyjna”, „hybrydowa” i „oparta na transformerze” wskazują dominujący układ architektury, a nie rozłączne zbiory operacji. U-Net tworzy kontekst za pomocą konwolucji i stopniowego zmniejszania rozdzielczości, a następnie odtwarza lokalizację w dekoderze łączącym cechy z odpowiadających sobie poziomów. UNetFormer łączy hierarchię konwolucyjną z wąskim dekoderem, w którym stosuje się konwolucje lokalne, mechanizm uwagi działający w oknach, uśrednianie między oknami i ważone łączenie cech. SegFormer wykorzystuje hierarchiczny mechanizm uwagi w koderze, lecz zachowuje konwolucje w operacji overlapping patch merging i bloku Mix-FFN, po czym łączy cechy z wielu poziomów w rozdzielczości równej jednej czwartej rozdzielczości wejścia [2], [355], [18]. Zasadnicza różnica dotyczy miejsca tworzenia kontekstu i sposobu przekazywania szczegółów do predykcji. Kryteria te zestawiono w tabeli 2.2 bez wprowadzania rankingu dokładności.
Porównanie obejmuje zatem kompletne konfiguracje, a nie jeden graf sieci zmieniany pod względem pojedynczego czynnika. Oceniana konfiguracja UNetFormer zachowuje ResNet-18 i dekoder o 64 kanałach, SegFormer-B2 ustala jeden wariant skali MiT, a pojemność U-Net zależy od implementacji określonej w rozdziale 3. Pojemność modeli i część ustawień właściwych poszczególnym architekturom są różne. Wspólne dane, definicje wartości docelowych, podziały przestrzenne i procedury oceny ograniczają pozostałą zmienność, lecz nie pozwalają wyizolować efektu przyczynowego zastąpienia konwolucji mechanizmem uwagi. Wyniki należy interpretować na poziomie ocenianych konfiguracji, bez zakładania rankingu całych rodzin architektur.
| Architektura | Budowanie kontekstu | Łączenie cech i lokalizacja przestrzenna | Istotne ograniczenie |
|---|---|---|---|
| U-Net | Lokalne konwolucje i stopniowe próbkowanie w dół hierarchicznie powiększają pole recepcyjne | Dekoder poddaje konkatenacji odpowiadające sobie cechy kodera i własne reprezentacje po próbkowaniu w górę | Interakcje między odległymi położeniami pozostają pośrednie; pojemność zależy od implementacji |
| UNetFormer | Hierarchię ResNet-18 połączono z lokalnymi konwolucjami, mechanizmem window attention oraz uśrednianiem poziomym i pionowym przekazującym kontekst między oknami w dekoderze o 64 kanałach | Uczone ważone łączenie cech i głowica feature refinement head zestawiają cechy semantyczne z cechami zachowującymi szczegóły | Mechanizm uwagi jest ograniczony do okien; oceniany lekki dekoder zawiera trzy bloki typu global-local transformer block |
| SegFormer-B2 | Hierarchiczny koder MiT-B2 stosuje operację sequence reduction zmniejszającą koszt mechanizmu uwagi, operację overlapping patch merging i konwolucję w bloku Mix-FFN | Cechy z czterech poziomów są rzutowane, próbkowane w górę do jednej czwartej rozdzielczości, poddawane konkatenacji i łączone przez dekoder All-MLP | Architektura nie jest pozbawiona konwolucji i nie ma symetrycznego dekodera odtwarzającego kolejne poziomy; B2 określa jeden wariant skali kodera |
Tabela 2.2. Porównanie założeń działania architektur U-Net, UNetFormer i SegFormer-B2. Źródło: opracowanie własne na podstawie [2], [355] i [18].
Każda z opisanych wyżej architektur służy do utworzenia mapy dla pojedynczego terminu, jednak celem pracy jest identyfikacja zmian między datami. Wymaga to odrębnego operatora zestawiającego mapy oraz oceny, czy model zachowuje jakość po przeniesieniu w czasie.
Często stosowaną w tym procesie jest bezpośrednia dwuterminowa detekcja zmian, która otrzymuje obserwacje tego samego obszaru z dwóch terminów i łączy lub porównuje je na poziomie wejścia, cech albo decyzji. Jej wynik może być binarny lub semantyczny [93]. W PCC dla każdego terminu obserwacji niezależnie tworzy się mapę, a następnie porównuje uzyskane mapy tematyczne [98]. PCC jest użyteczne, gdy stan właściwy dla każdego terminu ma odrębne znaczenie i potrzebne są jawne przejścia od–do. Przy wspólnej legendzie komórka (i, j) macierzy przejść zawiera kartograficznie wykazaną liczbę lub powierzchnię jednostek przypisanych do klasy i w pierwszym terminie oraz do klasy j w drugim. Komórki diagonalne oznaczają trwałość klasy wykazaną na mapie, a komórki pozadiagonalne oznaczają wykazane na mapie przejścia [98]. Macierz opisuje przejścia etykiet, a nie zweryfikowane mechanizmy fizyczne.
Dokładna etykieta przejścia od–do jest poprawna tylko wtedy, gdy poprawne są etykiety dla obu terminów. Jeżeli brzegowe prawdopodobieństwa poprawnego przypisania etykiety dla pierwszego i drugiego terminu wynoszą odpowiednio A₁ i A₂, iloczyn A₁ × A₂ stanowi oszacowanie ich łącznej poprawności wyłącznie przy założeniu niezależności tych dwóch zdarzeń. Bez tego założenia iloczyn nie stanowi oszacowania dokładności mapy przejść. Błędy klasyfikacji dla poszczególnych terminów mogą być skorelowane czasowo [90], a binarna klasyfikacja: zmiana–brak zmiany, może być poprawna nawet wtedy, gdy dokładna para klas tematycznych jest błędna. Ocena musi odpowiadać zdefiniowanemu produktowi przejść.
Generalizacja czasowa w PCC dotyczy stosowania modelu do danych z różnych epok, przy czym rozkłady łączne wejść X i wartości docelowych Y mogą się między tymi epokami różnić [575]. W tej pracy dryf spektralny oznacza zmiany danych wejściowych lub widm warunkowych względem klasy, które nie odpowiadają zamierzonemu przejściu tematycznemu, lecz wynikają z fenologii, oświetlenia, atmosfery lub próbkowania czasowego. Dryf referencyjny oznacza zmiany sposobu przekształcania stanu terenu w etykietę docelową, wynikające z rocznika danych referencyjnych, opóźnień ich aktualizacji, definicji klas, jednostek przestrzennych, minimalnych jednostek mapowania lub protokołów interpretacji. Wytyczne dotyczące zmian pokrycia terenu wymagają zgodności okresów mapy i danych referencyjnych oraz jawnego protokołu etykietowania [403]. Oba rodzaje dryfu oddziałują na etapy poprzedzające PCC; samo porównanie obejmuje wyłącznie etykiety przypisane na obu mapach. Na rysunku 2.2 umieszczono te źródła zmienności przed mapami dla poszczególnych terminów i zestawiono drogę PCC z bezpośrednim modelowaniem dwuterminowym. Jakość map dla poszczególnych terminów, przeniesienie modelu między epokami i dokładność produktu przejść stanowią odrębne zagadnienia oceny.
Rysunek 2.2. Porównanie bezpośredniej dwuterminowej detekcji zmian z porównaniem po klasyfikacji, z uwzględnieniem dryfu spektralnego i referencyjnego przed utworzeniem map dla poszczególnych terminów. Źródło: opracowanie własne na podstawie [93], [98], [575] i [403].
Macierz przejść opisuje zmiany przypisanych etykiet, a więc zakres informacji w produkcie zależy od postaci wartości docelowej użytej do utworzenia map. W odniesieniu do typów lasu wymaga to rozróżnienia między kategoryczną etykietą klasy a ciągłym opisem składu gatunkowego.
Etykiety kategoryczne i udziały ciągłe są porównywalne tylko wtedy, gdy odnoszą się do tych samych składowych, mianownika i przestrzennej jednostki odniesienia. Dla jednostki U oraz K rozłącznych i wyczerpujących składowych wektor f(U) = (f₁, …, fₖ) zawiera wartości nieujemne, których suma wynosi jeden przy przyjętym mianowniku. Etykieta klasy dominującej zachowuje wyłącznie największą składową. Jeżeli udziały gatunków iglastych i liściastych zdefiniowano względem powierzchni leśnej, zarówno wektor 0,51/0,49, jak i wektor 0,95/0,05 otrzymują etykietę klasy iglastej, mimo że opisują odmienne składy. Twarda klasa lasu mieszanego może kodować przyjętą regułę mieszania, lecz nadal sprowadza wiele wektorów udziałów do jednej wartości i usuwa informację o ich odległości od granicy reguły.
Kartowanie udziałów ułamkowych traktuje zachowaną wielkość jako wartość docelową regresji. Okujeni i in. wykorzystali syntetycznie zmieszane widma z biblioteki spektralnej do wytrenowania na próbach bootstrap (ang.) zespołów modeli regresji wektorów nośnych, których predykcje następnie agregowano na potrzeby symulowanego kartowania udziałów klas pokrycia terenu na obszarze miejskim z rozdzielczością przestrzenną 30 m [572]. Senf i in. rozszerzyli metodę spectral unmixing opartą na regresji (ang. regression-based spectral unmixing) na ogólny udział pokrycia leśnego oraz udziały pokrycia przez drzewa liściaste i iglaste w danych Landsat [571]. Klehr i in. estymowali natomiast udziały dziewięciu wybranych klas gatunków drzew oraz dodatkowej klasy innych drzew liściastych w każdym pikselu na podstawie zrekonstruowanych szeregów czasowych obrazów Sentinel-2 i mieszanin syntetycznych [570]. Produkty te różnią się szczegółowością zestawu składowych oraz definicją tematyczną. Różnią się także od prawdopodobieństw przynależności do klasy, które Klehr i in. opisują jako wskaźniki pewności przypisania, a nie oszacowania udziałów [570]. Interpretacja wyników modelu jako składu fizycznego wymaga odrębnie zdefiniowanej i zwalidowanej kompozycyjnej wartości docelowej.
Agregacja musi zachowywać znaczenie wartości docelowej. Dla dwóch pikseli o jednakowej powierzchni i udziale gatunków iglastych wynoszącym 0,51 średni udział wynosi 0,51, natomiast odsetek pikseli z dominującą etykietą klasy iglastej wynosi 1,00. Druga wielkość opisuje dominujące etykiety, a nie średni skład wewnątrz pikseli. Klehr i in. agregowali przewidywane udziały pikselowe do poligonów planowania urządzeniowego lasu, ponieważ dane referencyjne dostarczały proporcji dla poligonów i nie pozwalały na walidację udziałów na poziomie piksela [570]. Szczegółowe konsekwencje pochodzenia i zależności danych referencyjnych oraz przestrzennej jednostki odniesienia omówiono w podrozdziale 2.8.4.
Dotychczasowe rozważania obejmują elementy całego łańcucha analizy: obserwację optyczną, reprezentację docelową, architekturę modelu i sposób porównania terminów. Na tej podstawie można ocenić, które elementy występują w dotychczasowych badaniach i czy ich wyniki są bezpośrednio porównywalne.
Badania najbliższe tematyce pracy różnią się zadaniem, danymi i sposobem oceny, dlatego ich wyników nie można bezpośrednio porównywać. Materiał dowodowy tych badań porównano poniżej według problemu docelowego i definicji klas, rodziny modeli, danych wejściowych, przestrzennej jednostki odniesienia oraz protokołu walidacji. Na podstawie podawanych metryk nie utworzono wspólnego rankingu, ponieważ odnoszą się one do różnych produktów, danych referencyjnych i warunków oceny.
Przegląd rozpoczynają naukowe studia, których efektem są mapy lasów dla poszczególnych terminów. Takie mapy stanowią podstawę późniejszego porównania po klasyfikacji. Najpierw należy jednak ustalić, co w poszczególnych badaniach oznacza samo „kartowanie lasów”.
Badania dotyczące kartowania lasów różnią się przede wszystkim legendą docelową. IRUNet rozpatruje szerokie klasy użytkowania i pokrycia terenu na podstawie niezależnie traktowanych roczników Sentinel-2, natomiast Alzu’bi i Alsmadi tworzą binarną maskę las–grunt nieleśny na podstawie wieloczasowych obrazów Landsat-8 [455], [583]. Viennois i in. opracowują 18-klasową typologię pokrycia terenu z danych Sentinel-2, obejmującą formacje leśne, inne typy pokrycia i artefakty pozyskania danych. Wynik konwolucyjnej sieci neuronowej jest generowany na nominalnej siatce 10 m [36]. Wspólne określenie „kartowanie lasów” obejmuje zatem ogólne pokrycie terenu, binarny zasięg lasu i typologię wieloklasową.
Podstawę wniosków w tych badaniach stanowią również odmienne sposoby konstrukcji danych referencyjnych. W badaniu IRUNet zastosowano podział danych na zbiór uczący, walidacyjny i testowy w proporcji 80/10/10, bez określenia reguły rozdzielenia przestrzennego. Z kolei w badaniu TRIDOM zastosowano niezależny zbiór interpretowany na obrazach o bardzo wysokiej rozdzielczości przestrzennej (ang. very-high-resolution, VHR). Z obszaru pokrytego obrazami VHR, zachowanego do niezależnej oceny, wyłączono zasięgi przestrzenne danych uczących, po czym z pozostałego obszaru wybrano próbę liczącą 2200 jednostek [455], [36]. W badaniu z Jordanii zdefiniowano binarny wynik las–grunt nieleśny [583]. Wnioski z każdego badania są więc ograniczone jego legendą, sensorem, sposobem podziału danych i przestrzenną jednostką odniesienia danych referencyjnych.
Po ustaleniu, jakie stany opisują mapy dla poszczególnych terminów, można przejść do sposobów zestawiania ich w czasie. Analizowane procesy różnią się etapem, na którym wprowadza się porównanie czasowe.
Alzu’bi i Alsmadi klasyfikują obserwacje Landsat-8 jako las lub grunt nieleśny, a następnie porównują piksele między latami w celu identyfikacji utraty i przyrostu zasięgu lasu. W badaniu IRUNet dane Sentinel-2 z poszczególnych lat również traktuje się niezależnie, po czym kolejne wyniki segmentacji są opisowo porównywane za pomocą podanej, lecz niezdefiniowanej procedury obliczania tempa zmian dla szerszego zadania klasyfikacji pokrycia terenu [583], [455]. Oba warianty zachowują możliwy do interpretacji stan dla każdego terminu.
W modelu STEDSAN mapy użytkowania i pokrycia terenu z dwóch lat stanowią wejścia dwóch gałęzi. Dwugałęziowa architektura koder–dekoder z mechanizmem samouwagi określa zmiany binarne i wieloklasowe [584]. Ponieważ mapy tematyczne należą do jej danych wejściowych, ich legendy i błędy pozostają istotne dla uzyskanego produktu zmian. Binarny zasięg lasu, opisowe tempo zmian kategorii i zmiana wieloklasowa są odrębnymi produktami i wymagają danych referencyjnych dopasowanych do odpowiadających im definicji.
Różnice między zadaniami i produktami utrudniają również interpretację porównań architektur. Każdy wynik porównania ma znaczenie jedynie w odniesieniu do konkretnej legendy, danych wejściowych, rozdzielczości wyniku i protokołu oceny.
W badaniu TRIDOM oceniono małą, trójwarstwową konwolucyjną sieć neuronową, transformer wizyjny (ang. Vision Transformer, ViT) wstępnie wytrenowany metodą DINOv2 i dostosowany do zadania z etykietami oraz wariant tej samej rodziny ViT z dodatkowym etapem samonadzorowanej adaptacji w dziedzinie danych docelowych. Zastosowano tu 18-klasową legendę pokrycia terenu z danych Sentinel-2. W tym badaniu sieć konwolucyjna generuje predykcje na siatce o odstępie 10 m, natomiast procesy wykorzystujące ViT generują je na siatce kafelków o odstępie 100 m [36]. Powyższy wynik dotyczy ocenianych wariantów procesu tworzenia typologii i nie pozwala ustalić kolejności architektur U-Net, UNetFormer i SegFormer-B2.
W badaniu A Change Detection Reality Check wytrenowano trzy metody odniesienia oparte na U-Net oraz ponownie wytrenowano modele BIT i ChangeFormer w binarnym zadaniu detekcji zmian na zbiorze WHU-CD. Wykorzystano dostarczony podział na zbiór uczący i testowy, a ze zbioru uczącego wydzielono losowo 10 % danych walidacyjnych. W tym protokole wszystkie trzy warianty U-Net uzyskały wyższe średnie wartości miary F1 i IoU niż oceniane konfiguracje BIT i ChangeFormer [91]. Porównanie modeli uczących się na sparowanych obserwacjach według wspólnego protokołu dotyczy binarnej detekcji zmian, a nie segmentacji typów lasu, i nie obejmuje zestawu architektur badanego w tej pracy.
Oba badania uzasadniają zatem ocenę ograniczoną do konkretnych konfiguracji i zadań, a nie ranking całych rodzin architektur.
Kategoryczne etykiety nie wyczerpują jednak sposobów opisu drzewostanu rozpatrywanych w pracy. Ostatnia grupa badań dotyczy ciągłego składu gatunkowego oraz zgodności przestrzennych jednostek odniesienia predykcji i walidacji.
W Parku Narodowym Las Bawarski Senf i in. wytrenowali modele spectral unmixing oparte na regresji z użyciem mieszanin syntetycznych, a następnie zastosowali je do 32 corocznych obrazów Landsat z lat 1984–2016 w celu kartowania ogólnego udziału pokrycia leśnego oraz udziałów pokrycia przez drzewa liściaste i iglaste [571]. Klehr i in. wykorzystali zrekonstruowane szeregi czasowe obrazów Sentinel-2 i mieszaniny syntetyczne do estymacji udziałów dziewięciu wybranych klas gatunków drzew oraz dodatkowej klasy innych drzew liściastych w każdym pikselu [570]. Produkty różnią się sensorem, rozdzielczością tematyczną, konstrukcją czasową i zamierzoną przestrzenną jednostką odniesienia.
Przestrzenna jednostka odniesienia predykcji nie jest tożsama z jednostką walidacji. Klehr i in. tworzą rastry udziałów pikselowych, lecz walidują średnie predykcje w poligonach planowania urządzeniowego lasu, ponieważ dane referencyjne dostarczają proporcji dla poligonów i nie umożliwiają walidacji udziałów na poziomie piksela. Ten sam zbiór danych planowania urządzeniowego na poziomie kraju związkowego wykorzystano również do wyboru drzewostanów jednogatunkowych do trenowania [570]. Dowody dotyczą zatem agregatów poligonowych i nie są niezależne pod względem pochodzenia i zależności danych referencyjnych.
Rzetelna ocena dokładności map zmian pokrycia terenu wymaga koordynacji schematu doboru próby, protokołu ustalania wartości referencyjnej i planu analizy statystycznej. Olofsson i in. zalecają dobór probabilistyczny, wykazują, że oszacowania mogą zależeć od przestrzennej jednostki oceny, oraz wymagają jawnego protokołu etykietowania z określoną minimalną jednostką mapowania [403]. W odniesieniu do produktów udziałowych zasady te uzasadniają raportowanie definicji składowych, mianownika, przestrzennej jednostki odniesienia predykcji, reguły agregacji, sposobu konstrukcji, pochodzenia i zależności danych referencyjnych, schematu doboru próby oraz planu analizy.
Przegląd ujawnia różnice nie tylko między metodami, lecz także między zadaniami, jednostkami przestrzennymi i protokołami oceny. Synteza tych rozbieżności pozwala określić, która ich kombinacja pozostaje niezbadana w analizowanym zbiorze prac i jak przekłada się ona na projekt badania przedstawiony w rozdziale 3.
Analizowany zbiór prac obejmuje trzy warianty procesu analizy czasowej. W badaniu z Jordanii porównuje się między latami binarne klasyfikacje pikseli las–grunt nieleśny, natomiast w badaniu IRUNet porównuje się wyniki uzyskane dla niezależnie traktowanych roczników [583], [455]. STEDSAN wykorzystuje parę map tematycznych jako dane wejściowe dwóch gałęzi w celu określenia zmian binarnych i wieloklasowych [584]. Z kolei w benchmarku WHU-CD porównuje się konfiguracje U-Net, BIT i ChangeFormer, które uczą się na sparowanych obserwacjach [91]. W podzbiorze badań dotyczących kartowania lasów TRIDOM porównuje małą sieć konwolucyjną z konfiguracjami ViT opartymi na DINOv2 przy użyciu 18-klasowej legendy pokrycia terenu. Wyniki tych modeli są jednak generowane na siatkach o różnych odstępach: 10 m dla sieci konwolucyjnej i 100 m dla modeli ViT [36]. Benchmark oparty na wspólnym protokole w pracy A Change Detection Reality Check [91] dotyczy binarnej detekcji zmian, a nie kartowania typów lasu, oraz nie porównuje architektur U-Net, UNetFormer i SegFormer-B2.
W analizowanych badaniach różnią się również metody kontroli zależności przestrzennej oraz pochodzenie i zależności danych wykorzystywanych do walidacji. Poddane analizie protokoły obejmują podział 80/10/10 bez jawnej reguły rozdzielenia przestrzennego [455], usunięcie zasięgów przestrzennych danych uczących z pokrycia obrazami VHR zachowanego do niezależnej oceny opartej na interpretacji obrazu [36]. Ponadto zawierają walidację udziałów na poziomie poligonu z użyciem źródła planowania urządzeniowego lasu, które wykorzystano także przy wyborze obszarów uczących [570].
W analizowanym zbiorze prac nie zidentyfikowano badania które: - łączyłoby legendę typów lasu, wspólne wielospektralne dane wejściowe Sentinel-2, - konfiguracje segmentacji oparte na architekturach konwolucyjnych, hybrydowych łączących konwolucje z mechanizmami uwagi oraz hierarchicznych transformerach, - niezależną klasyfikację danych z każdego terminu obserwacji, po której następuje jawna macierz przejść od–do, - ocenę na przestrzennie rozłącznych danych, - walidację zewnętrzną z jawnie określonymi pochodzeniem i zależnościami danych referencyjnych oraz - przestrzenną jednostką odniesienia.
W tabeli 2.3 syntetycznie zestawiono projekty badań, z których wynikają opisane różnice. Luka dotyczy tej koniunkcji, a nie braku którejkolwiek z metod rozpatrywanej osobno; nie stanowi też twierdzenia dotyczącego całej literatury.
| Praca | Zadanie i dane | Model | Wariant procesu czasowego | Ocena i przestrzenna jednostka odniesienia |
|---|---|---|---|---|
| Alzu’bi i Alsmadi [583] | Binarne kartowanie las–grunt nieleśny na wieloczasowych obrazach Landsat-8 | Model segmentacji semantycznej | Niezależne klasyfikacje roczne, a następnie porównanie pikseli | Wynik pikselowy; szczegółów walidacji nie podano w dostępnym abstrakcie |
| IRUNet [455] | Szerokie klasy użytkowania i pokrycia terenu z osobnych roczników Sentinel-2 | IRUNet, model uczenia zespołowego | Roczniki traktowane niezależnie; kolejne segmentacje porównane za pomocą podanej procedury RoC | Wynik pikselowy; podział 80/10/10 bez jawnej reguły rozdzielenia przestrzennego |
| STEDSAN [584] | Zmiana binarna i wieloklasowa na podstawie dwóch map użytkowania i pokrycia terenu | Dwugałęziowa architektura koder–dekoder z mechanizmem samouwagi | Uczone porównanie dwóch map tematycznych | Nie podano w dostępnym abstrakcie |
| A Change Detection Reality Check [91] | Binarna detekcja zmian na parach obrazów lotniczych ze zbioru WHU-CD | Metody oparte na U-Net, BIT i ChangeFormer | Bezpośrednie uczenie z par obserwacji | Wynik pikselowy; dostarczony podział uczący–testowy i losowo wydzielone 10% danych uczących do walidacji |
| TRIDOM [36] | Osiemnastoklasowa typologia pokrycia terenu na obrazach Sentinel-2 | Trójwarstwowa CNN i konfiguracje ViT oparte na DINOv2 | Brak analizy zmian | Niezależna interpretacja obrazów VHR po wyłączeniu zasięgów danych uczących; piksele 10 m dla CNN i kafelki 100 m dla ViT |
| Klehr i in. [570] | Udziały gatunków drzew z szeregów czasowych obrazów Sentinel-2 i mieszanin syntetycznych | Sieć neuronowa wykonująca regresję | Brak analizy zmian | Predykcje pikselowe agregowane i walidowane w poligonach planowania urządzeniowego lasu; to samo źródło wykorzystano przy wyborze obszarów uczących |
Tabela 2.3. Synteza projektów badań wykorzystanych do wyznaczenia luki badawczej. Określenie „nie podano” oznacza, że danej informacji nie ustalono na podstawie pełnej dostępnej treści wykorzystanej w przeglądzie. Źródło: opracowanie własne na podstawie [583], [455], [584], [91], [36] i [570].
W rozdziale 3 luka ta zostaje przełożona na kontrolowane porównanie kompletnych konfiguracji U-Net, UNetFormer i SegFormer-B2 przy wspólnych danych i warunkach oceny. W pracy oddzielono segmentację dla poszczególnych terminów, porównanie po klasyfikacji oraz ocenę zewnętrzną dopasowaną do przestrzennej jednostki odniesienia, a przejścia kategoryczne potraktowano odrębnie od ciągłego opisu składu. Projekt pozostaje ograniczony do poziomu konfiguracji i nie zakłada z góry rankingu architektur.