Teledetekcja i okno duszy

Powszechna dostępność danych teledetekcyjnych, takich jak obrazy satelitarne czy lotnicze, zobrazowania wielospektralne termalne i wiele innych, spowodowała bardzo dynamiczny rozwój teledetekcji. Jest to jednak stereotypowe spojrzenie na tę dziedzinę wiedzy. Na naszych oczach ulega ono poważnym zmianom, otwierając teledetekcję na nowe wyzwania. Sięgając do definicji tego pojęcia, możemy powiedzieć, że jest to metoda pozyskiwania informacji na temat interesującego nas obiektu lub zjawiska bez bezpośredniego kontaktu z przedmiotem naszych zainteresowań. Wynika z tego, że nawet najprostsze czynności wykonywane codziennie, takie jak patrzenie i słuchanie, są wspaniałymi przykładami teledetekcji. Wykorzystując nasze zmysły, stosujemy teledetekcję do poznawania otaczającego nas świata. Dlaczego w związku z tym nie zastosować tej metody do poznania nas samych, a w zasadzie jednego z najbardziej skomplikowanych tworów powstałych w znanym nam wszechświecie, jakim jest ludzki mózg? Naukowcy starają się poznać tajemnice, które kryją się w naszym układzie nerwowym. Mimo wielu lat badań i dociekań ta część organizmu człowieka jest nadal wielką niewiadomą dla nauki. Do bardzo ciekawych obszarów badań mózgu należą badania nad ludzkimi emocjami i uczuciami. Ich praktyczna strona znajduje swoje miejsce np. w bardzo trudnym procesie wczesnego rozpoznawania schorzeń o podłożu neurologicznym, m.in. schizofrenii, nerwic czy depresji. Mogą one pomóc również w znalezieniu odpowiedzi na pytanie, co się dzieje z człowiekiem pogrążonym w śpiączce czy cierpiącym na narkolepsję.

Wszystko zaczęło się od zdjęcia

Twarz ludzka odzwierciedla to, w jaki sposób nasz mózg reaguje na wiele docierających do niego bodźców zewnętrznych. Niejednokrotnie dzieje się to bez naszej wiedzy. Mimowolnie czerwienimy się, gdy ktoś o nas mówi. Skoro tak się dzieje, to z pewnością jesteśmy w stanie rejestrować reakcje naszego układu nerwowego uzewnętrzniane poprzez mimikę. Najprościej możemy tego dokonać, stosując bardzo starą i znaną technikę, a mianowicie fotografię. Jednak od fotografii do analizy mimiki twarzy jest jeszcze bardzo długa droga. Znaczący postęp, jaki nastąpił w dziedzinie fotografii spowodował, że obecnie w zasadzie każdy jest w stanie stosować zaawansowane metody rejestracji zdjęć za pomocą domowych kamer HD. Przykład możliwości rejestracji tego, co widać na naszej twarzy w trakcie zmiany stanów emocjonalnych, przedstawiono poniżej.

Rys.1. Pojedyncza klatka filmu uzyskana podczas rejestracji w trakcie jednego z eksperymentów przeprowadzonych przez zespół z Trójmiasta. Obraz został przetworzony przy wykorzystaniu filtru Prewita, umożliwiającego tzw. wykrywanie krawędzi.

Czy jest to jednak wystarczająco dobry materiał do dalszych analiz? Badania prowadzone w Katedrze Geodezji Wydziału Inżynierii Lądowej i Środowiska Politechniki Gdańskiej, wskazują, że niestety nie. Aby wydobyć ze zdjęć twarzy cenną informację na temat tego, co dzieje się w naszym mózgu w trakcie, gdy targają nami emocje, trzeba zastosować bardziej wyrafinowane metody. Jednym z najciekawszych produktów ostatnich lat są kamery umożliwiające rejestrację kilkuset zdjęć na sekundę. Każdy z nas podziwiał w programach telewizyjnych, np. w reklamach, spadającą kroplę mleka, która uderza o powierzchnię płynu znajdującego się w szklance. Zwykle nie jesteśmy w stanie zarejestrować takiego obrazu, ponieważ dzieje się to za szybko. Dopiero spowolnienie filmu pozwala na zauważenie tego zjawiska. Innym przykładem jest film rejestrujący zderzenie samochodów testowych. Obserwując, w jaki sposób manekiny reagują na zderzenie samochodu z przeszkodą czy też innym samochodem, potrafimy ocenić, czy zaprojektowane pasy bezpieczeństwa uratują ludziom życie. A gdybyśmy wykorzystali takie narzędzie do rejestracji tego, co się dzieje na naszej twarzy? Czy uzyskamy wgląd w mechanizm powstawania zmian mimicznych na naszej twarzy? Badania prowadzone przez zespół z Politechniki Gdańskiej przy współpracy naukowców z Gdańskiego Uniwersytetu Medycznego i Uniwersytetu Gdańskiego potwierdzają przydatność takiego narzędzia. Wykorzystując możliwość rejestrowania wielu zdjęć na sekundę, jesteśmy w stanie uchwycić to, co tak bardzo ulotne, a jakże ważne z punktu widzenia badań zmiany stanów emocjonalnych. Jak to się dzieje? Rejestrując z szybkością 1 tys. klatek na sekundę uśmiech, wywołany np. zabawnym rysunkiem, możemy prześledzić mechanizm powstawania zmian mimicznych na naszej twarzy. Prowadzone badania zakładały rejestrację sześciu typowych stanów emocjonalnych odtwarzanych przez osoby biorące udział w eksperymencie. Przykład rejestracji pojedynczej klatki w trakcie takiego eksperymentu przedstawiono na fotografii poniżej.

Fot. 1. Oryginalna klatka zarejestrowanego filmu.

Ponieważ czas trwania pojedynczej miny (stanu emocjonalnego) wynosił 2 s, nie trudno policzyć, że uzyskujemy 2 tys. klatek, na których jesteśmy w stanie zaobserwować powstawanie np. uśmiechu na naszej twarzy. Zgromadzony w ten sposób materiał zdjęciowy pozwolił na przeprowadzenie analizy przy pomocy oprogramowania firmy Exelis ENVI i IDL. Ponieważ tzw. szybka kamera generuje ogromne ilości danych, wykorzystanie graficznego środowiska, jakie oferuje ENVI, może być mało wydajne. Zdecydowanie praktyczniejszym rozwiązaniem podczas obróbki dużej liczby zdjęć okazuje się wykorzystanie IDL Interactive Data Language – język programowania, w którym zostało napisane ENVI. Mamy więc dostęp do wszystkich funkcji, jakie znajdują się w ENVI, a nie musimy angażować naszego procesora do obsługi strony graficznej. IDL to język stworzony do obróbki obrazów, powszechnie wykorzystywany przez astronomów do analizy obrazów uzyskiwanych z teleskopów, ale nie tylko. Jego możliwości są bardzo szerokie – wielu naukowców na świecie pracuje nad wykorzystaniem IDL w swoich badaniach. Inspiracją do opisywanych doświadczeń były prace dotyczące przepływów cieczy. Powszechnie znana metoda anemometrii obrazowej umożliwia wyznaczanie prędkości i kierunku poruszających się cząsteczek wody w obserwowanym przepływie. Oświetlając laserem poruszające się w wodzie mikroskopijne cząsteczki (markery) i wykonując zdjęcia, jesteśmy w stanie identyfikować pojedyncze cząsteczki w toni wodnej i wytyczać trajektorie ich ruchu w trakcie całego czasu obserwacji. Procedury opracowane w IDL umożliwiają śledzenie trajektorii ich ruchu w bardzo prosty sposób. Identyfikując poszczególne cząsteczki na podstawie określonej charakterystyki spektralnej, w tym przypadku jasności, wyznaczamy wszystkie cząsteczki spełniające określony warunek. Wykorzystywana jest tu jedna z najbardziej rozpowszechnionych w teledetekcji metod – klasyfikacja obiektowa. Jakie cząsteczki jesteśmy w stanie zidentyfikować na naszej twarzy? Stosując zaawansowane metody filtracji obrazów, możemy wyznaczyć obszary, które będą reprezentowały tę samą wartość charakterystyki spektralnej, czyli wybraną przez nas jasność. Oczywiście w tym procesie obróbki zdjęć na każdym etapie uzyskujemy wsparcie ze strony IDL. Dzięki bardzo rozbudowanym bibliotekom, o które zadbał producent, mamy do dyspozycji niezliczone zasoby internetowe, gdzie możemy znaleźć podprogramy tworzone przez entuzjastów na całym świecie. W naszym przypadku wykorzystujemy kombinację bibliotek i funkcji oferowanych przez producenta, napisanych przez entuzjastów, jak również stanowiących autorski wkład zespołu z Trójmiasta. Uzbrojeni we wszystkie dostępne rozszerzenia funkcjonalności ENVI i IDL możemy przystąpić do analizy zgromadzonego materiału zdjęciowego. Mamy do dyspozycji zdjęcia poklatkowe obserwowanego przez nas stanu emocjonalnego wyrażanego przez mimikę twarzy. Dysponując obrazem rozłożonym na obiekty znajdujące się na twarzy, jesteśmy w stanie śledzić ich ruch w trakcie całego czasu obserwacji. Przykład, na którym widzimy trajektorie poruszających się obszarów (reprezentujących ten sam poziom jasności), przedstawiono na rys. 2.

Rys.2. Wizualizacja trajektorii przemieszczania się zidentyfikowanych obszarów reprezentujących tę samą jasność w trakcie trwania emocji „radość” wygenerowana ze zdjęć jednej z osób poddanych badaniu. Czas obserwacji równy 1 s.

Jak widzimy, na twarzy pojawia się spore zamieszanie. Ruch jest tak intensywny, że bardzo trudno byłoby wyłuskać z tego jakąś użyteczną wiedzę na temat ludzkich emocji. Ta plątanina kresek zawiera bardzo cenne informacje dotyczące przemieszczania się obszarów reprezentujących założone przez nas wartości wielkości i jasności. Kreski te tworzone są przez pozycje zidentyfikowanych obszarów na wszystkich zarejestrowanych klatkach filmu. Mechanizm generujący ten ruch mimiczny twarzy znajduje się w mózgu ale dzięki zidentyfikowanym obszarom i trajektoriom ich ruchu jesteśmy w stanie badać ekspresję tego mechanizmu pojawiającą się na twarzy ludzkiej. Ponieważ IDL daje nam możliwość wyboru czasu obserwacji, możemy (sterując tym parametrem) wybierać te momenty, które nas najbardziej interesują. Dzięki temu da się np. wyświetlić tylko trajektorie obszarów, które poruszały się przez cały czas obserwacji. Przykład takiej sytuacji widzimy na rys. 3.

Rys. 3. Trajektorie przemieszczania się obszarów w trakcie trwania emocji „radość” dla czasu obserwacji równego 2 s.

Dysponując trajektoriami poruszania się zidentyfikowanych obiektów na twarzy, możemy analizować ten ruch na różne sposoby. Hipoteza badawcza przedstawianych badań zakłada, że ruch zidentyfikowanych obszarów jest charakterystyczny dla poszczególnych typów emocji i sposobu ich ekspresji przez twarz człowieka.

Mieszanie kawy a sprawa emocji

Nadal jednak nie jesteśmy w stanie w sposób ilościowy ująć tego, co dzieje się na naszej twarzy. Ponieważ inspiracją tej metody badania mimiki twarzy była mechanika płynów i ruch cząsteczek w wodzie, pójdźmy dalej tą drogą. Anemometria obrazowa (rys. 2. i 3. są efektem wykorzystania tej metody do analizy naszych zdjęć) wniosła najwięcej w dziedzinie badań nad turbulencją. Jest to najbardziej typowy przykład ruchu, jaki obserwujemy w przyrodzie. Mieszając poranną kawę z mlekiem czy śmietaną, w początkowej fazie tego procesu możemy obserwować, jak smugi mleka poruszają się w czarnym płynie – ich ruch jest przykładem turbulentnego mieszania płynów. Wychodząc rano do pracy, spoglądamy w niebo, aby ocenić, jaka będzie dziś pogoda. Chmury, które tańczą na niebie, są również przykładem turbulentnego ruchu, w tym przypadku gazów. Skoro mówimy o turbulencji, nie sposób nie wspomnieć o współczynniku, który w pewnym sensie ujmuje to zjawisko w sposób ilościowy – dyspersji. Najprościej ujmując, dyspersja to proces pokazujący, jak zmienia się odległość pomiędzy sąsiadującymi cząsteczkami w trakcie ewolucji obserwowanego zjawiska w czasie. A gdybyśmy zastosowali tę metodę do naszego problemu ruchu obszarów na twarzy reprezentujących jednakową jasność ? Efekt przedstawiono na rys. 4. i 5. To, co widzimy, to obraz typowy dla zjawiska turbulentnego, więc to, co się dzieje na naszej twarzy, to również w pewnym sensie turbulencja. Możemy zauważyć, że obserwowane przez nas obszary oddalają się od siebie w trakcie całego okresu obserwacji. Jesteśmy więc w stanie w sposób ilościowy charakteryzować to, co dzieje się na ludzkiej twarzy podczas okazywania emocji. Czy dzięki temu możemy uzyskać wiedzę na temat tego, co dzieje się w tym czasie w naszym układzie nerwowym? Celem tych badań jest wypracowanie metody, która pozwoli charakteryzować zjawiska zachodzące w umysłach ludzi w reakcji na określone bodźce zewnętrzne, w tym również reakcje osób cierpiących na różnego rodzaju schorzenia neurologiczne. W trakcie jednego z eksperymentów poproszono ludzi chorych na różne odmiany schizofrenii o odtworzenie emocji, które reprezentowane były w przygotowanym do badań teście. Na rys. 4. i 5. widzimy wykres dyspersji uzyskany dla osoby zdrowej z grupy kontrolnej oraz jednej z osób chorych biorących udział w teście. Na osiach X widnieją przemieszczenia średniokwadratowe w kierunkach X oraz Y, natomiast osie Y reprezentują poszczególne klatki filmu.

Rys. 4. Wykres obrazujący średniokwadratowe przemieszczenia zidentyfikowanych obiektów na twarzy badanej osoby w kierunkach X (linia ciągła) i Y (linia przerywana). Wykres dotyczy osoby zdrowej.

Rys. 5. Wykres obrazujący średniokwadratowe przemieszczenia zidentyfikowanych obiektów na twarzy badanej osoby w kierunkach X (linia ciągła) i Y (linia przerywana). Wykres dotyczy osoby chorej.

Widzimy, że wykres ten różni się znacznie od typowego wykresu dla osoby zdrowej. Przedstawione w niniejszym artykule rozważania dotyczą bardzo ciekawego obszaru badań, w którym teledetekcja jest właściwie jedynym narzędziem pozwalającym na uzyskanie jakichkolwiek informacji o obserwowanym obiekcie. Niewątpliwą zaletą teledetekcji jest pozyskiwanie informacji bez bezpośredniego kontaktu z obiektem naszych zainteresowań. W wielu przypadkach jest to klucz do tego, aby zdobyć jakiekolwiek informacje. Przykładem mogą być systemy ochrony perymetrycznej, których skuteczność bez wątpienia zależy od skrytości działania. Podobnie rzecz się ma w przypadku osób chorych, dla których jakikolwiek kontakt ze specjalistyczną aparaturą (np. fMRI, czyli ang. functional Magnetic Resonance Imaging tj. funkcjonalny magnetyczny rezonans jądrowy) może powodować dodatkowy stres, a co za tym idzie dawać nieprawdziwe dane o stanie badanej osoby. Przypadek osób chorych na schizofrenię jest bardzo charakterystyczny, ponieważ choroba ta nie powoduje zmian w wyglądzie fizycznym pacjentów, zatem trudno jest na tej podstawie wyciągać jakiekolwiek wnioski na temat stanu badanych. Eksperyment, w którym brały udział osoby chore, polegał na odtwarzaniu sześciu podstawowych stanów emocjonalnych przedstawianych im ma zdjęciach. Dzięki tej metodzie (czyli użyciu dobrze znanej fotografii, ale wykorzystującej zdobycze nowoczesnej techniki) osoby te potraktowały badanie jako rodzaj zabawy, co spowodowało, że ich reakcje (rejestrowane za pomocą tzw. szybkiej kamery) były zbliżone do naturalnych. Stało się to możliwe dzięki zastosowaniu teledetekcji.

Podsumowanie

Materia uczuć, jak widać, jest na tyle ulotna, a zarazem na tyle skomplikowana, że tylko zastosowanie metod z bardzo wielu odległych dyscyplin naukowych może rzucić nowe światło na interesujące nas zjawisko. Nieustający rozwój technologii rejestracji obrazów, w połączeniu z udoskonalonymi algorytmami zaawansowanej analizy obrazów, pozwoli w niedługim czasie uchylić rąbka tajemnicy kryjącej się w człowieku. Emocje należą do ciekawszych, a zarazem najmniej poznanych obszarów ludzkiego umysłu. Dla interdyscyplinarnego zespołu z Trójmiasta teledetekcja jest oknem do duszy człowieka.