HOME

System Rozumienia Kształtów (SUS) – nowa generacja inteligentnych systemów opartych na zdolności wizualnego myślenia

Zbigniew Les and Magdalena Les

The Queen Jadwiga Research Institute of Understanding

W chwili obecnej projekt prowadzony jest w oparciu o własne środki autorów (Z. Les i M. Les) to znaczy sprzęt komputerowy, oprogramowanie i wszystkie koszty związane z prezentacją artykułów na konferencjach.

Sprzęt i korzyści płynące z zastosowania badań jak również rezultaty badań są przedmiotem donacji autorów tego projektu dla the Queen Jadwiga Foundation.

1. Wstęp

Celem badań nad Systemem Rozumienia Kształtów (SUS; ang. Shape Understanding System) jest opracowanie metody rozumienia kształtów oraz jej implementacja jako systemu zdolnego do wykonywania czynności związanych z rozumieniem kształtów. W ramach rozumienia system powinien być zdolny do uczenia się różnych koncepcji kształtu, do zachowania tych koncepcji w strukturalnie zorganizowanej bazie wiedzy, tworzenia procesu wyjaśniającego jak również wykonywania pewnych operacji takich jak grupowanie obiektów czy też transformacja form lingwistycznych do formy obrazowej.

Interdyscyplinarne badania nad SUS-em zawierają takie dziedziny jak psychologiczne teorie percepcji, teoria znaków (semiotyka), rozpoznawanie i analiza obrazów, computer vision jak również automatyczne pozyskiwanie wiedzy (ang. machine learning). Metoda rozumienia kształtu będzie najbardziej efektywna jeżeli będzie w stanie naśladować działanie ludzkiego układu wzrokowego. Istniejące systemy traktują kształt jako właściwość obiektu ze świata rzeczywistego i starają się rozpoznać konkretny obiekt. Proces rozumienia kształtu jest czymś odmiennym, bowiem obejmuje stworzenie pojęcia kształtu w oparciu o dane zdobyte w fazie uczenia jak również wykonywanie vizualnych transformacji w procesie rozumienia. W wielu istniejących aplikacjach nie odróżnia się kształtu od obiektu i bardzo często wizualne systemy interpretują kształt jako sam obiekt. Metoda rozumienia kształtów w przeciwieństwie do metod rozpoznawania kształtu uwzględnia różne aspekty kształtu reprezentowanego jako: podstawowa kategoria percepcyjna, znacząca jednostka (zwana fantomem), podstawowa kategoria wizualna, idealna reprezentacja kształtu generowana w oparciu o model danej klasy kształtów (zwana archetypem), cyfrowa realizacja archetypu zwana obiektem generowanym (ang. egzemplar), zbiór punktów krytycznych, pojęcie wizualne (ang. visual concept), forma opisu kształtu reprezentująca wiedzę wizualną, wskaźnik diagnostyczny. W metodzie rozumienia kształtów różne reprezentacje kształtu umożliwiają niezależne przebadanie każdej z nich jak również ich wzajemnych powiązań.

Rozumienie interpretowane jest jako proces selektywnego pozyskiwania danych wejściowych (percepcja), przekształcanie danych w celu przypisywania im znaczenia w procesie wnioskowania (ang. visual reasoning), jak również generowanie i przekształcanie danych w procesie wizualnych transformacji (ang. visual transformations). Rozumienie kształtu, gdzie kształt jest podstawową kategorią myślenia wizualnego, składa się szereg złożonych procesów. Jednym z głównych procesów jest tworzenie, na podstawie analizy obiektu wizualnego (kształtu) jego symbolicznej reprezentacji i przypisania mu znaczenia w formie pojęcia (ang. phantom concept).

Prezentowana metoda jest pierwszą w świecie próbą potraktowania kształtu jako nie tylko ‘wizualnego atrybutu’ obiektu świata rzeczywistego ale również podstawowej kategorii wizualnego myślenia (ang. visual thinking) w aspekcie tworzenia systemów wizyjnych. Implementacja tej metody w postaci Systemu Rozumienia Kształtu pozwala na wyposażenie systemów komputerowych w jakościowo nowa metodę rozumowania wizualnego (ang. visual reasoning).

2. Podstawowe pojęcia

Do podstawowych pojęc definiowanych w ramach opracowanej metody rozumienia kształtów naleza pojecia takie jak:

- fantom jako 2-wymiarowy obiekt (ang. phantom)

- klasy kształtów

- archetyp (ang. archetype) i generowany obiekt (ang. exemplar)

- reguły przydzielania badanego obiektu do klasy

- znaczenie fantomu (ang. phantom’s meaning).

Wprowadzone nowe koncepcje archetypu i generowanego obiektu, podkreślają różnicę pomiędzy kształtem reprezentowanym w przestrzeni Euklidesowej a jego reprezentacją cyfrową.

Nowa metoda generowania archetypu z wyraźnie zdefiniowanej klasy kształtów, będących częścią hierarchicznej struktury klas kształtów, pozwala generować kształt na podstawie wyraźnie zdefiniowanej kategorii kształtów. Wprowadzone trzy poziomy reprezentacji pozwalają na interpretację kształtu, który można interpretować w kategoriach znaków albo obiektów rzeczywistego świata. Metodologia interdyscyplinarna daje zintegrowaną analizę kształtu z uwzględnieniem epistemologicznego kontekstu związanego z rozumieniem kształtów.

3. Klasy kształtów

Metoda rozumienia ksztaltow jest oparta na zdefiniowanej klasie kształtów. Kształt jest reprezentowany przez swoją symboliczną nazwę, związaną ze zbiorem możliwych klas kształtów. Zbiór możliwych klas kształtów określa się na podstawie znajomości „a priori” topologicznych i geometrycznych właściwości kształtów, charakterystyki postrzeganej figury oraz znaczenia kształtu jako formy znaczącej. Klasy kształtów są definiowane w oparciu o wybrany model. W proponowanej metodzie rozumienia kształtu możliwe klasy kształtu traktuje się jako hierarchiczną strukturę, gdzie na każdym poziomie opisu model kształtu obejmuje różne aspekty kształtu takie jak geometryczne właściwości kształtów, własności percepcyjne figur czy znaczące właściwości form wizualnych. Klasa kształtów a priori tworzona jest w oparciu o model danej klasy. Jako przyklad zdefiniowanych klas ksztaltow na poziomie meta-klasy mozemy wyroznic: klasę cykliczną, acykliczną, wypukłą, wklęsłą i cienką. W obrębie meta klas wyróżniono klasy podstawowe i szczegółowe oraz opracowano metodę otrzymywania klas na kolejnych poziomach opisu.

1 2 3 4

Rysunek 1: Przykłady generowanych obiektów (exemplars) generowanych z meta klas

1. acykliczna 2. wypukła 3. wklęsła 4. cienka

4. Cyfrowa reprezentacja archetypu

W prezentowanej metodzie wprowadzony jest szczegółowy opis cyfrowej reprezentacji archetypu i różnicę pomiędzy kształtem reprezentowanym w przestrzeni Euklidesowej (ang. archetyp) a jego reprezentacją cyfrową (ang. exemplar). Wprowadzone pojęcie transformacji obrazu (ang. image transformation) definiuje metodę przekształceń w dyskretnej przestrzeni punktów krytycznych. Transformacje obrazu stanowią główną część procesu wizualnego wnioskowania. Istotą transformacji obrazu jest wyznaczenie punktów krytycznych charakterystycznych dla danej klasy. Wprowadzone pojecie transformacji obrazu pozwala na sformalizowanie opisu procesu wnioskowania oraz na generalizację i łatwą adaptację owego formalizmu w pokrewnych dziedzinach badań. W oparciu o otrzymany zbiór punktów krytycznych badany obiekt przydzielany jest do danej klasy kształtów przez przypisanie mu reprezentacji symbolicznej (ang. symbolic name).

5. Wnioskowanie wizualne

Jednym z aspektów analizy kształtu jest reprezentacja i opis kształtu. W proponowanej metodzie rozumienia kształtu opis kształtu związany jest z jedną z możliwych klas kształtu. Metoda rozumienia kształtu uwzględnia różnice w przetwarzaniu różnych klas kształtu w toku procesu rozumowania. Do rozpoznawania kształtu proponowano wiele metod przetwarzania, ale opracowane one były do stosowania dla szerokiego zakresu klas kształtu, co bardzo często prowadziło do niezbyt zadowalających wyników. W proponowanej w pracy metodzie rozumienia kształtów zastosowano nowe sposoby przetwarzania obrazu i modyfikację istniejących metod przetwarzania obrazu do wybranych klas kształtów. Dla każdej z klas kształtów opracowano sekwencję metod przetwarzania, która daje najlepsze wyniki. Ponieważ system opiera się na wykorzystaniu wielu różnych złożonych i wzajemnie zależnych metod pozyskiwania danych i podejmowania decyzji, to każdą z metod przetwarzania stosuje się do bardzo konkretnego zadania.

Przydzielenie badanego obiektu do jednej z klas jest wykonywane w kolejnych etapach procesu wnioskowania (rozumowania). W procesie wnioskowania stosuje się obrazowe transformacje w celu otrzymania zbioru punktów krytycznych, wyznacza się zbiór deskryptorów i przydziela badany obiekt do jednej z klas .

a b c

Rysunek 2: Przykład procesu wnioskowania. Po zastosowaniu obrazowej transformacji otrzymano zbiór punktów krytycznych ( rys. 3b) i w oparciu o obliczony deskryptor badany obiekt (rys. 3a) zaklasyfikowano do klasy prostokątów . Rys. 3c pokazuje archetyp generowany z klasy .

6. System Rozumienia Kształtów

Przedstawiony System Rozumienia Kształtów SUS, stanowiący realizację metody rozumienia kształtów, potrafi wykonywać różne zadania w zakresie analizy i rozpoznawania kształtów w oparciu o swoją zdolność rozumienia różnych koncepcji kształtu na różnych poziomach poznania. System obejmuje różnego rodzaju umiejętności, pozwalające na wykonywanie różnych zadań w zakresie przetwarzania i rozumowania. Symboliczne nazwy, nawiązujące do możliwych klas kształtów, pozwalają na wyrażenie pojęcia wizualnego jako zbioru symbolicznych nazw. Pojęcie wizualne, wyrażone jako zbiór symbolicznych nazw, można wykorzystać do znalezienia wizualnych podobieństw pomiędzy różnymi obiektami wizualnymi i do zapamiętania wizualnego obiektu jako symbolicznej reprezentacji. Proponowany system rozumienia kształtów, zrealizowany w języku C++ w systemie operacyjnym Windows 2000, działa na podstawie znajomości przetwarzania obrazów, podejmowania decyzji i strategii poszukiwań oraz znajomości opisu i reprezentacji kształtu przez różne wyspecjalizowane moduły (ang. experts) takie jak, dla przykladu ‘reasoning expert’, ‘processing expert’, ‘learning expert’ czy ‘self-correcting expert’. Podstawowy cel systemu SUS to tworzenie pojęcia kształtu, umożliwiającego wizualne wnioskowanie i przekształcenia wizualne. System SUS analizuje obiekt wizualny celem zinterpretowania go w kategoriach symbolicznych nazw możliwych klas. Wielopoziomowe reprezentacje zapewniają nowy, efektywny sposób komunikowania się systemu z użytkownikiem (osobą lub z innym systemem). Nowa architektura systemu ma na celu maksymalną współpracę ekspertów, uczestniczących w rozwiązywaniu problemu epistemologicznego. Metoda testowania i autokorekcji oparta jest na rozumowaniu polegającym na generowaniu obiektu z zadanej klasy i sprawdzaniu czy system w trakcie rozumowania przypisze ten obiekt do właściwej klasy. Nowa metoda rozumowania, gdzie przetwarzanie jest częścią procesu rozumowania, ma stanowić element nowej architektury systemów rozumienia. Proponowaną metodę realizuje się jako System Rozumienia Kształtów, umożliwiający budowę systemu rozumienia, w którym wszystkie nowe ustalenia testowane są w kontekście całego istniejącego zasobu wiedzy.

W pierwszym etapie prac przetestowano zdolność rozumienia przez system koncepcji, związanych z meta klasami (cykliczno-acykliczna, wypukło-wklęsłą, cienką). W drugim etapie przetestowano zdolność rozumienia przez system koncepcji, jakie można sformułować stosując pojęcie kształtu. Wyniki dowodzą, że system SUS potrafi zrozumieć takie koncepcje jak wypukłość, wklęsłość i cienkość, reprezentowane przez klasy ogólne „a priori”. System potrafi zrozumieć co oznacza bycie „wielobokiem”, „elipsą”, „prostokątem”, „prostokątem z zaokrąglonymi narożami”, „wielobokiem wklęsłym” oraz wiele innych pojęć, związanych z określonymi klasami kształtów. System potrafi zrozumieć takie koncepcje jak „wypukłość”, „kształt bez otworu”, „kształt cienki” „trojkat z dwoma otworami w ksztalcie okregu”. Opisywany system wykonał bezbłędnie różne zadania w zakresie rozumienia (np. rozpoznanie, grupowanie obiektów podobnych, nazywanie). Zadania te sformułowano w kategoriach pojęcia kształtu (np. stawiane zadanie „znaleźć wszystkie obiekty wypukłe”).

Zdolność systemu do rozumienia pojęcia kształtu, związanego z konkretnymi obiektami, przetestowano w toku procesu autokorekcyjnego rozumowania. Próby przeprowadzono dla klasy wieloboków wklęsłych i klasy cienkiej i cyklicznej. W pierwszej fazie przetestowano zdolność zrozumienia przez system różnicy pomiędzy wielobokami wklęsłymi i nie wklęsłymi, a w fazie drugiej zdolność rozumienia koncepcji wieloboku wklęsłego. Wyniki wskazują, że proponowana metoda sprawdza się w przypadku klasy wieloboków regularnych. W przypadku klasy wieloboków nieregularnych występuje problem z reprezentacją cyfrową wygenerowanego archetypu.

Wyniki wskazują, że system jest zdolny do wykonania zadań wymagających „umiejętności” rozumienia. Najtrudniejsza sprawa to nazywanie i znajdowanie obiektów podobnych. Nazwy bardziej skomplikowanych form wizualnych podano jako wyrażenie lingwistyczne, np. „kwadrat z okrągłym otworem”, albo „dwie połączone elipsy”. W przypadku obiektu cyfrowego, który można zinterpretować na poziomie znaku albo na poziomie referencyjnym rzeczywistego świata, ilość możliwych interpretacji dla niektórych obiektów cyfrowych jest znaczna.

System byl również testowany w zakresie rozumiena pojęcia wybranych kategorii znakowych np. litery, znaki drogowe, symbole matematyczne, pismo klinowe, hieroglify oraz inne systemy znakowe. Bardzo ważnym aspektem rozumienia jest interpretacja gdzie ten sam obiekt wizualny jest interpretowany w różny sposób. Interpretacja uzależniona jest od uprzednio pozyskanej kontekstualnej informacji i jest jedną z pierwszych prób naśladowania ludzkiego umysłu w interpretacji wizualnej zależnej od nastawienia poznawczego.

System byl również testowany w zakresie rozumiena obiektow trójwymiarowych jak również obiektów realnego swiata. Chociaż obiekty świata rzeczywistego jawią się jako obiekty trójwymiarowe jednakże postrzeganie trójwymiarowości jest problemem który można badać abstrachując od pojęcia obiektu świata rzeczywistego. Rozumienie obiektów świata rzeczywistego włączone jest w kontekst rozumiena znaków i jawi sie jako szerszy problem rozumienia znaczenia elementów postrzeganego świata.

Jednym z najtrudniejszych zadań jest testowanie wizualnych transformacji które są częścią wizualnego myślenia i jednym z najważniejszych elementów wizualnego rozwiązywania problemów jak również częścią procesów związanych z twórczym myśleniem (wyobrażnia). Wstępne testy dowodzą że wykorzystanie podstawowych wizualnych kategorii (klas ksztaltow) pozwoli na prowadzenie skomplikowanych wizualnych transformacji prowadzących w konsekwencji do procesu wizualnego myślenia.

System rozumienia kształtów jest w stanie wykonywać różne zadania w zakresie analizy i rozpoznawania kształtu na podstawie swojej zdolności rozumienia różnych koncepcji kształtu na różnych poziomach poznania. Opracowany system obejmuje różnego rodzaju umiejętności wykonywania rozmaitych zadań w zakresie przetwarzania i rozumowania. System ma zdolność uczenia się różnych pojęć kształtów i zachowywania ich w strukturalnie zorganizowanej bazie wiedzy. System wykorzystuje szereg różnych złożonych i wzajemnie od siebie zależnych metod zdobywania danych, rozumowania i wyjaśniania.

Reprezentacje wielopoziomowe pozwalają dawać wyjaśnienia użytkownikowi na różne sposoby, naśladujące sposób „zrozumiałego” wyjaśniania. Działanie systemu daje lepszy wgląd w rolę rozumienia w procesie wizualnej percepcji. Metoda wskazuje, że do zrozumienia kształtu istotne są nie tylko cechy percepcyjne obiektu, ale również sposób przetwarzania i rozumowania, zależny od klasy do której obiekt należy. System Rozumienia Kształtów SUS można stosować w wielu dziedzinach, gdzie analizę obrazu można sprowadzić do analizy kształtów np. w statystyce, medycynie, naukach ścisłych i astronomii.

Copyright the Queen Jadwiga Foundation

Adres:

The Queen Jadwiga Foundation

P.O. Box 654, Toorak, VIC 3142, Australia