Search the digital library catalog

Abstract: Za poustvarjanje prepričljivih in človekovim podobnih pogovornih odzivov, mora umetna entiteta, tj. utelešeni pogovorni agent, v govorjeni socialni interakciji izražati korelirana govor (besedno) in geste (nebesedno). Večina obstoječih del se osredotoča na načrtovanje namena in načrtovanje vedenja. Realizacija je prepuščena omejenemu naboru statičnih 3D prikazov pogovornih izrazov. Poleg funkcionalne in pomenske sinhronosti med verbalnimi in neverbalnimi signali končno vernost izraza oblikuje fizična realizacija neverbalnih izrazov. Glavni izziv večine pogovornih sistemov, zmožnih reproduciranja gest, je raznolikost izraznosti. V doktorskem delu obravnavamo postopke za samodejno zajemanje gest iz videoposnetkov in njihovo preoblikovanje v 3D prikaze, shranjene kot del repozitorija motoričnih veščin pogovornega agenta. Posebna pozornost je posvečena izločanju značilk z dovolj kakovostno informacijo, da je rekonstruirano pogovorno izražanje naravno in čim vernejše. Predlagan je sistem za rekonstrukcijo pogovornih gest, ki zagotavlja naravnost gest utelešenega pogovornega agenta, posledica česar je bolj kakovostna interakcija med človekom in računalnikom. Predlagan sistem temelji na sledilniku Kanade–Lucas–Tomasi, filtru Savitzky–Golay, kinematičnem modelu na osnovi Denavit–Hartenberg in ogrodju EVA. Obravnavana je ocena sintetiziranega izraznega gibanja in namesto subjektivne ocene sintetiziranega gibanja podana objektivna metoda, temelječa na kosinusni podobnosti. Empirično je predstavljena tudi ocena gibanja, rekonstruiranega s predlaganim sistemom za rekonstrukcijo.
Keywords: značilke pogovornih gest, rekonstrukcija, virtualni pogovorni agenti, Denavit-Hartenberg, Kanade–Lucas–Tomasi, filter Savitzky–Golay, video
Published in DKUM: 03.08.2023; Views: 612; Downloads: 104
Full text (2,61 MB)

Abstract: Doktorska disertacija obravnava problematiko načrtovanja, oblikovanja in samodejnega generiranja koverbalnega obnašanja na poljubnem besedilu, ki je hkrati tudi sinhrono z generiranim govornim signalom. Cilj predstavljene disertacije je oblikovati in zasnovati fleksibilen in učinkovit sistem, ki glede na poljubno vhodno besedilo, semiotično slovnico, leksikon in slovar oblik načrtuje, oblikuje in realizira premike delov telesa (roke, dlani, prsti, glava in ustnice), ki so tako pomensko kot prozodično ustrezno sinhronizirani s spremljajočim govorom. Takšnemu obnašanju pravimo koverbalno obnašanje (oz. pogovorno obnašanje) in ga lahko uporabljamo v multimodalnih vmesnikih različnih sistemov in domen uporabe. Večina današnjih sistemov s pogovornimi agenti, ki pogovorno obnašanje predstavljajo v obliki koverbalnih gibov, temelji na semantičnem in/ali sintaktičnem povezovanju besedila in pogovornega obnašanja, načrtovanju obnašanja s stališča funkcionalnega namena ali sinhronizaciji in realizaciji pogovornega obnašanja, opisanega v obliki proceduralnega opisa. Pogosto arhitekture sistemov, ki integrirajo pogovorne agente, uporabljajo tristopenjsko definicijo pogovornega obnašanja, in sicer: načrtovanje namena, načrtovanje obnašanja in realizacijo obnašanja. Ključni problem samodejnega generiranja naravnega koverbalnega obnašanja predstavljata predvsem naslednji stopnji: načrtovanje namena in načrtovanje obnašanja. V pogovornem obnašanju slovnice ni mogoče definirati kot skupek uniformnih pravil. Posledično torej ni moč definirati končne množice pravil, po katerih bi obnašanje in namen lahko deterministično načrtovali. Vendar pa različne analize in označevanje pogovornega obnašanja kažejo na visoko semantično korelacijo koverbalnega obnašanja in govora ter na njuno prozodično skladnost. Vendar je semantični prostor ogromen in ga v celoti praktično ni mogoče opisati. Zaradi tega problem pogovornega obnašanja največkrat delimo na podprobleme, kot sta funkcionalnost koverbalnosti ali parametrizacija semantičnega prostora. Tako dobimo manjše in bolj obvladljive podprostore, v katerih lažje definiramo semantične relacije med koverbalnim in verbalnim obnašanjem. V obravnavani doktorski disertaciji proces tvorjenja pogovornega obnašanja predstavimo v obliki gest kot povezave kontekstno neodvisnih motoričnih sposobnosti (oblik, poz in gibov, ki jih pogovorni agent lahko prikaže) ter namena (konteksta) uporabe motoričnih sposobnosti. Namen besedila in posledično spremljajočega koverbalnega obnašanja definiramo na osnovi modularnih jezikovno odvisnih slovnic, ki temeljijo na razčlenjevanju in klasifikaciji besedila v semiotične razrede. V tej točki poleg obstoječih raziskav s področja povezave semiotičnih razredov in govora oblikujemo in definiramo novo označevalno shemo, ki vključuje tako funkcionalni, kontekstno odvisni nivo povezave govora in gest kot kontekstno neodvisen opisni nivo, ki omogoča zajemanje poz in oblik na visoki ločljivosti, in lastni multimodalni korpus pogovornega obnašanja, korpus EVA. Rezultate analize in označevanj uporabimo za tvorjenje semiotične slovnice, slovarja oblik in leksikona gest. Predlagani model ekspresivnega pogovornega obnašanja formulira različne koverbalne oblike (geste) na neoznačenem poljubnem besedilu. Predlagani model temelji na analizi in opisovanju spontanega pogovornega dialoga v obliki ekspresivne anotacijske sheme (združuje in povezuje tako funkcionalno kot oblikovno anotacijo) in vsebuje dovolj bogat slovar kontekstno neodvisnih oblik in gibov, s katerimi lahko predstavimo kompleksne motorične sposobnosti agenta in zmožnost prilagoditve gibov različnim kontekstom uporabe (slovnicam) ter imitacije emocionalnih stanj in emocionalnega govora.
Keywords: pogovorno obnašanje, koverbalno obnašanje, neverbalno obnašanje, analiza komunikativnih dialogov, označevanje in označevalne sheme, pogovorni agenti, podatkovno vodeni sistemi neverbalnega obnašanja, tekstovno vodeni sistemi neverbalnega obnašanja, semiotika, ekspresivnost
Published in DKUM: 14.03.2014; Views: 2290; Downloads: 187
Full text (23,61 MB)