Search the digital library catalog

Abstract: V magistrskem delu raziskujemo vlogo velikih jezikovnih modelov v vzponu generativne umetne inteligence. Predstavimo osnovne koncepte, kot so transformerji, žetoni in vektorske reprezentacije, ter opisujemo ključne prednosti, slabosti in izzive z generativnimi modeli. Posebno pozornost namenjamo izzivom varnosti, kot so pozivni injekcijski napadi. Podrobno analiziramo delovanje teh napadov, njihove vrste in predstavimo možne pristope za obrambo pred njimi. V okviru eksperimenta prikazujemo izdelavo spletne ankete, ki implementira različne jezikovne modele. S pomočjo pridobljenih podatkov iz ankete nato analiziramo občutljivost posameznih modelov na različne intenzitete injekcijskih napadov ter preučujemo njihove vplive na uporabniške dimenzije, kot so uporabnost, točnost, razumljivost in relevantnost. Na koncu ugotavljamo, kateri modeli se najbolje odzivajo na napade in predstavljajo najvarnejšo uporabo.
Keywords: Generativna umetna inteligenca, Generativni modeli, Veliki jezikovni modeli, Pozivni injekcijski napadi, Inženering pozivov
Published in DKUM: 06.02.2025; Views: 0; Downloads: 28
Full text (2,82 MB)

Abstract: V doktorski disertaciji obravnavamo raziskovalni problem avtomatizacije prepoznavanja namenov sprememb programskih rešitev, izvedenih v fazi vzdrževanja. Klasifikacija programskih sprememb glede na vrsto aktivnosti vzdrževanja, ki odraža specifične namene sprememb, omogoča učinkovitejšo analizo in načrtovanje vzdrževanja, podpira delovne procese in naloge razvijalcev ter se pogosto uporablja v raziskavah programskega inženirstva za proučevanje sprememb in evolucije rešitev. S ciljem ugotavljanja raziskovalnih vrzeli smo s sistematičnim pregledom literature proučili obstoječe pristope h klasifikaciji sprememb programskih rešitev glede na vrsto aktivnosti vzdrževanja. Za naslovitev teh vrzeli smo s študijo sistematičnega mapiranja pregledali pristope vektorizacije sprememb programske kode z učenjem predstavitev na podlagi izvorne kode, ki se v obstoječi literaturi uporabljajo za naslavljanje različnih izzivov programskega inženirstva. Na podlagi ugotovitev smo razvili in predlagali novo metodo kontekstno odvisne vektorske predstavitve sprememb programske kode, ki omogoča ekstrakcijo semantičnih značilk sprememb izvorne kode med dvema različicama programske rešitve ob upoštevanju konteksta sprememb. Predlagana metoda predstavi spremembo programske rešitve kot množico podrobnih sorodnih sprememb programske kode, temelječih na predstavitvah zaznanih razlik v izvorni kodi na osnovi žetonov. Za ekstrakcijo semantičnih vložitev sorodnih sprememb metoda uporablja strojno učenje s prenosom znanja iz izbranega prednaučenega jezikovnega modela programske kode iz družine modelov BERT, kot so CodeBERT, UniXcoder in StarEncoder, ki je bil predhodno dodatno prilagojen ciljni nalogi s paradigmama samonadzorovanega in nadzorovanega učenja. Pridobljene vektorske vložitve podrobnih sorodnih sprememb so nato združene v enotno semantično vektorsko predstavitev spremembe programske rešitve. Za klasifikacijo sprememb programskih rešitev glede na vrsto aktivnosti vzdrževanja smo na označeni podatkovni množici izgradili modele strojnega učenja, pri čemer smo za ekstrakcijo značilk uporabili predlagano metodo ter referenčne in obstoječe metode predstavitve sprememb rešitev. Z nadzorovanim eksperimentom, študijo ablacije in primerjalno študijo smo proučili vpliv različnih parametrov predlagane metode predstavitve sprememb na uspešnost klasifikacije, primerjali uspešnost klasifikacije ob uporabi predlagane metode v primerjavi z uporabo referenčnih in obstoječih metod predstavitve sprememb ter ovrednotili uspešnost multimodalnih modelov strojnega učenja, temelječih na nadgradnji obstoječih metod predstavitve sprememb s predlagano metodo z združevanjem modalnosti naravnega jezika in programske kode. Empirične rezultate smo statistično analizirali s pomočjo frekventistične in Bayesove statistike. Izsledki raziskav potrjujejo izhodiščno tezo, da je z uporabo nove metode mogoče izgraditi modele strojnega učenja, ki uspešno klasificirajo spremembe programskih rešitev glede na vrsto aktivnosti vzdrževanja. Osrednje ugotovitve doktorske disertacije so naslednje: vektorske predstavitve sprememb programske kode na osnovi predlagane metode dosegajo primerljivo ali višjo uspešnost pri klasifikaciji v primerjavi s predstavitvami na osnovi referenčnih in obstoječih metod; zmanjšanje dimenzionalnosti kontekstno odvisnih vektorskih predstavitev sprememb omogoča zmanjšanje števila dimenzij brez negativnega vpliva na uspešnost klasifikacije; multimodalni klasifikacijski modeli dosegajo višjo uspešnost klasifikacije v primerjavi z unimodalnimi modeli.
Keywords: vzdrževanje programske opreme, spremembe programskih rešitev, rudarjenje repozitorijev programskih rešitev, strojno učenje, klasifikacija, nevronski jezikovni modeli programske kode, vektorske predstavitve, vektorska vložitev
Published in DKUM: 06.01.2025; Views: 0; Downloads: 77
Full text (5,56 MB)

Abstract: V magistrskem delu je bila raziskana uporabo ChatGPT-ja kot veliki jezikovni model za avtomatizirano oblikovanje testnih primerov v primerjavi s tradicionalnimi metodami, ki jih uporabljajo strokovnjaki za testiranje programske opreme. Delo se je osredotočilo na vpliv natančno opredeljenih pozivov (inženiring pozivov) na kakovost, pokritost kode in učinkovitost pri odkrivanju napak. Rezultati raziskave kažejo, da ChatGPT z ustrezno oblikovanimi vnosnimi zahtevami dosega primerljivo ali celo boljšo uspešnost kot ročno oblikovani testi, kar pomeni velik potencial za optimizacijo procesov testiranja programske opreme.
Keywords: avtomatizirano testiranje, veliki jezikovni modeli, inženiring pozivov, ChatGPT, kakovost testnih primerov
Published in DKUM: 22.10.2024; Views: 0; Downloads: 48
Full text (1,31 MB)

Abstract: Namen magistrskega dela je sistematično predstaviti, raziskati in analizirati delovanje velikih jezikovnih modelov, s posebnim poudarkom na modelu transformatorja, ter raziskati, kako prilagoditi izhode teh modelov za specifične potrebe organizacij. V praksi bomo preučili, kako ta prilagoditev deluje, tako da bomo razvili in demonstrirali aplikacijo za iskanje ključnih besed po dokumentih v PDF formatu z uporabo velikega jezikovnega modela GPT-4 podjetja OpenAI.
Keywords: veliki jezikovni modeli, modeli obdelave naravnega jezika, umetna inteligenca, inženiring spodbud
Published in DKUM: 19.09.2024; Views: 0; Downloads: 23
Full text (2,79 MB)

Abstract: Nestrukturirani dokumenti zajemajo informacije v oblikah in postavitvah, ki se lahko od enega primerka do drugega razlikujejo, kar lahko oteži in podraži nalogo pridobivanja informacij. Kot rešitev se je v zadnjih letih za razumevanje dokumentov na področju dokumentne inteligence pričela uporaba nevronskih jezikovnih modelov, usposobljenih na učnih množicah dokumentov. V diplomskem delu za pridobivanje informacij iz skeniranih trgovinskih računov uporabljamo prehodno učeni nevronski jezikovni model, zgrajen iz transformatorjev. Model je natančno učen z uporabo učne množice SROIE za izluščitev štirih kategorij, tj. imen in naslovov trgovin, datumov in skupnih cen. Za pridobivanje informacij smo uporabili prepoznavo imenskih entitet. Za primerjavo izvajamo poskuse s spreminjanem hiperparametrov modela. S spremembo nevronskega jezikovnega modela smo pri poskusih dosegli največjo natančnost klasifikacije: 96,7 %.
Keywords: Dokumentna inteligenca, obdelava naravnih jezikov, prepoznava imenskih entitet, jezikovni modeli, transformatorji
Published in DKUM: 18.10.2021; Views: 953; Downloads: 46
Full text (1,56 MB)