| | SLO | ENG | Cookies and privacy

Bigger font | Smaller font

Show document

Title:Construction of deep neutral networks using swarm intelligence to detect anomalies : master's thesis
Authors:ID Pavlič, Sašo (Author)
ID Karakatič, Sašo (Mentor) More about this mentor... New window
Files:.pdf MAG_Pavlic_Saso_2021.pdf (3,18 MB)
MD5: A2B1E48E401ACCCB6FAA08327B94F11B
 
.zip MAG_Pavlic_Saso_2021.zip (2,31 GB)
MD5: D251C32BBAB72D072FDA44E207F1FCE4
 
Language:English
Work type:Master's thesis/paper (mb22)
Typology:2.09 - Master's Thesis
Organization:FERI - Faculty of Electrical Engineering and Computer Science
Abstract:The design of neural network architecture is becoming more difficult as the complexity of the problems we tackle using machine learning increases. Many variables influence the performance of a neural model, and those variables are often limited by the researcher's prior knowledge and experience. In our master's thesis, we will focus on becoming familiar with evolutionary neural network design, anomaly detection techniques, and a deeper knowledge of autoencoders and their potential for application in unsupervised learning. Our practical objective will be to build a neural architecture search based on swarm intelligence, and construct an autoencoder architecture for anomaly detection in the MNIST dataset.
Keywords:neural architecture search, machine learning, swarm intelligence
Year of publishing:2021
Place of performance:Maribor
Publisher:[S. Pavlič]
Number of pages:XXI, 83 str.
Source:Maribor
UDC:004.85(043.2)
COBISS.SI-ID:83068675 New window
Publication date in DKUM:18.10.2021
Views:364
Downloads:63
Metadata:XML RDF-CHPDL DC-XML DC-RDF
Categories:KTFMB - FERI
:
  
Average score:(0 votes)
Your score:Voting is allowed only for logged in users.
Share:AddThis
AddThis uses cookies that require your consent. Edit consent...

Hover the mouse pointer over a document title to show the abstract or click on the title to get all document metadata.

Licences

License:CC BY-SA 4.0, Creative Commons Attribution-ShareAlike 4.0 International
Link:http://creativecommons.org/licenses/by-sa/4.0/
Description:This Creative Commons license is very similar to the regular Attribution license, but requires the release of all derivative works under this same license.
Licensing start date:12.09.2021

Secondary language

Language:Slovenian
Title:Gradnja globokih nevronskih mrež s pomočjo inteligence rojev za detekcijo anomalij
Abstract:Umetna inteligenca (angl. Artificial intelligence) postaja vse bolj dovršena in se vedno bolj uporablja v storitvah, ki jih uporabljamo vsak dan. Aplikacije, ki so se bile še pred desetletji skoraj neizvedljive, predvsem zaradi izgradnje njihove logike (samovozeča vozila, predlagane vsebine, sinteza govora …), postajajo danes izvedljive z algoritmi, ki so zmožni sami zgraditi model odločanja za podano težavo. Umetna inteligenca bo v prihodnosti poglavitno orodje, ki ga bomo uporabljali za reševanje vse bolj zahtevnih vsakodnevnih težav. Pomembno vlogo pri reševanju teh težav ima strojno učenje (angl. Machine learning), ki z globokim učenjem (angl. Deep learning) gradi globoke nevronske mreže (angl. Deep neural networks). Tovrstne mreže temeljijo na posnemanju poenostavljenega delovanja bioloških možganov in so zelo učinkovite za reševanje določenih težav, kajti same prilagajajo parametre nevronov ob učenju. Vendar pa je uspešnost učenja odvisna predvsem od tega, kako arhitekt zasnuje arhitekturo globoke nevronske mreže in kako so nastavljeni parametri mreže. S temi nastavitvami omejimo gradnjo nevronske mreže na izkušnje arhitekta, namesto da bi algoritem sam ugotovil, kakšne nastavitve so najbolj primerne za podano težavo. Znanost je za reševanje te težave začela aplicirati algoritme po vzoru iz narave (angl. Nature inspired algorithms) za izgradnjo nevronskih mrež z nevroevolucijo (angl. Neuroevolution). Proces nevroevolucije išče in optimizira ustrezno arhitekturo nevronskih mrež za reševanje specifične težave. Eden od algoritmov po vzoru iz narave so algoritmi inteligence rojev, ki s posnemanjem vedenja delcev (npr. mravelj) v naravi iščejo najboljšo možno rešitev za podano težavo. Pri nevroevoluciji je rešitev arhitektura modela nevronske mreže. Takšen proces je inovativen predvsem za težave pri izgradnji arhitekture nevronskih mrež, pri katerih poznamo le vhodne podatke (začetek) in končno stanje (cilj), ne pa procesa, ki ga moramo izvesti na naši poti. Takšen način imenujemo nenadzorovano učenje (angl. Unsupervised learning). Konkretni predstavnik takšnega nevronskega modela je avtomatski kodirnik (angl. Autoencoder), ki sprejme vhodne podatke, izvede proces in vrne izhodne podatke, cilj tega modela je, da so si vhodni in izhodni podatki čim bolj podobni, kajti zanimajo nas le koraki procesa. S tem lahko opazujemo, kako se je model naučil predelati podatke, da so si čim bolj podobni kljub izvajanju operacij nad njimi. Če pride do prevelikega odstopanja, pa lahko to ovrednotimo kot anomalijo (angl. Anomaly detection). S tem procesom učenja iskanja arhitektur nevronskih mrež lahko ustvarimo računalniške sisteme, ki delujejo tako kot živa bitja. Primer: »Kako živo bitje opredeli spremembe v okolju kot razlog za strah ali užitek?«. V magistrskem delu se bomo osredotočili na spoznavanje in implementacijo sistema za avtomatsko gradnjo arhitektur nevronskih mrež. Naš program nosi ime AutoDaedalus. Ta program temelji na uporabi inteligence rojev, s katero definiramo algoritem za odločitev komponent v nevronski mreži. Te komponente so lahko vse od tipa nevronov, strukture nivojev, aktivacijskih funkcij do dimenzije izhoda nevronov. Tip arhitekture nevronske mreže, ki jo v našem primeru gradi AutoDaedalus, je avtokoder. Ta arhitektura je prepoznana po tem, da se vhodni podatki zakodirajo v latentni prostor, nato pa dekodira nazaj v izhodne podatke. AutoDaedalus v svojem iskanju najuspešnejše arhitekture nevronskega modela uporablja matriko, kot je razlika med vhodom in izhodom. Na koncu imamo cilj, da dobimo najboljši nevronski model za rekonstrukcijo vhodnih podatkov. S tem ko se je nevronski model naučil ustrezno zakodirati in dekodirati dan tip podatkov, ga lahko uporabimo za iskanje anomalij. Razlog za to je verjetnost, da nevronski model ne bo znal ustrezno zakodirati in dekodirati tipa podatkov, za katerega ni bil naučen. V našem primeru smo nevronske modele učili na podatkih MNIST.
Keywords:iskanje arhitektur nevronske mreže, strojno učenje, inteligenca rojev


Comments

Leave comment

You must log in to leave a comment.

Comments (0)
0 - 0 / 0
 
There are no comments!

Back
Logos of partners University of Maribor University of Ljubljana University of Primorska University of Nova Gorica