| | SLO | ENG | Piškotki in zasebnost

Večja pisava | Manjša pisava
Prva stran > Izpis gradiva

Izpis gradiva Pomoč

Naslov:Nature-inspired algorithms for hyperparameter optimization : magistrsko delo
Avtorji:ID Glojnarić, Filip (Avtor)
ID Fister, Iztok (Mentor) Več o mentorju... Novo okno
ID Brezočnik, Lucija (Komentor)
Datoteke:.pdf MAG_Glojnaric_Filip_2019.pdf (969,13 KB)
MD5: DF861200FD42CBBB12C661F032F77885
PID: 20.500.12556/dkum/01924d84-d3d2-495b-b8b7-90e45fe03dd1
 
Jezik:Angleški jezik
Vrsta gradiva:Magistrsko delo/naloga
Tipologija:2.09 - Magistrsko delo
Organizacija:FERI - Fakulteta za elektrotehniko, računalništvo in informatiko
Opis:This master thesis is focusing on the utilization of nature-inspired algorithms for hyperparameter optimization, how they work and how to use them. We present some existing methods for hyperparameter optimization as well as propose a novel method that is based on six different nature-inspired algorithms: Firefly algorithm, Grey Wolf Optimizer, Particle Swarm Optimization, Genetic algorithm, Differential Evolution, and Hybrid Bat algorithm. We also show the optimization results (set of hyperparameters) for each algorithm and we present the plots of the accuracy for each combination and handpicked one. In discussion of the results, we provide the answers on our research questions as well as propose ideas for future work.
Ključne besede:artificial intelligence, artificial neural networks, machine learning, nature-inspired algorithms, evolutionary algorithms
Kraj izida:Maribor
Kraj izvedbe:Maribor
Založnik:[F. Glojnarić]
Leto izida:2019
Št. strani:XII, 59 f.
PID:20.500.12556/DKUM-75438 Novo okno
UDK:004.8.021(043.2)
COBISS.SI-ID:22917398 Novo okno
NUK URN:URN:SI:UM:DK:NGYSOWKS
Datum objave v DKUM:09.12.2019
Število ogledov:2232
Število prenosov:122
Metapodatki:XML DC-XML DC-RDF
Področja:KTFMB - FERI
:
GLOJNARIĆ, Filip, 2019, Nature-inspired algorithms for hyperparameter optimization : magistrsko delo [na spletu]. Magistrsko delo. Maribor : F. Glojnarić. [Dostopano 11 april 2025]. Pridobljeno s: https://dk.um.si/IzpisGradiva.php?lang=slv&id=75438
Kopiraj citat
  
Skupna ocena:
0.5
1
1.5
2
2.5
3
3.5
4
4.5
5
(0 glasov)
Vaša ocena:Ocenjevanje je dovoljeno samo prijavljenim uporabnikom.
Objavi na:Bookmark and Share


Postavite miškin kazalec na naslov za izpis povzetka. Klik na naslov izpiše podrobnosti ali sproži prenos.

Licence

Licenca:CC BY-NC-ND 4.0, Creative Commons Priznanje avtorstva-Nekomercialno-Brez predelav 4.0 Mednarodna
Povezava:http://creativecommons.org/licenses/by-nc-nd/4.0/deed.sl
Opis:Najbolj omejujoča licenca Creative Commons. Uporabniki lahko prenesejo in delijo delo v nekomercialne namene in ga ne smejo uporabiti za nobene druge namene.
Začetek licenciranja:14.11.2019

Sekundarni jezik

Jezik:Slovenski jezik
Naslov:Algoritmi po vzorih iz narave za optimizacijo hiperparametrov
Opis:V magistrskem delu smo se osredotočili na uporabo algoritmov po vzorih iz narave za optimizacijo hiperparametrov. Predstavili smo strojno učenje, optimizacijske metode in podrobneje šest algoritmov po vzorih iz narave. Ti so algoritem kresnic, algoritem sivega volka, algoritem roja delcev, genetski algoritem, diferencialna evolucija, algoritem po vzoru obnašanja netopirjev in njegova hibridna različica. Pregled literature je pokazal, da so omenjeni algoritmi zelo uporabni pri optimizaciji hiperparametrov, zato nas je analiza spodbudila k predlaganju lastne metode. Sicer so osnovni pristopi, ki se običajno uporabljajo za optimizacijo hiperparametrov, ročno iskanje, Grid search in Bayesove metode. Naša metoda temelji na šestih algoritmih po vzorih iz narave. Z njo skušamo poiskati optimalen nabor hiperparametrov za umetno nevronsko mrežo. Funkcija uspešnosti temelji na točnosti klasifikacije. Kandidatne rešitve so predstavljene kot vektorji realnih števil. Struktura umetne nevronske mreže je z enim skritim slojem, druge nastavitve pa so privzete (razen tistih, ki jih optimiziramo). Program je bil napisan v programskem jeziku Python. Programske knjižnice, ki smo jih uporabili, so Scikit-learn in NiaPy. Eksperiment smo izvedli na treh različnih množicah podatkov in ga zagnali na prenosnem računalniku Dell s 2,67 GHz procesorjem in 4,00 GB pomnilnikom. Operacijski sistem je Windows 10 Education. Za vsak algoritem smo nastavili zaključni pogoj na 10000 ovrednotenj funkcije uspešnosti in velikost populacije na 100 posameznikov. Rezultati nakazujejo, da je uporaba naše metode za HPO učinkovita. Nad dvema množicama podatkov je hibridna različica po vzoru obnašanja netopirjev dosegla najboljši rezultat, nad eno množico podatkov pa je najboljši rezultat dosegel algoritem kresnic. V prihodnosti želimo našo rešitev kot storitev objaviti na spletu. Dodatno bi lahko s tehnikami adaptacije in hibridizacije izboljšali osnovne algoritme po vzorih iz narave, ki smo jih uporabili v tem magistrskem delu.
Ključne besede:umetna inteligenca, umetne nevronske mreže, strojno učenje, algoritmi po vzorih iz narave, evolucijski algoritmi


Komentarji

Dodaj komentar

Za komentiranje se morate prijaviti.

Komentarji (0)
0 - 0 / 0
 
Ni komentarjev!

Nazaj
Logotipi partnerjev Univerza v Mariboru Univerza v Ljubljani Univerza na Primorskem Univerza v Novi Gorici