| | SLO | ENG | Piškotki in zasebnost

Večja pisava | Manjša pisava

Izpis gradiva

Naslov:Nature-inspired algorithms for hyperparameter optimization : magistrsko delo
Avtorji:Glojnarić, Filip (Avtor)
Fister, Iztok (Mentor) Več o mentorju... Novo okno
Brezočnik, Lucija (Komentor)
Datoteke:.pdf MAG_Glojnaric_Filip_2019.pdf (969,13 KB)
 
Jezik:Angleški jezik
Vrsta gradiva:Magistrsko delo/naloga (mb22)
Tipologija:2.09 - Magistrsko delo
Organizacija:FERI - Fakulteta za elektrotehniko, računalništvo in informatiko
Opis:This master thesis is focusing on the utilization of nature-inspired algorithms for hyperparameter optimization, how they work and how to use them. We present some existing methods for hyperparameter optimization as well as propose a novel method that is based on six different nature-inspired algorithms: Firefly algorithm, Grey Wolf Optimizer, Particle Swarm Optimization, Genetic algorithm, Differential Evolution, and Hybrid Bat algorithm. We also show the optimization results (set of hyperparameters) for each algorithm and we present the plots of the accuracy for each combination and handpicked one. In discussion of the results, we provide the answers on our research questions as well as propose ideas for future work.
Ključne besede:artificial intelligence, artificial neural networks, machine learning, nature-inspired algorithms, evolutionary algorithms
Leto izida:2019
Kraj izvedbe:Maribor
Založnik:[F. Glojnarić]
Št. strani:XII, 59 f.
Izvor:Maribor
UDK:004.8.021(043.2)
COBISS_ID:22917398 Povezava se odpre v novem oknu
NUK URN:URN:SI:UM:DK:NGYSOWKS
Licenca:CC BY-NC-ND 4.0
To delo je dosegljivo pod licenco Creative Commons Priznanje avtorstva-Nekomercialno-Brez predelav 4.0 Mednarodna
Število ogledov:153
Število prenosov:20
Metapodatki:XML RDF-CHPDL DC-XML DC-RDF
Področja:KTFMB - FERI
:
  
Skupna ocena:(0 glasov)
Vaša ocena:Ocenjevanje je dovoljeno samo prijavljenim uporabnikom.
Objavi na:AddThis
AddThis uporablja piškotke, za katere potrebujemo vaše privoljenje.
Uredi privoljenje...

Postavite miškin kazalec na naslov za izpis povzetka. Klik na naslov izpiše podrobnosti ali sproži prenos.

Sekundarni jezik

Jezik:Slovenski jezik
Naslov:Algoritmi po vzorih iz narave za optimizacijo hiperparametrov
Opis:V magistrskem delu smo se osredotočili na uporabo algoritmov po vzorih iz narave za optimizacijo hiperparametrov. Predstavili smo strojno učenje, optimizacijske metode in podrobneje šest algoritmov po vzorih iz narave. Ti so algoritem kresnic, algoritem sivega volka, algoritem roja delcev, genetski algoritem, diferencialna evolucija, algoritem po vzoru obnašanja netopirjev in njegova hibridna različica. Pregled literature je pokazal, da so omenjeni algoritmi zelo uporabni pri optimizaciji hiperparametrov, zato nas je analiza spodbudila k predlaganju lastne metode. Sicer so osnovni pristopi, ki se običajno uporabljajo za optimizacijo hiperparametrov, ročno iskanje, Grid search in Bayesove metode. Naša metoda temelji na šestih algoritmih po vzorih iz narave. Z njo skušamo poiskati optimalen nabor hiperparametrov za umetno nevronsko mrežo. Funkcija uspešnosti temelji na točnosti klasifikacije. Kandidatne rešitve so predstavljene kot vektorji realnih števil. Struktura umetne nevronske mreže je z enim skritim slojem, druge nastavitve pa so privzete (razen tistih, ki jih optimiziramo). Program je bil napisan v programskem jeziku Python. Programske knjižnice, ki smo jih uporabili, so Scikit-learn in NiaPy. Eksperiment smo izvedli na treh različnih množicah podatkov in ga zagnali na prenosnem računalniku Dell s 2,67 GHz procesorjem in 4,00 GB pomnilnikom. Operacijski sistem je Windows 10 Education. Za vsak algoritem smo nastavili zaključni pogoj na 10000 ovrednotenj funkcije uspešnosti in velikost populacije na 100 posameznikov. Rezultati nakazujejo, da je uporaba naše metode za HPO učinkovita. Nad dvema množicama podatkov je hibridna različica po vzoru obnašanja netopirjev dosegla najboljši rezultat, nad eno množico podatkov pa je najboljši rezultat dosegel algoritem kresnic. V prihodnosti želimo našo rešitev kot storitev objaviti na spletu. Dodatno bi lahko s tehnikami adaptacije in hibridizacije izboljšali osnovne algoritme po vzorih iz narave, ki smo jih uporabili v tem magistrskem delu.
Ključne besede:umetna inteligenca, umetne nevronske mreže, strojno učenje, algoritmi po vzorih iz narave, evolucijski algoritmi


Komentarji

Dodaj komentar

Za komentiranje se morate prijaviti.

Komentarji (0)
0 - 0 / 0
 
Ni komentarjev!

Nazaj
Logotipi partnerjev Univerza v Mariboru Univerza v Ljubljani Univerza na Primorskem Univerza v Novi Gorici