Iskanje po katalogu digitalne knjižnice

Opis: V magistrskem delu je predstavljen razvoj modelov gručenja s pomočjo programskega jezika Python. Cilj dela je razviti prototip orodij za oblikovanje profila obremenitve pri testiranju zmogljivosti spletnih aplikacij na podlagi analize preteklega delovanja spletne aplikacije v produkcijskem okolju. Izdelava profila obremenitve za testiranje zmogljivosti spletnih aplikacij predstavlja ključno fazo obremenitvenega testiranja. Ta faza omogoča usklajevanje testnih podatkov in obsega z zahtevami naročnika ter dejanskimi uporabniškimi izkušnjami. Pri izdelavi profila je treba upoštevati uporabniške vloge, tipične scenarije delovanja in razmerje med različnimi scenariji, saj različne funkcionalnosti aplikacije porabijo različne vire strežnika. Obremenitveno testiranje vključuje simulacijo uporabniških scenarijev s specializirano programsko opremo, kot sta JMeter in LoadRunner. To rešitev lahko uporabljajo inženirji in IT-strokovnjaki pri oblikovanju profila obremenitve, ki se ukvarjajo z obremenitvenim testiranjem zmogljivosti spletnih aplikacij. V delu raziskujemo, kako odkriti uporabniške vzorce za izboljšanje oblikovanja profila obremenitve za testiranje zmogljivosti na podlagi analize zapisov (rudarjenja podatkov iz log-datotek) o delovanju spletne aplikacije v produkcijskem okolju. S pravilno zasnovanim profilom obremenitve je mogoče oceniti zmogljivost in stabilnost sistema ter simulirati realne uporabniške pogoje.
Ključne besede: profil obremenitve spletnih aplikacij, testiranje, podatkovno rudarjenje spletnih zapisov
Objavljeno v DKUM: 05.07.2024; Ogledov: 106; Prenosov: 11
Celotno besedilo (8,02 MB)

Opis: Z vedno večjim napredkom tehnologije je na voljo vse več kapacitet za shranjevanje in analizo podatkov, pri čemer podatkovne baze postajajo vse kompleksnejše in iz tega razloga potrebujemo standardizirane postopke za analitično procesiranje. Medpanožni standardni postopek za podatkovno rudarjenje CRISP-DM (angl. Cross-Industry Standard Process for Data Mining) je primer tovrstnega standarda, ki je od njegovega nastanka leta 1996 še vedno med glavnimi procesnimi modeli na področju podatkovnega rudarjenja v vseh gospodarskih sektorjih. V tem diplomskem delu opredelimo njegove posamezne faze in korake ter jih podrobno opišemo. Ker podatkovno rudarjenje zaradi njegove poslovne vrednosti pridobiva vedno večji pomen, se na tem področju pojavlja vse več alternativ, zato CRISP-DM primerjamo z modeloma SEMMA (angl. Sample, Explore, Modify, Model, Assess) in ASUM-DM (angl. Analytics Solutions Unified Method for Data Mining) z zaključkom, da slednja nista dovolj fleksibilna za status splošnega standarda. Pregledali smo ustrezno literaturo in opravili študijo primera, v kateri smo optimizirali marketinško kampanjo za bančne storitve na podlagi podatkov portugalske finančne institucije. Po analizi literature in končanem praktičnem primeru smo pretehtali vpliv posameznih faz na kakovost rezultatov in ugotovili, da je v akademskem svetu najmanj pokrita prav faza uvedbe, ki pa je v praksi nepogrešljivega pomena. Prav tako smo izpostavili nekatere ključne pomanjkljivosti, ki znotraj originalnega CRISP-DM procesnega modela niso rešene. V ta namen smo predlagali dodatne korake, kot so postopek zbiranja podatkov, razširitev procesa uvedbe modela in nova faza podatkovne etike. Na podlagi teh predlogov ugotavljamo, da potreba po razširitvi prvotnega CRISP-DM modela obstaja.
Ključne besede: CRISP-DM, podatkovno rudarjenje, Python, procesni model, strojno učenje
Objavljeno v DKUM: 13.10.2022; Ogledov: 571; Prenosov: 55
Celotno besedilo (2,24 MB)
Gradivo ima več datotek! Več...

Opis: Rešitev, predstavljena v nalogi, se osredotoča na izboljšanje procesa napovedovanja prodajnih rezultatov izdelkov ali storitev s pomočjo vpeljave dodatnih odprtih virov podatkov. Z nalogo želimo poudariti, kako enostavno lahko pridobimo podatke in jih zelo dragoceno uporabimo v procesu poslovanja. Za končno primerjavo in vrednotenje smo najprej postavili dva modela v različnih sistemih za napovedovanje prodajnih rezultatov na podlagi enega vira, to so zgodovinski podatki prodaje. V nadaljevanju smo napovedni model s historičnimi podatki nadgradili. Dodali smo še podatke o številu zabeleženih bolezni, ki smo jih pridobili preko spletnega portala z javno objavljenimi podatki (odprti podatki). Korelacija med omenjenimi podatki obstaja, vendar je povezovanje te vrste podatkov kompleksno, zato je interpretacija rezultatov po eni strani lahko zelo zahtevna, po drugi strani pa povsem logična in zanimiva. Cilj, ki smo si ga zadali, je torej pokazati tri različne modele za napovedovanje, jih primerjati in ugotoviti, kakšen doprinos prinesejo odprti podatki. Rezultati naloge so pokazali, da smo zgradili zelo dobro osnovo za nadaljnji razvoj rešitve in enostavno implementacijo v uporabo.
Ključne besede: Odprti (javni) podatki, napovedovanje, podatkovno rudarjenje, model CRISP-DM.
Objavljeno v DKUM: 07.12.2021; Ogledov: 931; Prenosov: 80
Celotno besedilo (2,29 MB)

Opis: Čeprav so znanstveni in strokovni članki večinoma bibliografsko obdelani in imajo zapis v knjižničnem katalogu COBIB, ter s tem definiranega enega ali več vrstilcev iz sistema Univerzalne decimalne klasifikacije (UDK), je večina člankov, dostopnih prek portala Digitalne knjižnice Slovenije, predvsem s področja kulture (starejši članki iz revij in časopisov), ki takšnega zapisa nimajo. Na spletnem mestu Digitalne knjižnice Slovenije je mogoče preiskovanje dokumentov zgolj po polnem besedilu. To je trenutno najboljše orodje za preiskovanje starejših besedil, a uporaba in preiskovanja publikacij na tak način, zaradi pomanjkljivosti (slabša kvaliteta razpoznave besedila v časopisih in revijah starejšega tipa, uporaba stare slovenščine, itd.) in prevelikega števila vrnjenih zadetkov pri iskanju, ne nudi sodobne uporabniške izkušnje in uporabniku otežuje delo. Osnovni problem, ki ga naslavljamo v disertaciji je pomoč pri bibliografski obdelavi besedil, ki je še vedno v rokah človeških ekspertov. Izhajamo iz teze, da je s pomočjo metod strojnega učenja možno avtomatsko klasificirati besedila v ustrezen UDK vrstilec in s tem podpreti človeka pri bibliografski obdelavi zapisov. V ta namen smo po pristopu načrtovanja in razvoja razvili klasifikacijski model, ki smo ga uporabili za klasificiranje starih besedil, ki so bila doslej klasificirana večinoma zgolj posredno, preko klasifikacije celotne revije oz. časopisa, kot na primer "Časopisi. Tisk. Novinarstvo". V disertaciji smo razvili klasifikacijski model s pomočjo metod strojnega učenja, s katerimi smo uspeli avtomatsko klasificirati kakršnokoli besedilo s pomočjo Univerzalne decimalne klasifikacije. Med tehnikami strojnega učenja smo se poslužili nenadzorovanega in nadzorovanega učenja. V prvem koraku smo nad manjšo množico podatkov (900 člankov) nenadzorovano učenje uporabili za preverjanje sorodnosti med dodeljenimi UDK vrstilci s strani bibliotekarjev in izgrajenimi gručami s strani algoritma. V drugem koraku smo nad celotnim korpusom znanstvenega časopisja Digitalne knjižnice Slovenije (več kot 70.000 znanstvenih besedil) razvili klasifikacijske modele, kjer je bilo razmerje učne in testne množice je bilo 80/20 odstotkov. Ko smo potrdili uspešnost klasifikacijskih modelov nad znanstvenimi besedili, smo jih uporabili za klasifikacijo več kot 200.000 starejših besedil. Uporabili smo Naivni Bayesov klasifikator, Metodo podpornih vektorjev, Večslojni perceptron, Logistično regresijo in algoritem k najbližjih sosedov. Ustreznost klasifikacije starih besedil smo preverili s človeškimi eksperti – bibliotekarji. Potrdili smo domnevo, da lahko s pomočjo znanstvenih in strokovnih člankov, klasificiranih v UDK, v vsaj 80% primerov ponudimo avtomatsko določene UDK vrstilce za starejše gradivo, ki ni bibliotekarsko obdelano. Poudariti velja, da gre pri tem delu za človeško odločitev, testiranje s človeškimi eksperti, za oceno in presojo, ki lahko variira od odločevalca do odločevalca. Poleg oplemenitenja starejših besedil iz osemnajstega, devetnajstega in prve polovice dvajsetega stoletja s vsebinskimi oznakami UDK vrstilcev, ima raziskava praktično moč v vsakodnevni rabi. Z gledišča podpore avtomatske klasifikacije publikacij pri vsakodnevnem delu bibliotekarjev, vidimo moč implementacije raziskave v informacijski sistem, ki je bibliotekarju sposoben v realnem času ponuditi izračunane predloge za določitev primernih klasifikatorjev publikacije, ki jo obdeluje. Bibliotekar lahko pridobi s strani stroja "drugo mnenje" pri procesu dodeljevanja UDK vrstilcev publikaciji, ki jo obdeluje. Hkrati je metodologija lahko uporabljena na različnih področjih in podatkovnih bazah ter klasifikacijskih sistemih, ne zgolj za dodeljevanje UDK vrstilcev.
Ključne besede: Umetna inteligenca, strojno učenje, podatkovno rudarjenje, Univerzalna decimalna klasifikacija, klasifikacija besedil
Objavljeno v DKUM: 03.02.2021; Ogledov: 1464; Prenosov: 131
Celotno besedilo (4,35 MB)

Opis: Vsakodnevno se soočamo z veliko količino podatkov, ki jih generirajo elektronske naprave. Še več, ta količina se z dneva v dan celo povečuje in temu povečevanju ni videti konca. Vseprisotne elektronske naprave so korenito spremenile tudi življenje človeka. Med drugim te naprave beležijo naše odločitve, na podlagi katerih določajo naše preference, spremljajo naše nakupovalne navade v trgovinah, odkrivajo naše finančne navade in obnašanje na družbenih omrežjih. Zaradi vsega prej omenjenega so se razvile metode, ki omogočajo shranjevanje in obdelavo velike količine podatkov, ki jih danes označujemo z izrazom masivni podatki (angl. big data). V pričujočem magistrskem delu smo se lotili obdelave podatkov športnikov (natančneje kolesarjev) dobljenih iz športnih ur (npr. Polar, Garmin ipd.), ki spremljajo športnika med treningi. Na podlagi te analize lahko športni trener določi trende v obnašanju športnika znotraj predpisanih časovnih intervalov, na podlagi česar lahko ta ugotavlja, v kakšni trenutni formi je njegov varovanec in napovedati priporočila za njegov nadaljnji trening.
Ključne besede: podatkovno rudarjenje, analiza podatkov, vizualizacija, šport, spletna aplikacija
Objavljeno v DKUM: 04.11.2020; Ogledov: 1265; Prenosov: 87
Celotno besedilo (5,91 MB)