Iskanje po katalogu digitalne knjižnice

Opis: Z vedno večjim napredkom tehnologije je na voljo vse več kapacitet za shranjevanje in analizo podatkov, pri čemer podatkovne baze postajajo vse kompleksnejše in iz tega razloga potrebujemo standardizirane postopke za analitično procesiranje. Medpanožni standardni postopek za podatkovno rudarjenje CRISP-DM (angl. Cross-Industry Standard Process for Data Mining) je primer tovrstnega standarda, ki je od njegovega nastanka leta 1996 še vedno med glavnimi procesnimi modeli na področju podatkovnega rudarjenja v vseh gospodarskih sektorjih. V tem diplomskem delu opredelimo njegove posamezne faze in korake ter jih podrobno opišemo. Ker podatkovno rudarjenje zaradi njegove poslovne vrednosti pridobiva vedno večji pomen, se na tem področju pojavlja vse več alternativ, zato CRISP-DM primerjamo z modeloma SEMMA (angl. Sample, Explore, Modify, Model, Assess) in ASUM-DM (angl. Analytics Solutions Unified Method for Data Mining) z zaključkom, da slednja nista dovolj fleksibilna za status splošnega standarda. Pregledali smo ustrezno literaturo in opravili študijo primera, v kateri smo optimizirali marketinško kampanjo za bančne storitve na podlagi podatkov portugalske finančne institucije. Po analizi literature in končanem praktičnem primeru smo pretehtali vpliv posameznih faz na kakovost rezultatov in ugotovili, da je v akademskem svetu najmanj pokrita prav faza uvedbe, ki pa je v praksi nepogrešljivega pomena. Prav tako smo izpostavili nekatere ključne pomanjkljivosti, ki znotraj originalnega CRISP-DM procesnega modela niso rešene. V ta namen smo predlagali dodatne korake, kot so postopek zbiranja podatkov, razširitev procesa uvedbe modela in nova faza podatkovne etike. Na podlagi teh predlogov ugotavljamo, da potreba po razširitvi prvotnega CRISP-DM modela obstaja.
Ključne besede: CRISP-DM, podatkovno rudarjenje, Python, procesni model, strojno učenje
Objavljeno v DKUM: 13.10.2022; Ogledov: 142; Prenosov: 20
Celotno besedilo (2,24 MB)
Gradivo ima več datotek! Več...

Opis: Rešitev, predstavljena v nalogi, se osredotoča na izboljšanje procesa napovedovanja prodajnih rezultatov izdelkov ali storitev s pomočjo vpeljave dodatnih odprtih virov podatkov. Z nalogo želimo poudariti, kako enostavno lahko pridobimo podatke in jih zelo dragoceno uporabimo v procesu poslovanja. Za končno primerjavo in vrednotenje smo najprej postavili dva modela v različnih sistemih za napovedovanje prodajnih rezultatov na podlagi enega vira, to so zgodovinski podatki prodaje. V nadaljevanju smo napovedni model s historičnimi podatki nadgradili. Dodali smo še podatke o številu zabeleženih bolezni, ki smo jih pridobili preko spletnega portala z javno objavljenimi podatki (odprti podatki). Korelacija med omenjenimi podatki obstaja, vendar je povezovanje te vrste podatkov kompleksno, zato je interpretacija rezultatov po eni strani lahko zelo zahtevna, po drugi strani pa povsem logična in zanimiva. Cilj, ki smo si ga zadali, je torej pokazati tri različne modele za napovedovanje, jih primerjati in ugotoviti, kakšen doprinos prinesejo odprti podatki. Rezultati naloge so pokazali, da smo zgradili zelo dobro osnovo za nadaljnji razvoj rešitve in enostavno implementacijo v uporabo.
Ključne besede: Odprti (javni) podatki, napovedovanje, podatkovno rudarjenje, model CRISP-DM.
Objavljeno v DKUM: 07.12.2021; Ogledov: 432; Prenosov: 50
Celotno besedilo (2,29 MB)

Opis: Čeprav so znanstveni in strokovni članki večinoma bibliografsko obdelani in imajo zapis v knjižničnem katalogu COBIB, ter s tem definiranega enega ali več vrstilcev iz sistema Univerzalne decimalne klasifikacije (UDK), je večina člankov, dostopnih prek portala Digitalne knjižnice Slovenije, predvsem s področja kulture (starejši članki iz revij in časopisov), ki takšnega zapisa nimajo. Na spletnem mestu Digitalne knjižnice Slovenije je mogoče preiskovanje dokumentov zgolj po polnem besedilu. To je trenutno najboljše orodje za preiskovanje starejših besedil, a uporaba in preiskovanja publikacij na tak način, zaradi pomanjkljivosti (slabša kvaliteta razpoznave besedila v časopisih in revijah starejšega tipa, uporaba stare slovenščine, itd.) in prevelikega števila vrnjenih zadetkov pri iskanju, ne nudi sodobne uporabniške izkušnje in uporabniku otežuje delo. Osnovni problem, ki ga naslavljamo v disertaciji je pomoč pri bibliografski obdelavi besedil, ki je še vedno v rokah človeških ekspertov. Izhajamo iz teze, da je s pomočjo metod strojnega učenja možno avtomatsko klasificirati besedila v ustrezen UDK vrstilec in s tem podpreti človeka pri bibliografski obdelavi zapisov. V ta namen smo po pristopu načrtovanja in razvoja razvili klasifikacijski model, ki smo ga uporabili za klasificiranje starih besedil, ki so bila doslej klasificirana večinoma zgolj posredno, preko klasifikacije celotne revije oz. časopisa, kot na primer "Časopisi. Tisk. Novinarstvo". V disertaciji smo razvili klasifikacijski model s pomočjo metod strojnega učenja, s katerimi smo uspeli avtomatsko klasificirati kakršnokoli besedilo s pomočjo Univerzalne decimalne klasifikacije. Med tehnikami strojnega učenja smo se poslužili nenadzorovanega in nadzorovanega učenja. V prvem koraku smo nad manjšo množico podatkov (900 člankov) nenadzorovano učenje uporabili za preverjanje sorodnosti med dodeljenimi UDK vrstilci s strani bibliotekarjev in izgrajenimi gručami s strani algoritma. V drugem koraku smo nad celotnim korpusom znanstvenega časopisja Digitalne knjižnice Slovenije (več kot 70.000 znanstvenih besedil) razvili klasifikacijske modele, kjer je bilo razmerje učne in testne množice je bilo 80/20 odstotkov. Ko smo potrdili uspešnost klasifikacijskih modelov nad znanstvenimi besedili, smo jih uporabili za klasifikacijo več kot 200.000 starejših besedil. Uporabili smo Naivni Bayesov klasifikator, Metodo podpornih vektorjev, Večslojni perceptron, Logistično regresijo in algoritem k najbližjih sosedov. Ustreznost klasifikacije starih besedil smo preverili s človeškimi eksperti – bibliotekarji. Potrdili smo domnevo, da lahko s pomočjo znanstvenih in strokovnih člankov, klasificiranih v UDK, v vsaj 80% primerov ponudimo avtomatsko določene UDK vrstilce za starejše gradivo, ki ni bibliotekarsko obdelano. Poudariti velja, da gre pri tem delu za človeško odločitev, testiranje s človeškimi eksperti, za oceno in presojo, ki lahko variira od odločevalca do odločevalca. Poleg oplemenitenja starejših besedil iz osemnajstega, devetnajstega in prve polovice dvajsetega stoletja s vsebinskimi oznakami UDK vrstilcev, ima raziskava praktično moč v vsakodnevni rabi. Z gledišča podpore avtomatske klasifikacije publikacij pri vsakodnevnem delu bibliotekarjev, vidimo moč implementacije raziskave v informacijski sistem, ki je bibliotekarju sposoben v realnem času ponuditi izračunane predloge za določitev primernih klasifikatorjev publikacije, ki jo obdeluje. Bibliotekar lahko pridobi s strani stroja "drugo mnenje" pri procesu dodeljevanja UDK vrstilcev publikaciji, ki jo obdeluje. Hkrati je metodologija lahko uporabljena na različnih področjih in podatkovnih bazah ter klasifikacijskih sistemih, ne zgolj za dodeljevanje UDK vrstilcev.
Ključne besede: Umetna inteligenca, strojno učenje, podatkovno rudarjenje, Univerzalna decimalna klasifikacija, klasifikacija besedil
Objavljeno v DKUM: 03.02.2021; Ogledov: 851; Prenosov: 76
Celotno besedilo (4,35 MB)

Opis: Vsakodnevno se soočamo z veliko količino podatkov, ki jih generirajo elektronske naprave. Še več, ta količina se z dneva v dan celo povečuje in temu povečevanju ni videti konca. Vseprisotne elektronske naprave so korenito spremenile tudi življenje človeka. Med drugim te naprave beležijo naše odločitve, na podlagi katerih določajo naše preference, spremljajo naše nakupovalne navade v trgovinah, odkrivajo naše finančne navade in obnašanje na družbenih omrežjih. Zaradi vsega prej omenjenega so se razvile metode, ki omogočajo shranjevanje in obdelavo velike količine podatkov, ki jih danes označujemo z izrazom masivni podatki (angl. big data). V pričujočem magistrskem delu smo se lotili obdelave podatkov športnikov (natančneje kolesarjev) dobljenih iz športnih ur (npr. Polar, Garmin ipd.), ki spremljajo športnika med treningi. Na podlagi te analize lahko športni trener določi trende v obnašanju športnika znotraj predpisanih časovnih intervalov, na podlagi česar lahko ta ugotavlja, v kakšni trenutni formi je njegov varovanec in napovedati priporočila za njegov nadaljnji trening.
Ključne besede: podatkovno rudarjenje, analiza podatkov, vizualizacija, šport, spletna aplikacija
Objavljeno v DKUM: 04.11.2020; Ogledov: 658; Prenosov: 40
Celotno besedilo (5,91 MB)

Opis: Zanimivosti asociativnih pravil ali pogostih množic postavk se lahko skozi čas spreminjajo. Prav tako je lahko njihova zanimivost različna za različne skupine (npr. skupine ljudi). V doktorski disertaciji je predstavljen nov algoritem za določanje zanimivosti asociativnih pravil in množic postavk v različnih časov¬nih obdobjih. Algoritem odkriva skupine pacientov, ki se glede na trend zanimivosti asociativnega pravila statistično značilno razlikujejo. Rezultat algoritma je odločitveno regresijsko drevo, katerega povezave predstavljajo različne skupine pacientov, listi pa prikazujejo grafe z zanimivostmi asociativnega pravila ali množice postavk v različnih časovnih obdobjih. Pokazali smo tudi, da podpora pogoste množice postavk vpliva na kompleksnost zgrajenega regresijskega drevesa. Za demonstracijo smo uporabili elektronske zdravstvene zapise, zbrane v obdobju 15 let, ki predstavljajo odpuste pacientov iz različnih bolnišnic v Združenih državah Amerike. Predstavljeni algoritem predstavlja v tem primeru uporabno vrednost za bolnišnice, zavarovalnice, raziskovalne in ostale institucije, saj jih lahko odkrito znanje vodi do novih spoznanj in optimizacije poslovanja.
Ključne besede: podatkovno rudarjenje, mere zanimivosti, asociativna pravila, podpora odločanju, regresijsko dre-vo, linearna regresija, elektronski zdravstveni zapis
Objavljeno v DKUM: 12.07.2018; Ogledov: 1664; Prenosov: 110
Celotno besedilo (17,46 MB)