1. A brief review on benchmarking for large language models evaluation in healthcareLeona Cilar Budler, Hongyu Chen, Aokun Chen, Maxim Topaz, Wilson Tam, Jiang Bian, Gregor Štiglic, 2025, review article Abstract: This paper reviews benchmarking methods for evaluating large language models (LLMs) in healthcare settings. It highlights the importance of rigorous benchmarking to ensure LLMs' safety, accuracy, and effectiveness in clinical applications. The review also discusses the challenges of developing standardized benchmarks and metrics tailored to healthcare-specific tasks such as medical text generation, disease diagnosis, and patient management. Ethical considerations, including privacy, data security, and bias, are also addressed, underscoring the need for multidisciplinary collaboration to establish robust benchmarking frameworks that facilitate LLMs' reliable and ethical use in healthcare. Evaluation of LLMs remains challenging due to the lack of standardized healthcare-specific benchmarks and comprehensive datasets. Key concerns include patient safety, data privacy, model bias, and better explainability, all of which impact the overall trustworthiness of LLMs in clinical settings.
Keywords: artificial intelligence, benchmarking, chatbots, healthcare, large language models, natural language processing
Published in DKUM: 12.05.2025; Views: 0; Downloads: 1
 Link to file |
2. Maximum number of generations as a stopping criterion considered harmfulMiha Ravber, Shih-Hsi Liu, Marjan Mernik, Matej Črepinšek, 2022, original scientific article Abstract: Evolutionary algorithms have been shown to be very effective in solving complex optimization problems. This has driven the research community in the development of novel, even more efficient evolutionary algorithms. The newly proposed algorithms need to be evaluated and compared with existing state-of-the-art algorithms, usually by employing benchmarks. However, comparing evolutionary algorithms is a complicated task, which involves many factors that must be considered to ensure a fair and unbiased comparison. In this paper, we focus on the impact of stopping criteria in the comparison process. Their job is to stop the algorithms in such a way that each algorithm has a fair opportunity to solve the problem. Although they are not given much attention, they play a vital role in the comparison process. In the paper, we compared different stopping criteria with different settings, to show their impact on the comparison results. The results show that stopping criteria play a vital role in the comparison, as they can produce statistically significant differences in the rankings of evolutionary algorithms. The experiments have shown that in one case an algorithm consumed 50 times more evaluations in a single generation, giving it a considerable advantage when max gen was used as the stopping criterion, which puts the validity of most published work in question.
Keywords: evolutionary algorithms, stopping criteria, benchmarking, algorithm termination, algorithm comparison
Published in DKUM: 28.03.2025; Views: 0; Downloads: 2
 Full text (1,40 MB)
This document has many files! More... |
3. Benchmarking : primerjalna analiza v turizmuNadja Mlakar, Barbara Pavlakovič Farrell, 2025 Abstract: Učbenik "Benchmarking – Primerjalna analiza v turizmu" ponuja podroben vpogled v proces benchmarking analize, ki se uporablja za ocenjevanje in izboljšanje podjetij, organizacij in tudi turističnih destinacij. Avtorici najprej predstavita teoretične osnove benchmarkinga, vključno z definicijami, tipi in fazami analize. Učbenik se v drugem delu osredotoča na praktične primere, ki so jih izvedli študenti na Fakulteti za turizem Univerze v Mariboru. To omogoča bralcem, da razumejo, kako se teoretične koncepte aplicira v realnem svetu na realne primere. Vključeni so konkretni primeri benchmarking analize, ki obravnavajo različne turistične destinacije, kar ponuja dragocene vpoglede v uspešne prakse in strategije. Učbenik je zasnovan tako, da je učni pripomoček za študente in strokovnjake v turizmu ter hkrati spodbuja uporabo benchmarkinga kot orodja za izboljšanje turistične ponudbe in trajnostnega razvoja. S tem učbenik prispeva k razumevanju in implementaciji benchmarkinga v turistični industriji.
Keywords: benchmarking analiza, turizem, primerjava, turistične destincije, študije primerov
Published in DKUM: 04.02.2025; Views: 0; Downloads: 27
Full text (17,80 MB)
This document has many files! More... |
4. Model za sistematično ocenjevanje kakovosti storitev javnega prevoza : magistrsko deloKlemen Košič, 2021, master's thesis Abstract: V magistrskem delu sem na podlagi pregleda literature mednarodnih standardov, priročnikov in raziskav razvil model za ocenjevanje kakovosti javnega prevoza. Model predlaga nov koncept kvalitete storitev: kvalitetna storitev javnega prevoza je storitev, ki ponuja čim višjo občuteno hitrost potovanja za čim več potencialnih uporabnikov s čim manj resursi. Predlaga tudi nov konceptualni okvir: elementi kakovosti so horizontalno klasificirani na fizične/objektivne in psihične/subjektivne; vertikalno pa so klasificirani na elemente postaje, linije in omrežja. Model je namenjen primerjavi omrežij javnega prevoza, vrednotenju sprememb omrežja in za izvajanje monitoringa kvalitete storitev.
Keywords: ocenjevanje kakovosti storitev, prometni sistem, trajnostna mobilnost, javni prevoz, postaja, linija, omrežje, potovalne navade, EN 13816:2003, primerjalna evalvacija (ang. benchmarking)
Published in DKUM: 17.01.2022; Views: 1027; Downloads: 136
Full text (12,46 MB) |
5. Transformacija organiziranosti mikro podjetja v malo podjetjeSara Kremsar, 2019, undergraduate thesis Abstract: Organizacije se morajo vključevati v zunanje okolje, ki je dinamično, saj se v tem okolju neprestano odvijajo spremembe, ki jih je težko predvidevati. Če se organizacije pravočasno in ustrezno ne odzovejo na spremembe, na katere ni mogoče vplivati, se lahko čez čas pojavijo težave, ki vplivajo na uspešnost poslovanja organizacije.
Za preprečevanje nastajanja omenjenih težav v organizacijah je znotraj podjetja pomemben vidik prenova poslovnih procesov. Prenova in reorganizacija lahko podjetju predstavljata velik izziv, saj sta to dolgotrajna postopek. Pred prenovo morajo podjetja ugotoviti, ali je prenova poslovnih procesov rešitev za omenjene težave, zato morajo v začetnih fazah prenove pregledati, popisati in analizirati procese. Kasneje pa je treba te procese preučiti in določiti, kateri procesi so potrebni prenove oziroma katere je treba na novo vpeljati ali celo umakniti iz poslovanja.
V delu je izdelana primerjalna analiza mikro podjetja z malim podjetjem z namenom prenove procesov v podjetju Docentric, d. o. o. Predstavljena je metoda procesnega benchmarkinga, za katero smo dokazali, da je kot managerska metoda koristna tudi v primeru prenove procesov zaradi rasti podjetja.
Rezultati diplomskega dela so posnetek stanja, narejena analiza in predstavljeni predlogi organizacijske transformacije izbranega podjetja. Predlog organizacijske transformacije iz mikro v malo podjetje lahko služi kot model drugim podjetjem, ki se bodo v prihodnje želela transformirati pod podobnimi pogoji.
Keywords: − modeliranje poslovnih procesov, − procesni benchmarking, − analiza poslovnih procesov, − prenova poslovnih procesov.
Published in DKUM: 16.10.2019; Views: 1447; Downloads: 220
Full text (1,57 MB) |
6. Merjenje učinkovitosti in uspešnosti davčnega organa po metodi benchmarkingSanja Krautberger, 2018, master's thesis Abstract: Trendi vzpostavljanja učinkovitosti in uspešnosti sistemov delovanja organizacij, so se v zadnjih desetletjih močno okrepili v številnih državah po svetu. Trendi so omogočili organizacijam da so s pomočjo orodja imenovanega benchmarking prišli do uspešnejše in učinkovitejše presoje.
Orodje benchmarking se uporablja za več različnih namenov. Predvsem gre za orodje, ki omogoča merjenje, učenje in izboljšave.
Za benchmarking je pomembno, kako načrtujemo, kako merimo učinkovitost in uspešnost ter vpeljava samega orodja v organizacijo.
Benchmarking že kot sama beseda, je dokaj ne razširjen pojem v Sloveniji. Pri večini Slovenskih organizacij lahko zasledimo, da se benchmarking ne uporablja kot orodje čemur je namenjeno, temveč lahko že iz literature zasledimo, da je benchmarking le priložnostno orodje za primerjavo izdelkov, procesov, storitev, strategij, rezultatov, ipd. V Sloveniji se organizacije osredotočajo zgolj na to, kaj in kako narediti, da dosežejo vodilen in vodstveni položaj.
Uporaba orodja benchmarking postaja vedno bolj pogosta. Večinoma jo lahko zasledimo v organizacijah na globalni ravni drugod po svetu. Skozi obdobja je razvidno, da njegova uporabnost prodira tudi v majhne države in v vse vrste organizacij. Za to smo lahko optimistični, da bo v prihodnje orodje imenovno benchmarking korenito prodrl na Slovenski trg in s tem pripomogel k uspešnejši in učinkovitejši državi.
Magistrsko delo je sestavljeno iz dveh delov in sicer iz teoretičnega in empiričnega dela. V prvem delu se bomo s pomočjo literature, večinoma tuje, seznanili s pojmom benchmarking. V drugem delu pa bomo proučili orodje, ki ga bomo uporabili na dejanskem primeru, in sicer na davčnem organu Republike Slovenije.
Keywords: benchmarking, davčni organ, orodje za merjenje, merjenje učinkovitost in uspešnosti, strategije, primerjave, učenje od najboljših praks, upravljanje učinkovitosti.
Published in DKUM: 20.12.2018; Views: 1469; Downloads: 173
Full text (2,28 MB) |
7. PRIMERJALNA ANALIZA REGIONALNIH JAVNIH ZAVODOV ZA ZAPOSLOVANJE V EVROPSKI UNIJIAlenka Golubič, 2016, master's thesis Abstract: Trenutna gospodarska in finančna kriza ima velike posledice za zaposlenost v Evropski uniji. Brezposelnost je problem večine držav članic Evropske unije, zato se javni zavodi za zaposlovanje soočajo s številnimi izzivi, ki so povezani s spodbujanjem oživitve evropskega trga dela. Glavni cilj magistrske naloge je bil ponuditi orodje, s katerim bi bilo mogoče izboljšati delovanje v analizo vključenih zavodov za zaposlovanje na petih tematskih področjih v osmih regijah Evropske unije. Te so: Štajerska (Avstrija), Bavarska (Nemčija), La Rioja (Španija), Murcia (Španija), Sardinija (Italija), Bucuresti Ilfov (Romunija), Vest (Romunija) in Vzhodna Slovenija (Slovenija). Pet tematskih področij, ki smo jih analizirali v magistrskem delu, se nanaša na ključna področja delovanja zavodov za zaposlovanje v Evropski uniji in vključujejo: upravljanje zavodov za zaposlovanje, izbiro usmerjenosti, ujemanje ponudbe in povpraševanja, vključitev ranljivih skupin na trg dela in individualno zaposljivost.
V magistrski nalogi smo s pomočjo makroekonomske analize prikazali stanje gospodarske razvitosti vseh osmih regij ter definirali možnosti za izboljšave v okviru vseh petih tematskih področij. Z anketnim vprašalnikom, ki smo ga poslali izbranim zavodom za zaposlovanje v omenjenih osem regij EU, pa smo pridobili informacije o dobrih praksah delovanja teh zavodov. Na podlagi rezultatov cluster analize in benchmarking analize dobrih praks, magistrska naloga podaja matriko priporočil, v kateri je prikazano, katere dobre prakse bi bilo smiselno prenesti med regijami po različnih tematskih področjih. Največ je v matriki priporočil zapisanih predlogov za tiste regije, ki so v makroekonomski analizi prikazale največ vrzeli in s tem možnosti za izboljšave.
Keywords: trg dela, zaposlenost, brezposelnost, gospodarska kriza, benchmarking
Published in DKUM: 03.02.2017; Views: 1370; Downloads: 183
Full text (554,90 KB) |
8. PRIMERJALNA ANALIZA PROCESOV INVESTICIJSKEGA VZDRŽEVANJA V DVEH PODJETJIHJan Bobnar, 2016, bachelor thesis/paper Abstract: V diplomski nalogi smo obravnavali problematiko procesa investicijskega vzdrževanja nepremičnin. Problem je v namreč v tem, da je proces dolg oziroma časovno in stroškovno neučinkovit. Upravniki imajo problem zaradi dolgotrajnega pridobivanja soglasja za sprejem načrta vzdrževanja. Problematično je usklajevanje medsebojnih interesov upravnika in etažnih lastnikov, kar ima lahko negativne vplive na kakovost izvajanja procesa in vzdrževalnih del. Zaradi tega prihaja do nepotrebnih zamud in dodatnih stroškov, kar pomeni slabši ugled in manjšo konkurenčnost na trgu.
Potrebne podatke o procesih investicijskega vzdrževanja smo pridobili z intervjuji in študijem razpoložljivih virov. V orodju Aris Business Architect smo modelirali proces večjega in manjšega podjetja ter proces, kot je opredeljen v stanovanjskem zakonu. Uporabili smo EPC tehniko. Na podlagi pridobljenih podatkov smo nato opravili primerjalno analizo procesov investicijskega vzdrževanja večstanovanjskih stavb. Primerjalno analizo smo naredili tako, da smo med seboj primerjali procesne korake in ostale poslovne objekte v procesih.
Po opravljeni primerjalni analizi pa smo podali predlog prenove procesov. Prenovljeni proces je generalni predlog, ki ga lahko uporabijo tako v večjem kot manjšem podjetju oziroma nepremičninsko podjetje katerekoli velikosti in obsega poslovanja. Prišli smo do takšne rešitve, ki omogoča izboljšanje časovne in stroškovne učinkovitosti procesa.
Keywords: poslovni proces, benchmarking, investicijsko vzdrževanje, prenova procesov
Published in DKUM: 24.11.2016; Views: 1548; Downloads: 141
Full text (1,77 MB) |
9. Uvajanje električnega avtomobila na trgBenjamin Gönc, 2016, undergraduate thesis Abstract: Avtomobilski promet predstavlja težave v velikih mestih z različnih vidikov. Visoka stopnja onesnaženosti ogroža zdravje prebivalcev, pogosti so zastoji, prosta parkirna mesta pa so prava redkost. Z namenom, da bi zmanjšali emisije in odvisnost od fosilnih goriv, so mnoge države pričele z vzpodbujanjem prehoda na alternativne pogone in tudi vsi največji avtomobilski proizvajalci so že razvili vsaj en model električnega vozila ter ga tudi predstavili trgu. Prodaja električnih vozil je v zadnjih letih bliskovito naraščala, vendar je do množine uveljavitve tovrstnih vozil še dolga pot. V diplomski nalogi smo preverili trende na evropskem trgu in tudi ovire, s katerimi se soočajo proizvajalci. Potencialne kupce k prehodu na električni pogon ni lahko prepričati kljub številnim prednostim, ki jih ponujajo električna vozila. Proces razvoja in uvajanja omenjenih vozil bomo podrobneje spoznali preko snovanja majhnega električnega avtomobila Odsev 15, ki ga je razvilo društvo snovalcev električnih vozil.
Keywords: majhno električno vozilo, uvajanje, trendi prodaje, benchmarking analiza, souporaba
Published in DKUM: 22.11.2016; Views: 2184; Downloads: 251
Full text (2,61 MB) |
10. Razvoj orodja za presojo sistema varnosti in zdravja pri deluSimon Bajc, 2016, master's thesis/paper Abstract: Namen magistrskega dela je izdelava avtorskega teoretičnega modela in praktičnega orodja za presojo stanja dokumentacije na področju varnosti in zdravja pri delu, ki bo kot motivacijski vzvod vodilo podjetja v izboljšave in uspešnost. Mikro in majhna podjetja so izjemno pomemben nosilec gospodarske rasti, inovativnosti in zaposlovanja. Eno izmed glavnih navodil članicam Evropske unije je načelo »Najprej pomisli na mala podjetja!«. Še posebej manjši poslovni subjekti so pod stalnim vplivom raznih oblik zunanjih in notranjih nevarnosti, incidentov in kriznih dogodkov. Z našim pristopom želimo doseči dvig ravni zavedanja managementa, saj se splača vlagati v preventivo zaradi varnosti (z vidika obstoja podjetja). Razvili smo enostavno spletno aplikacijo, orodje managementa kakovosti, ki ga lahko podjetniki uporabljajo za samopresojo ali pa se z njim izvede ocenjevanje v sodelovanju s strokovnimi službami. V orodje smo aplicirali metodo managementa kakovosti »benchmarking« in določili robne pogoje uporabe. Kot dodatno možnost smo za potencialne naročnike ocenjevanja uvedli možnost stroškovne analize in primerjave z ostalimi vzorci povprečnih stroškov v bazi podatkov. Ne glede na dejstvo, da smo že na samem začetku omejeni s postopno izgradnjo baze in trenutno nizkim številom že ocenjenih in validiranih podjetij, smo lahko že na osnovi dosedanjega empiričnega dela pridobili nekaj zanimivih ugotovitev in odgovorov na raziskovalna vprašanja. Ugotavljamo, da se odgovorne osebe v mikro in majhnih podjetjih niso sposobne kritično samooceniti, saj je poznavanje zahtev zakonodaje na nizkem nivoju. Ugotavljamo tudi, da imajo podjetja z uvedenim sistemom vodenja kakovosti bistveno boljše povprečne rezultate ocen. Prepričani smo, da bo naša metodologija pomembno vplivala na zagotavljanje varnostne kulture in na humanizacijo delovnih razmer v podjetjih. Aplikacija OHS-check© prinaša nov motivacijski pristop za sistemsko obvladovanje dokumentacije v poslovnih okoljih malih podjetij. Največjo učinkovitost sistema varnosti in zdravja pri delu nam prvenstveno prinašajo naložbe v ključne dejavnike varnosti (tehnologija, organizacija, kadri). Varnost je eden od pomembnih elementov kakovosti.
Keywords: Management varnosti in zdravja pri delu, mala in srednja podjetja (MSP), sistemski pristop, notranja presoja, benchmarking, orodje za stalne izboljšave.
Published in DKUM: 04.07.2016; Views: 1503; Downloads: 154
Full text (2,39 MB) |
