Abstract: V diplomskem delu obravnavamo porazdeljeno pomensko analizo dokumentov v programskem ogrodju Apache Hadoop. Opišemo sestavo in delovanje Hadoopa, predvsem porazdeljenega datotečnega sistema HDFS in pogajalca za vire YARN. Predstavimo različne metode za pomensko analizo besedil, osredotočimo se na linearno Dirichletovo razporeditev (LDA) in podamo različne metrike za ugotavljanje podobnosti med vektorji. Predstavimo implementacijo rešitve za iskanje podobnih dokumentov s pomočjo programske knjižnice Apache Mahout in razpravljamo o primerih z LDA-jem generiranih tem. Predstavimo rezultate meritev na porazdeljeni in ne-porazdeljeni različici in predstavimo nekaj predlogov za hitrejšo analizo.Keywords: pomenska analiza, porazdeljena obdelava, Hadoop, linearna Dirichletova razporeditev, procesiranje naravnega jezikaPublished in DKUM: 08.09.2016; Views: 1482; Downloads: 170 Full text (1,33 MB)
