Wissenschaftliche Arbeiten

Hier finden Sie von Know-Center MitarbeiterInnen verfasste wissenschaftliche Abschlussarbeiten

2011

Juffinger Andreas

Focused Crawling in the Context of Digital Libraries i

Dipl-alt

Dipl Ing
Das automatische Auffinden von Dokumenten in digitalen Bibliotheken und dem World Wide Web gewinnt Aufgrund der riesigen Datenmengen zunehmend an Bedeutung. Focused Crawling hat zum Ziel nur themenrelevante Dokumente abzufragen und wird deshalb hauptsächlich im Bereich von themenspezifischen Suchmaschinen eingesetzt. Crawler werden auch dazu verwendet um das World Wide Web nach Daten von individuellem Interesse abzusuchen. Im Umfeld von digitalen Bibliotheken kommt Focused Crawling beim Erzeugen von Dokumenten Sammlungen und zur Verwaltung dieser zum Einsatz. Focused Crawling, und damit auch diese Arbeit, gliedert sich in zwei Teilbereiche, einem Web Mining Teil und einen Strategie-Planungs Teil. Der Web Mining Teil behandelt dabei auftretende Probleme im Bereich von Skalierung und Performanz. Das in dieser Arbeit vorgestellte KFetch WebMiner System, ein erweiterbares und flexibles Crawling System, bietet Lösungen fuer die wichtigsten Probleme im Bereich von Web Mining an. Der zweite Teil der Arbeit befasst sich mit Information Retrieval und Maschinellem Lernen im Bereich von Focused Crawling. Verschiedene Crawling Algorithmen werden hier miteinander verglichen und der Einfluss von "Whitelist" und "Blacklists" wird untersucht. Es hat sich herausgestellt, dass die Verwendung von "Whitelists" zu einer Verbesserung führen kann. Des Weiteren wird ein Crawling Algorithmus vorgestellt, der auf Reinforcement Learning mit Funktions Approximation und Vorwissen basiert.
Kontakt Karriere

Hiermit erkläre ich ausdrücklich meine Einwilligung zum Einsatz und zur Speicherung von Cookies. Weiter Informationen finden sich unter Datenschutzerklärung

The cookie settings on this website are set to "allow cookies" to give you the best browsing experience possible. If you continue to use this website without changing your cookie settings or you click "Accept" below then you are consenting to this.

Close