Know-Center Experte Dr. Bernhard Geiger wurde vom ZIM (Zentrum für Informationsmodellierung) eingeladen, eine Online-Vorlesung zum Thema „Understanding Neural Networks with Information Theory“ zu halten.
Neural networks are among the most powerful and the least understood machine learning architectures. Recently, information theory has been used to open these proverbial ‚black boxes‘. This talk starts with a brief, superficial introduction to neural networks before giving an overview of recent information-theoretic approaches to understand and characterize neural networks. Finally, we will investigate how the importance of individual neurons can be quantified with information quantities.
Neuronale Netze gehören zu den leistungsfähigsten und am wenigsten verstandenen maschinellen Lernarchitekturen. In letzter Zeit wurde die Informationstheorie benutzt, um diese sprichwörtlichen „Black Boxes“ zu öffnen. Dieser Vortrag beginnt mit einer kurzen Einführung in neuronale Netze, ehe es einen Überblick über die jüngsten informationstheoretischen Ansätze zum Verständnis und zur Charakterisierung neuronaler Netze gibt. Schließlich wird untersucht, wie die Bedeutung einzelner Neuronen mit Hilfe von Informationsmengen quantifiziert werden kann.
Lecture Details: