Proseminar: Biologisch inspirierte neuronale Netze
Allgemeine Informationen zu Proseminaren
Kursinhalte und Themen im WiSe 2020/21
In diesem Seminar schlagen wir die Brücke von der biophysikalischen Funktionsweise von Neuronen über lokale Lernmechanismen hin zu bio-inspirierten Algorithmen und neuromorphischer Hardware. Wir legen die Grundlagen um zu verstehen, wie aktuelle Fortschritte in diesem Forschungsgebiet zu außerordentlich effizienten KI Methoden führen. Im ersten Themenabschnitt des Seminars (Neuronenmodelle) betrachten wir die Modellbildung für individuelle Neuronen und die zunehmende Simplifizierung hin zu Neuronenmodellen im KI-Mainstream. Im zweiten Themenabschnitt (Lernen durch Plastizität und Homeostase) behandeln wir Lernmechanismen zwischen individuellen Neuronen und in gesamten Netzen, die im Gegensatz zu Backpropagation auf lokalen Änderungen basieren. Wir betrachten dabei ihre Entdeckung, sowie ihre Modellierung. Im dritten Themenabschnitt (Bio-inspierte neuronale Netze) bringen wir Aspekte aus den ersten beiden Abschnitten in die Anwendung und erforschen wie aktuelle Gebiete in der bio-inspirierten KI zu neuen Fortschritten führen.
- Neuronenmodelle
- Biophysik von Neuronen und das Hodgkin-Huxley Modell
Wie funktionieren Neuronen auf biophysikalischer Ebene und wie leiten sie Informationen weiter? - Spike-Aktivität unterschiedlicher Neuronen und das Izhikevich Modell
Wie verhalten sich unterschiedliche Neuronen im Hirn und wie kann man sie simulieren? - Künstliche Neuronen: Raten-basierte Modelle mit Transferfunktion
Wie wurden die Modelle für heutige künstliche neuronale Netze entwickelt?
- Biophysik von Neuronen und das Hodgkin-Huxley Modell
- Lernen durch Plastizität und Homeostase
- Synaptische Plastizität und Hebb'sche Lernregel
Wie funktioniert Lernen auf synaptischer Ebene und was waren die ersten Ansätze, dies zu simulieren? - Synaptische homeostatische Plastizität und die BCM-Regel
Wenn zwei Neuronen sich stärker miteinander vernetzen, wie verhindern sie, dass ihre Aktivität ins unendliche wächst? - Intrinsische homeostatische Plastizität
Wenn sich Teile eines neuronalen Netzes stärker miteinander verbinden oder Subnetzwerke ausfallen (z.B. bei einem Schlaganfall), wie schaffen sie es, die Gesamtaktivität des Netzwerks zu stabilisieren?
- Synaptische Plastizität und Hebb'sche Lernregel
- Bio-inspirierte Neuronale Netze
- Self-organizing feature maps
Wie kann Klassifizierung ohne vorgegebene Klassen biologisch-plausibel funktionieren? - Memory Cells und Reservoir Computing
Wie kann ein Speichern von Information mit rekurrenten (rückgekoppelten) neuronalen Netzen biologisch-plausibel realisiert werden? - Spiking neural networks
Welche Ansätze gibt es neuronale Netze biologisch-plausibel zu simulieren, was sind die mathematischen Unterschiede und welche Hardware wird dafür benötigt?
- Self-organizing feature maps