Proseminar: Biologisch inspirierte neuronale Netze

Allgemeine Informationen zu Proseminaren

Kursinhalte und Themen im WiSe 2020/21

In diesem Seminar schlagen wir die Brücke von der biophysikalischen Funktionsweise von Neuronen über lokale Lernmechanismen hin zu bio-inspirierten Algorithmen und neuromorphischer Hardware. Wir legen die Grundlagen um zu verstehen, wie aktuelle Fortschritte in diesem Forschungsgebiet zu außerordentlich effizienten KI Methoden führen. Im ersten Themenabschnitt des Seminars (Neuronenmodelle) betrachten wir die Modellbildung für individuelle Neuronen und die zunehmende Simplifizierung hin zu Neuronenmodellen im KI-Mainstream. Im zweiten Themenabschnitt (Lernen durch Plastizität und Homeostase) behandeln wir Lernmechanismen zwischen individuellen Neuronen und in gesamten Netzen, die im Gegensatz zu Backpropagation auf lokalen Änderungen basieren. Wir betrachten dabei ihre Entdeckung, sowie ihre Modellierung. Im dritten Themenabschnitt (Bio-inspierte neuronale Netze) bringen wir Aspekte aus den ersten beiden Abschnitten in die Anwendung und erforschen wie aktuelle Gebiete in der bio-inspirierten KI zu neuen Fortschritten führen.

1. Neuronenmodelle
   1. Biophysik von Neuronen und das Hodgkin-Huxley Modell
      Wie funktionieren Neuronen auf biophysikalischer Ebene und wie leiten sie Informationen weiter?
   2. Spike-Aktivität unterschiedlicher Neuronen und das Izhikevich Modell
      Wie verhalten sich unterschiedliche Neuronen im Hirn und wie kann man sie simulieren?
   3. Künstliche Neuronen: Raten-basierte Modelle mit Transferfunktion
      Wie wurden die Modelle für heutige künstliche neuronale Netze entwickelt?
2. Lernen durch Plastizität und Homeostase
   1. Synaptische Plastizität und Hebb'sche Lernregel
      Wie funktioniert Lernen auf synaptischer Ebene und was waren die ersten Ansätze, dies zu simulieren?
   2. Synaptische homeostatische Plastizität und die BCM-Regel
      Wenn zwei Neuronen sich stärker miteinander vernetzen, wie verhindern sie, dass ihre Aktivität ins unendliche wächst?
   3. Intrinsische homeostatische Plastizität
      Wenn sich Teile eines neuronalen Netzes stärker miteinander verbinden oder Subnetzwerke ausfallen (z.B. bei einem Schlaganfall), wie schaffen sie es, die Gesamtaktivität des Netzwerks zu stabilisieren?
3. Bio-inspirierte Neuronale Netze
   1. Self-organizing feature maps
      Wie kann Klassifizierung ohne vorgegebene Klassen biologisch-plausibel funktionieren?
   2. Memory Cells und Reservoir Computing
      Wie kann ein Speichern von Information mit rekurrenten (rückgekoppelten) neuronalen Netzen biologisch-plausibel realisiert werden?
   3. Spiking neural networks
      Welche Ansätze gibt es neuronale Netze biologisch-plausibel zu simulieren, was sind die mathematischen Unterschiede und welche Hardware wird dafür benötigt?