Institut für theoretische Informatik (ITI) - AiMat group

Proseminar: Biologisch inspirierte neuronale Netze

Biologisch inspirierte neuronale Netze (WS2020/2021)

November 2020 - März 2021

Seminarleiter

Jun.-Prof. Dr. Pascal Friederich

pascal friederich∂kit edu

M.Sc. Matthias Schniewind

matthias schniewindkit edu

Anmeldung

https://portal.wiwi.kit.edu/ys/3780

Kursinhalte auf Ilias

Aufgrund der aktuellen Lage wird diese Vorlesung im Wintersemester 2021 voraussichtlich weitgehend online stattfinden.

Aktuelle Infos wird es auf der Ilias Platform geben. Bitte melden Sie sich im Ilas Kurs an, um Zugriff auf die Seminarinhalte zu erhalten und aktuelle Informationen zu erhalten.

Fragen und Diskussionen

Zusätzlich zum Vorlesungsmaterial ist ein Diskussionsforum im Ilias Kurs angelegt, in dem Fragen beantwortet und Kursinhalte diskutiert werden können.

Organisatorische Fragen können auch per E-Mail an matthias schniewindkit edu gestellt werden.

Ort und Zeit

Ablauf des Seminars:

  • Einführungsveranstaltung: (voraussichtlich) Mittwoch, 04. November um 14:00-15:30 Uhr, voraussichtlich online.
  • Allgemeine thematische Einführung: (voraussichtlich) Donnerstag, 05. November um 10:00-11:00 Uhr, voraussichtlich online.
  • Besprechung (persönlich oder online) einer vorläufigen Gliederung mit dem Seminarleiter oder einem/einer StellvertreterIn: Themenblock 1: Ende November, Themenblock 2-3: Dezember
  • Besprechung (persönlich oder online) der vorläufigen Präsentation mit dem Seminarleiter oder einem/einer StellvertreterIn: Themenblock 1: Mitte Dezember, Themenblock 2-3: Januar
  • Vorträge: Voraussichtlich 3 Termine zu je 1,5 Stunden: Themenblock 1: Ende Dezember, Themenblock 2: Februar (Termine werden noch abgestimmt und bekanntgegeben)
  • Ausarbeitungen: Abgabe (elektronisch, pdf und LaTeX, oder IPython notebook) Ende März 2021 beim Seminarleiter

Voraussetzungen

Interesse an neuronalen Netzen und aktueller Forschung.

Geforderte Leistungen

Für eine erfolgreiche Teilnahme müssen folgende Leistungen erbracht werden:

  • Vortrag (20 Minuten) mit anschließender Diskussion (10 Minuten)
  • Schriftliche Ausarbeitung (5 Seiten, erstellt mit LaTeX oder alternativ als IPython notebook)
  • Anwesenheit bei allen Veranstaltungen

Die Note setzt sich aus dem Vortrag und der schriftlichen Ausarbeitung zusammen (50:50).

Kursinhalte:

In diesem Seminar schlagen wir die Brücke von der biophysikalischen Funktionsweise von Neuronen über lokale Lernmechanismen hin zu bio-inspirierten Algorithmen und neuromorphischer Hardware. Wir legen die Grundlagen um zu verstehen, wie aktuelle Fortschritte in diesem Forschungsgebiet zu außerordentlich effizienten KI Methoden führen.

1. Neuronenmodelle:

Im ersten Themenabschnitt des Seminars betrachten wir die Modellbildung für individuelle Neuronen und die zunehmende Simplifizierung hin zu Neuronenmodellen im KI-Mainstream.

  • 1.1 Biophysik von Neuronen und das Hodgkin-Huxley Modell

    Wie funktionieren Neuronen auf biophysikalischer Ebene und wie leiten sie Informationen weiter?

    Python-level: 1/3

  • 1.2 Spike-Aktivität unterschiedlicher Neuronen und das Izhikevich Modell

    Wie verhalten sich unterschiedliche Neuronen im Hirn und wie kann man sie simulieren?

    Python-level: 2/3

  • 1.3 Künstliche Neuronen: Raten-basierte Modelle mit Transferfunktion

    Wie wurden die Modelle für heutige künstliche neuronale Netze entwickelt?

    Python-level: 2/3

2. Lernen durch Plastizität und Homeostase:

Im zweiten Themenabschnitt behandeln wir Lernmechanismen zwischen individuellen Neuronen und in gesamten Netzen, die, im Gegensatz zu Backpropagation auf lokalen Änderungen basieren. Wir betrachten ihre Entdeckung, sowie ihre Modellierung.

  • 2.1 Synaptische Plastizität und Hebbsche Lernregel

    Wie funktioniert Lernen auf synaptischer Ebene und was waren die ersten Ansätze dies zu simulieren?

    Python-level: 2/3

  • 2.2 Synaptische homeostatische Plastizität und die BCM-Regel

    Wenn zwei Neuronen sich stärker miteinander vernetzen, wie verhindern sie, dass ihre Aktivität ins unendliche wächst?

    Python-level: 2/3

  • 2.3 Intrinsische homeostatische Plastizität

    Wenn sich Teile eines neuronalen Netzes stärker miteinander verbinden oder Subnetzwerke ausfallen (z.B. bei einem Schlaganfall), wie schaffen sie es die Gesamtaktivität des Netzwerks zu stabilisieren?

    Python-level: 3/3

3. Bio-inspirierte Neuronale Netze:

Im dritten Themenabschnitt bringen wir Aspekte aus den ersten beiden Abschnitten in die Anwendung und erforschen wie aktuelle Gebiete in der bio-inspirierten KI zu neuen Fortschritten führen.

Da die letzten zwei Themenbereiche stark auf Neuronenmodellen aufbauen, werden die Vorträge des ersten Themenbereichs schon etwas früher stattfinden. Die Ausarbeitungen sind für alle Themen natürlich erst zum Ende des Semesters einzureichen.

  • 3.1 Self-organizing feature maps

    Wie kann Klassifizierung ohne vorgegebene Klassen biologisch-plausibel funktionieren?

    Python-level: 3/3

  • 3.2 Memory Cells und Reservoir Computing

    Wie kann ein Speichern von Information mit rekurrenten (rückgekoppelten) neuronalen Netzen biologisch-plausibel realisiert werden?

    Python-level: 3/3

  • 3.3 Spiking neural networks

    Welche Ansätze gibt es neuronale Netze biologisch-plausibel zu simulieren, was sind die mathematischen Unterschiede und welche Hardware wird dafür benötigt?

    Python-level: 1-3/3 (je nach Umsetzung)

 

Seminarziele

Qualifikationsziele

Studierende sind in der Lage, sich in ein wissenschaftliches Themengebiet (hier: Teilgebiet des maschinellen Lernens) einzuarbeiten und eine Präsentation sowie schriftliche Ausarbeitung für eine bestimmte Zielgruppe (hier: Informatikstudierende) zu erstellen.

Lernziele

Die Lernziele beinhalten

  • Methodisch
    • Identifizierung nützlicher Quellen zur wissenschaftlichen Recherche
    • Selbstständige Einarbeitung in ein wissenschaftliches Thema
    • Ausarbeitung einer zielgruppengerechten Präsentation
    • Schriftliche Ausarbeitung des Themengebiets
    • Konstruktive Kritik an wissenschaftlichen Vorträgen von Mitstudierenden
  • Inhaltlich
    • Überblick über die Grundlagen des maschinellen Lernens
    • Vertiefter Einblick in das selbstgewählte Thema

Sprache
Deutsch

Terminübersicht

Termin 1 (04.11.2020):

  • Einführung
  • Organisatorisches
  • Methodische Grundlagen

Termin 2 (wird noch bekanntgegeben):

  • Thematische Einführung

Termin 3 (wird noch bekanntgegeben):

  • Vorträge des Themenblock 1

Termin 4 (wird noch bekanntgegeben):

  • Vorträge des Themenblock 2

Termin 5 (wird noch bekanntgegeben):

  • Vorträge des Themenblock 3

Abgabe der schriftlichen Ausarbeitungen
    Elektronisch (pascal friederich∂kit edu)
    Einzureichen sind ein pdf Dokument sowie die zur Erstellung notwendigen LaTeX Dateien, oder alternativ ein IPython notebook mit einem Equivalent zu 5 Seiten Text (ohne Code Blöcke), inklusive eines Environment files für conda oder pip.

Sonstiges

Siehe Allgemeine Informationen