Masterseminar Kognitive Systeme/Cognitive Systems (SS 2023)

General Information

  • This seminar is open only for students of the bachelor programs AI and SoSySc and master programs CitH and AI.
  • As a bachelor student you have to pass our course AI-KI-B, as a master student you have to pass either AI-KI-B or KogSys-ML-B/M succesfully to be able to participate in the seminar.
  • There will be a limit of 25 students that are able to participate in the seminar.
  • You have to apply for this seminar in a central application procedure. More info in the respective VC course.
  • You find administrative information at UnivIS.
  • Participants should sign up for the course in the virtual campus.
  • The course is usually offered in the summer term.

Topic: Neuro-Symbolic AI

English description (shortened) below.

In der Künstlichen Intelligenz existieren zwei gro?e Familien von Ans?tzen - wissensbasierte und datengetriebene Ans?tze. Der zweite Bereich, maschinelles Lernen, ist aktuell vor allem durch Deep Learning im Zentrum der Aufmerksamkeit. Tiefe neuronale Netze ben?tigen sehr viele Daten und erzeugen kaum nachvollziehbare (implizite/blackbox) Modelle. Alternativ existieren interpretierbare (explizite/whitebox) Ans?tze des maschinellen Lernens, beispielsweise Entscheidungsb?ume und Induktive Logische Programmierung. Diese profitieren von wissensbasierten, expliziten, symbolischen Repr?sentationen und Kalkülen zum Schlussfolgern mittels Logik und Wahrscheinlichkeitsberechnungen

Die Notwendigkeit der expliziten Beschreibung von Merkmalen, Wissen und Regeln kann jedoch auch als Nachteil im Vergleich zum Ende-zu-Ende-Lernen neuronaler Netze aus Rohdaten gesehen werden. Aber auch maschinell gelernte neuronale Modelle bringen einige Einschr?nkungen mit sich, insbesondere hohe Anforderungen an die Menge und Qualit?t von Daten, hohen Annotationsaufwand, unerwünschte Biases, Anf?lligkeit gegenüber Anomalien und fehlende Nachvollziehbarkeit. Symbolische Ans?tze k?nnen dabei helfen, mit diesen Limitationen umzugehen und bringen Eigenschaften mit wie Erkl?rbarkeit, Robustheit, Anpassungsf?higkeit, Verallgemeinerbarkeit, Abstraktion, Modellierung von Alltagswissen (Common Sense) und Kausalit?t. Aktuelle Forschungsarbeiten im Bereich der neuro-symbolischen Künstlichen Intelligenz (neuro-symbolic AI) gewinnen daher an Wichtigkeit. Es werden insbesondere verschiedene M?glichkeiten erforscht, wie beide Bereiche kombiniert werden k?nnen. Zus?tzlich werden kognitionswissenschaftliche Erkenntnisse genutzt, um die Plausibilit?t und Nützlichkeit solcher hybrider Ans?tze zu stützen. Neuro-symbolische Künstliche Intelligenz ist somit eine der zentralen Forschungsthemen, um menschzentrierte und sichere intelligente Systeme zu bauen (z.B. in der Medizin, im Umweltschutz, für die Mobilit?t oder in der industriellen Produktion).

Das Seminar setzt sich mit Theorien und Methoden auseinander, die die neuronalen und symbolischen Welten kombinieren. Spezielle Themen umfassen: hybride Architekturen und neuro-symbolische Integration, symbolische Repr?sentation (Logik, Ontologien und Wissensgraphen), logisches Schlie?en (Inferenz, Theorembeweise und Planung auf symbolischen Repr?sentationen), Informationsinterpretation, Konzepte und mentale Modelle sowie Erkl?rbarkeit. Das Seminar behandelt darüber hinaus kognitive Theorien und Experimente, die neuro-symbolische Ans?tze stützen oder evaluieren.

English:

The seminar deals with theories and methods that combine data-driven, neural approaches to machine learning and knowledge-based, symbolic approaches.Specific topics include: hybrid architectures and neuro-symbolic integration, symbolic representation (logic, ontologies, and knowledge graphs), logical reasoning (inference, theorem proofs, and planning on symbolic representations), information interpretation, concepts and mental models, and explainability.The seminar also covers cognitive theories and experiments that support or evaluate neuro-symbolic approaches.

 

Recommended Reading / Links / Topics

  • Hitzler, P., & Sarker, M. (2022). Neuro-Symbolic AI= Neural+ Logical+ Probabilistic AI. Neuro-Symbolic Artificial Intelligence: The State of the Art, 342, 173.
  • De Raedt, L., Duman?i?, S., Manhaeve, R., & Marra, G. (2021). Fromstatistical relational to neural-symbolicartificialintelligence. In Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on ArtificialIntelligence (pp. 4943-4950).
  • Wagner, B., & d'AvilaGarcez, A. S. (2021). Neural-symbolicintegrationforfairness in AI. In CEUR Workshop Proceedings (Vol. 2846).
  • Evans, R., Hernández-Orallo, J., Welbl, J., Kohli, P., & Sergot, M. (2021). Making sense of sensory input. Artificial Intelligence, 293, 103438.
  • Besold, T. R., d’AvilaGarcez, A., Bader, S., Bowman, H., Domingos, P., Hitzler, P., ... & Zaverucha, G. (2021). Neural-Symbolic Learning and Reasoning: A Survey and Interpretation. In Neuro-SymbolicArtificialIntelligence: The State of the Art (pp. 1-51). IOS Press.
  • Skryagin, A., Stelzner, K., Molina, A., Ventola, F., Yu, Z., & Kersting, K. (2020). Sum-productlogic: integratingprobabilisticcircuitsintodeepproblog. In Working Notes of the ICML 2020 Workshop on Bridge BetweenPerception and Reasoning: Graph Neural Networks and Beyond.
  • Mao, J., Gan, C., Kohli, P., Tenenbaum, J. B., & Wu, J. (2019). The neuro-symbolicconceptlearner: Interpretingscenes, words, and sentencesfromnaturalsupervision. In International Conference on Learning Representations.
  • Evans, R., &Grefenstette, E. (2018). Learning explanatory rules from noisy data. Journal of Artificial Intelligence Research, 61, 1-64.

Previous Seminars

Bachelor/Master-Seminar: Explainable Artificial Intelligence:  [WS 19/20] [WS 20/21] [WS22/23]

KI-Seminare (KI gestern, heute, morgen): [WS 15/16] [WS 16/17] [WS 17/18] [WS 18/19]

Bachelor Seminare: [WS 04/05] [WS 05/06] [WS 06/07] [WS 07/08] [WS 08/09] [WS 09/10]  [WS 10/11]    [SS 11] [WS 11/12] [WS 12/13] [WS13/14]

Master Seminare: [SS 05] [SS 06] [SS 08] [SS 09] [WS 09/10] [SS 10]  [WS 11/12] [WS 12/13] [WS 13/14] [SS 20] [SS 21][SS22]

Reading Clubs:

  • WS 14/15: Cognitive Models for Number Series Induction Problems  [Archiv Page]
  • SS 2014: Experimenting with a Humanoid Robot - Programming NAO to (Inter-)Act  [Archiv Page
  • SS 2013: An introduction into statistic data analysis with R  [Archiv Page
  • SS 2012: Transfer Learning  [Archiv Page] 
  • SS 2011: Emotion Mining in Images and Text  [Archiv Page
  • SS 2010: Aspects of Cognitive Robotics [Archiv Page
  • SS 2009: Reading Club Decision Support Systems [Archiv Page
  • WS 08/09: Algebraic Foundations of Functional Programming (together with Theoretical Computer Science) [Archiv Page]  
  • SS 2008: Similarity (together with Statistics) [Archiv Page]
  • SS 2007: Automated Theorem Proving with Isabelle (together with Theoretical Computer Science) [Archiv Page]
  • SS 2006: Support Vector Machines [Archiv Page]