Das Training neuronaler Netzwerke (supervised learning) hat zwei Ziele: Die Reduktion des Trainingsfehlers (Performance auf den Trainingsdaten) sowie die Reduktion des Generalisierungsfehlers (Performance für Input außerhalb der Trainingsdaten). In diesem Workshop beschäftigen wir uns mit beiden Zielen. Dafür besprechen wir zunächst verschiedene Optimierungsverfahren die für das Training benutzt werden, und diskutieren anschließend Regularisierungstechniken, die sogenanntes overfitting vermeiden sollen.
Der Workshop beinhaltet eine interaktive Komponente. Dafür sind Grundkenntnisse in Python erforderlich.
Ruder S., An Overview of Gradient Descent Optimization Algorithms. arXiv, Jan. 2016.
Ruder S., An Overview of Gradient Descent Optimization Algorithms. Blogeintrag, Jan. 2016.