„Aktivierungsfunktionen sind das nichtlineare Herz neuronaler Netze: sie verwandeln lineare Kombinationen in die Fähigkeit, komplexe, nichtlineare Zusammenhänge zu modellieren. Ihre Wahl bestimmt nicht nur die Ausdruckskraft eines Modells, sondern beeinflusst auch die Stabilität und Effizienz des Lernens — ob Gradienten verschwinden oder erhalten bleiben, ob Aktivierungen sparsam oder dicht sind, ob Optimierer schnell konvergieren oder ins Stocken geraten. Praktisch heißt das: saturierende Funktionen wie Sigmoid begünstigen glatte Wahrscheinlichkeitsausgaben, führen aber leicht zu vanishing gradients; ReLU und seine Varianten bieten Einfachheit und Sparsamkeit, bringen jedoch toten Neuronen und Bruchstellen ins Spiel; Softmax normalisiert Ausgaben für Klassifikation. Die beste Aktivierungsfunktion ist selten universell — sie ist eine pragmatische Wahl, die mit Architektur, Initialisierung, Regularisierung und Zielaufgabe in Einklang stehen muss.“
