Nachdem die Struktur und die Aufgabe des ​Gehirns erkannt wurden, versuchte man, sein Verarbeitungsprinzip zu formalisieren. Man stellte sich vor, die Arbeitsweise von ​Nervenzellen zu simulieren und dabei auch die Verarbeitungsleistung des Gehirns simulieren zu können.

Dies war jedoch ein Trugschluss. Es konnten Modelle über die Arbeitsweise einzelner und einem Netz von Nervenzellen erstellt werden, die auch gut funktionieren. Die Simulation des gesamten Gehirns liegt jedoch noch in weiter Ferne.

In den 1940er-Jahren wurden erste Anstrengungen unternommen, die Arbeitsweise von Nervenzellen zu modellieren. In diesem Zusammenhang schlugen die Mathematiker Warren McCulloch und Walter Pitts 1943 vor, eine Nervenzelle als ein logisches ​Schwellenwertelement zu betrachten, das zwei Zustände hat, nämlich die binären Zustände eins und null (Nervenzellen werde ich im Folgenden auch als Elemente bezeichnen).

Wie bei einer Nervenzelle gibt es mehrere Eingangsleitungen (xi, das i soll angeben, dass beispielsweise bei drei Eingangsleitungen x dreimal vorkommt: x1, x2 und x3) und eine Ausgangsleitung (y). Über die Eingangsleitungen werden Impulse in Form von Einsen und Nullen übertragen. Das Schwellenwertelement addiert die Impulse und gibt selbst einen Impuls (1) weiter, wenn diese Summe einen ​Schwellenwert s überschreitet. Das bedeutet, dass die ​Ausgangsleitung sich zunächst im Zustand null befindet und, nach dem Überschreiten des Schwellenwerts, in den Zustand eins übergeht. Die erwähnten ​Eingangsleitungen können sowohl erregende (1) als auch hemmende (–1) Wirkung haben. Dies ist die zugehörige mathematische Formel, die ich danach sofort erläutere:

• Das y steht für den Ausgabewert des Elements.

• (der griechische Buchstabe Theta) soll Folgendes berechnen: Wenn das Ergebnis in der Klammer größer oder gleich null ist, ist das Ergebnis der gesamten Berechnung 1, sonst null.

• zeigt an, dass eine Summe gebildet werden soll, nämlich von wi * xi.

• wi ist dabei die Synapsen-Stärke (+1 oder –1).

• xi sind die Eingabeleitungen (1 oder 0).

• s ist der Schwellenwert des Elements.

Das i steht dafür, dass es mehrere Eingabeleitungen zum Element gibt. Wäre i = 3, gäbe es x1, x2 und x3 sowie w1, w2 und w3.

Grafisch können Sie sich das, wie in Abbildung 2.1 gezeigt, veranschaulichen.

Mit der oben genannten Formel werden zunächst die Eingangssignale und die ​Synapsen-Gewichte multipliziert und danach summiert. Davon wird der Schwellenwert s subtrahiert. Der Körper des Elements steht für Theta. Er gibt nach y eine 1 weiter, wenn die Summe größer oder gleich null ist und eine Null, wenn die Summe kleiner als null ist.

Aus mehreren Elementen kann man beispielsweise das folgende Modell eines ​Netzwerks entwickeln (siehe Abbildung 2.2).

Wir erkennen an dieser Darstellung sehr schön das in Kapitel 1 behandelte Modell einer Nervenzelle.

McCulloch und Pitts konnten zeigen, dass man mit solchen »Nervenzellen« sämtliche ​​logischen Funktionen nachbauen kann. Insbesondere sind ein Und-Gatter, ein Oder-Gatter sowie ein Inverter möglich, die die Grundlage der anderen logischen Funktionen sind. Der Beitrag beider Mathematiker findet sich noch heute in den Modellen der Neuronalen Netze.

Wir betrachten nun drei Modelle für ein ​Und- sowie ​Oder-Gatter und einen ​Inverter. Solche logischen Elemente verarbeiten ​Wahrheitswerte, nämlich die Werte wahr und falsch. Die nachfolgende Tabelle 2.1 zeigt, wie diese Elemente Wahrheitswerte verarbeiten.

Wenn ein ​Und-Gatter zwei Wahrheitswerte verarbeitet, dann liegt an seinem Ausgang der Wahrheitswert wahr nur an, wenn an beiden Eingängen der Wahrheitswert wahr anliegt.

Ein ​Oder-Gatter gibt den Wahrheitswert wahr aus, wenn an einem der beiden Eingänge oder an beiden der Wahrheitswert wahr anliegt.

Der ​Inverter dreht den am Eingang anliegenden Wahrheitswert um.

Nun betrachte ich, wie die dargestellten, logischen Gatter mit Elementen nach McCulloch und Pitts abgebildet werden können.

Das Element in Abbildung 2.3 hat zwei Eingänge, die Gewichte befinden sich auf 1 und der Schwellenwert ist auf 2 eingestellt. Das Element leitet also eine 1 nur weiter, wenn beide Eingangsleitungen eine 1 führen.

Das Element in Abbildung 2.4 hat zwei Eingänge, die Gewichte befinden sich auf 1 und der Schwellenwert ist auf 1 eingestellt. Das Element leitet also eine 1 weiter, wenn x1 oder x2 oder beide eine 1 führen.

Das Element (Inverter) aus Abbildung 2.5 ist schon ein wenig schwieriger zu verstehen. Es hat nur einen Eingang. Wenn dieser eine 1 führt, soll es eine Null ausgeben, und wenn der Eingang eine Null führt, soll es eine 1 ausgeben; da​s Signal also immer umdrehen. Dies wird erreicht, indem das Gewicht auf –1 gesetzt wird und der Schwellenwert auf 0. Lassen Sie uns sehen, was passiert.

Liegt eine 1 an, so ergibt die Multiplikation mit dem Gewicht –1. Da die Schwelle 0 ist, bleibt die –1 bestehen. Da das Ergebnis aber kleiner 0 ist, gibt der Körper des Elements (denken Sie an Theta in der Formel 1) eine Null weiter. Liegt eine Null an, bleibt das Ergebnis nach der Multiplikation mit –1 Null. Nachdem die Schwelle abgezogen wurde, bleibt die Null bestehen. Theta macht nun aus der Null eine Eins, die als Ergebnis weitergegeben wird. Das Ergebnis ist damit insgesamt also richtig.

Der Ansatz von McCulloch und Pitts hat jedoch auch Schwächen. Es konnte nicht gezeigt werden, wie das Lernen zustande kommt, und solche Netze sind nicht fehlertolerant. Sie funktionieren nur, wenn alle Komponenten richtig arbeiten.

Der Schwäche des »Nicht-Lernen-Könnens« begegnete Hebb 1949 mit dem Vorschlag, die Verbindung der ​Synapsen variabel zu gestalten. Er schlug dazu die folgende Formel vor. Jetzt kommt wieder ein wenig Mathematik. Aber ich werde die Formel sofort erläutern.

• wi ist dabei die Synapsen-Stärke (Gewicht). Das griechische Delta davor gibt an, dass es sich um eine Veränderung der Synapsen-Stärke handelt.

• (der griechische Buchstabe ​Epsilon) stellt einen beliebigen Wert größer als null dar und steht für die Größe eines ​Lernschritts (ich nenne diesen Parameter Lernrate).

• xi ist die Eingabe an den ​Eingangsleitungen.

• y(x) ist die Ausgabe an der ​Ausgangsleitung.

Das i steht dafür, dass es mehrere Eingangsleitungen gibt, beispielsweise bei drei Eingangsleitungen x1, x2 und x3. Die Werte der Gewichte können nun auch Kommazahlen darstellen.

Die Formel gibt also an, dass beim Lernen die Gewichte einer Leitung um einen Betrag verändert werden, der sich aus einer Lernrate, den einzelnen Eingangssignalen und dem Ausgangssignal ergibt.

Das ​Perzeptron ist ein Modell von mehreren Nervenzellen. Dieses Modell wurde von Frank Rosenblatt 1958 vorgestellt. 1960 hatte er es per Computerprogramm implementiert.

Das Perzeptron kann klassifizieren. Dazu werden verschiedene ​Vektoren gebildet und verschiedenen Klassen zugeordnet. Ein Perzeptron kann lernen, welche Vektoren zu »seiner« Klasse...