Neuronale Netze zur Bilderkennung. Zusammenhang zwischen Lernrate und Vorhersagekraft

Inhaltsverzeichnis

1. Einleitung
1.1 Problemstellung und Zielsetzung
1.2 Aufbau der Arbeit
1.3 Hypothese

2. Theoretische Grundlagen
2.1 Künstliche Neuronale Netze
2.2 Topologie
2.3 Lernen
2.4 Netzgröße

3. Praxisteil
3.1 Implementierung
3.2 Analyse
3.3 Ergebnisse
3.4 Diskussion

4. Fazit

5. Literaturverzeichnis

6. Anhang

Abbildungsverzeichnis

Abbildung 1: Aufbau eines Künstlichen Neurons

Abbildung 2: „Tiefe“ KNN

Abbildung 3: Beispielbilder des MNIST-Datensatzes

Abbildung in dieser Leseprobe nicht enthalten

Tabelle 1: Ergebnisse

1. Einleitung

Künstliche Intelligenz (KI) wird die Gesellschaft und Wirtschaft nachhaltig verändern. Laut einer Studie des McKinsey Global Institute soll anhand von KI-Analysen bis 2030 ein zusätzlicher globaler Wertschöpfungsbeitrag in Höhe von 13 Billionen US-Dollar erzielt werden.¹ Insbesondere in den Bereichen Bild- und Spracherkennungen wurden in den vergangenen Jahren große Fortschritte durch die Verwendung vom Tiefen Lernen (Deep Learning) erzielt.²

Der Begriff KI ist nicht eindeutig definiert. Nach Schüller und Steffen beinhaltet KI die Fähigkeit eines Softwareprogramms, eigenständig Probleme zu lösen, indem die KI wie ein menschliches Gehirn arbeitet und somit menschenähnliche Intelligenz simuliert, wohingegen die Fraunhofer Gesellschaft KI als ein Teilgebiet der Informatik interpretiert mit dem Ziel, Maschinen zu befähigen, Aufgaben intelligent zu bewältigen. Zudem ist der US-Marktforscher Gartner der Ansicht, dass KI die entscheidende Technologie der kommenden Jahre sein wird.³

Maschinelles Lernen (ML) gilt als Schlüsseltechnologie, um KI zu entwickeln. Das System erhält korrigierendes Feedback von außen, zieht daraus Rückschlüsse und lernt. Das Ziel von maschinellem Lernen ist die Generierung von Wissen aus Erfahrungen. Aus diesem Grund ist es nicht erforderlich, Wissen zu codieren, da der Algorithmus aus Daten lernt.⁴

Etliche KI-Systeme beruhen auf der Idee der neuronalen Netze des menschlichen Gehirns. Diese Technologie wird als Deep Learning (DL) bezeichnet und umfasst das Lernen in Künstlichen Neuronalen Netzen, die sich aus mehreren inneren Schichten bilden.⁵

Die Lernfähigkeit der KI wird durch Künstliche Neuronale Netze (KNN) ermöglicht. Neuronen sind Nervenzellen im menschlichen Gehirn, die durch umfangreiche Verbindungen dynamisch gekoppelt sind. Das menschliche Gehirn lernt, indem diese Verknüpfungen kontinuierlich neu gewichtet werden. Häufig genutzte Verbindungen werden gestärkt und selten eingesetzte Verbindungen verkümmern.⁶

Die Idee der KNN, Intelligenz außerhalb des menschlichen Gehirns zu schaffen ist nicht neu und greift bereits in die 1940er Jahre zurück, doch erst mit der Entwicklung der Rahmenbedingungen konnten sich KI-Anwendungen durchsetzen.⁷

Eine wichtige Voraussetzung, um ML-Verfahren einzusetzen bzw. um KI- Anwendungen entwickeln zu können, sind große Datenmengen. Daten sind heute in einem enormen Umfang zugänglich und die Datenmenge steigt weiterhin kontinuierlich an.⁸

Eine weitere Grundlage, was den Einsatz von KI-Anwendungen begünstigt, sind Technologien. Neue Technologien wie In-Memory-Datenbanken, die Daten durchgehend im physischen Hauptspeicher (RAM) des Computers speichern, ermöglichen zum einen größere Datenmengen zu verarbeiten und zum anderen Daten wesentlicher schneller zur Verfügung zu stellen, welches insbesondere Echtzeitanwendungen fördert. Hinzu kommt noch, dass der Bezug von Rechenleistung und Speicherplatz sehr kostengünstig sind.⁹

Es ist naheliegend, dass durch Entwicklungen und Fortschritte im Bereich Quantencomputing in Zukunft rechenintensivere KI-Anwendungen zum Durchbruch gelangen werden.¹⁰

1.1 Problemstellung und Zielsetzung

Viele Studien befassen sich lediglich damit, die Relevanz der KI zu umreißen. Einige wenige Studien setzen sich mit der Optimierung der KI auseinander. Eine Ursache hierfür könnte sein, dass KNN auf dem Vorbild der menschlichen Intelligenz beruhen und in diesem Zusammenhang keine Möglichkeit gegeben ist, eine einheitliche Formel zu modellieren, die die optimale Vorhersagekraft eines neuronalen Netzes berechnet.

Vor diesem Hintergrund ist das primäre Ziel der zugrundeliegenden Arbeit, den Zusammenhang zwischen Lernrate und Vorhersagekraft eines neuronalen Netzes zu untersuchen.

Für die Erforschung des Zusammenhangs wird ein neuronales Netz mit Python programmiert. Um das neuronale Netz zu trainieren, werden 30.000 Trainingsbeispiele von Bildern zu handgeschriebenen Ziffern von null bis neun herangezogen. Im Anschluss erfolgt der Evaluationsprozess mit 10.000 Testbeispielen, um die Vorhersagekraft des neuronalen Netzes zu messen. Die Daten werden von der bekannten MNIST-Datenbank (Modified National Institute of Standards and Technology) extrahiert.

Der implementierte Algorithmus gehört der Kategorie Data Mining an. Die Aufgabe des trainierten Modells besteht darin, die Bilder zu einer der zehn Zahlen (null bis neun) richtig zuzuordnen (Klassifikation).

1.2 Aufbau der Arbeit

Die Thematik der KNN ist sehr umfangreich. Aufgrund der Rahmenbedingungen werden die Themengebiete bearbeitet, die für die Implementierung des neuronalen Netzwerkes relevant sind.

In Kapitel 2 werden zunächst die theoretischen Grundlagen der KNN beschrieben. Im nächsten Kapitel erfolgt der Praxisabschnitt, indem das neuronale Netz modelliert, implementiert, ausgewertet und diskutiert wird. Im Fazit werden alle für wichtig erachtete Aspekte kurz wiederholt und ein Ausblick für weitere Forschungsarbeiten im Bereich Optimierung der KI gegeben.

1.3 Hypothese

Um die Vorhersagekraft eines Neuronalen Netzes zu steigern, damit qualitativere Prognosen generiert werden können, gibt es mehrere Anpassungsmöglichkeiten, wie z.B. das Verändern der Aktivierungs-, Propagierungs- und Ausgabefunktion oder das Entfernen bzw. Hinzufügen von Neuronen und Verbindungen. Vorwiegend wird die Anpassungsmethode der Verbindungsgewichte verwendet, weil sich dadurch der Auf- und Abbau von Verbindungen modellieren lässt.¹¹ Im Mittelpunkt dieser Arbeit steht ebenso die Anpassungsmethode der Verbindungsgewichte.

Eine Möglichkeit die Verbindungsgewichte anzupassen, ist die Veränderung der Lernrate. Die Lernrate bestimmt den Einfluss der Änderung auf das Kantengewicht und veranlasst, dass das Gewicht in Richtung Minimum angepasst wird. In der Regel gilt, dass eine zu hohe Lernrate zur Folge hat, dass ein Minimum nicht erreicht wird und eine zu niedrige Lernrate möglicherweise dazu führt, dass der Trainingsalgorithmus das lokale Minimum der Fehlerfunktion nicht verlassen kann.¹² Schlussfolgernd kann folgende Annahme abgeleitet werden: Eine hohe Lernrate erreicht nicht das Minimum.

Folglich lautet die zu untersuchende Hypothese: Je höher die Lernrate einer Netzgröße, desto schlechter die Vorhersagekraft des neuronalen Netzes.

2. Theoretische Grundlagen

2.1 Künstliche Neuronale Netze

Als KNN werden informationsverarbeitende Systeme bezeichnet, deren Struktur und Funktionsweise dem Nervensystem und insbesondere dem Gehirn von Tieren und Menschen nachempfunden sind. KNN setzen sich aus einer Vielzahl einfacher, parallel arbeitender Einheiten, den sogenannten Neuronen zusammen. Die Aufgabe der Neuronen besteht darin, sich gegenseitig Informationen in Form von Aktivierungssignalen über gerichtete Verbindungen zuzuschicken.^{13 14}

Der Aufbau und die Funktionsweise eines künstlichen Neurons werden anhand folgender Abbildung erläutert.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1: Aufbau eines Künstlichen Neurons14

Auf der linken Seite von Abbildung 1 sind die Ausgabesignale der vorangestellten Neuronen zu erkennen, welche zugleich die Eingangssignale xt = [x1,x2,^,xn] für das aktuelle Neuron bilden. Dabei können die Eingabe- sowie Ausgabesignale der Neuronen binär, reell oder bipolar sein.¹⁵ Neuronen sind durch Kanten miteinander verbunden. Diese Kanten werden in Form von Gewichten = {w1,w2,...,wn] modelliert. Die Gewichte geben die Verbindungstärke zwischen den Neuronen wieder und legen fest, wie stark der Einfluss eines Eingangssignals auf das Neuron ist. Das erlernte Wissen eines KNN wird von diesen Gewichten wiedergegeben, die sich anhand von Matrizen darstellen lassen Die Verbindungsgewichte können durch Lernregeln modifiziert werden.¹⁶ Die Eingabesignale werden mit Gewichtsfaktoren multipliziert und durch eine Propagierungsfunktion zu einem Gesamt- bzw. Netto­Eingabesignal zusammengefasst (siehe Nr. 1 in Abbildung 1). Anschließend werden alle gewichteten Signale mit einer Verzerrung b „bias“ addiert.¹⁷ Schließlich wird die Summe durch eine Aktivierungsfunktion geleitet (siehe Nr. 2 in Abbildung 1). Die Aktivierungsfunktion entscheidet darüber, ob oder in welcher Stärke das einkommende Signal weitergeleitet wird.¹⁸

Es gibt verschiedene Aktivierungsfunktionen, z.B. kann eine Aktivierungsfunktion linear, sprunghaft (Schwellenwertfunktion) oder stetig (Sigmoidfunktion) sein.¹⁹ Die Wahl der Aktivierungsfunktion hängt vom Anwendungsfall ab. Eine häufig eingesetzte Aktivierungsfunktion ist die Sigmoidfunktion, welche nur Zahlen im Bereich von (0,1) liefert.²⁰

Durch die Verknüpfung der künstlichen Neuronen lassen sich KNN realisieren. Es gibt eine Eingabeschicht (Input Layer) und eine Ausgabeschicht (Output Layer). Die Neuronen der Eingabeschicht erhalten als Eingabesignale externen Input, wobei deren Ausgabesignale an die Neuronen der nächsten Schicht als Eingaben weitergesendet werden. Die Neuronen der Ausgabeschicht empfangen als Eingabesignale die Ausgaben der vorgelagerten Schicht und erzeugen als Ausgabesignale externen Output. Häufig sind in KNN innere verborgene Schichten (Hidden Layers) vorhanden. Die Neuronen in den inneren verborgenen Schichten erhalten keinen externen-Input oder -Output, denn diese befinden sich zwischen der Eingabe- und Ausgabeschicht. Je nachdem wie komplex die KNN sind, können mehrere versteckte Schichten hintereinander angeordnet sein (Abbildung 2).²¹

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2: „Tiefe“ KNN22

2.2 Topologie

Die Wahl einer geeigneten Netzstruktur hängt vom Anwendungsmodell ab. In der Regel wird bei neuronalen Netzen zwischen zwei Netzstrukturen unterschieden: einem vorwärtsbetriebenen Netz (feed forward network) und einem rückgekoppelten Netz (recurrent network).^{22 23}

Findet der Informationsfluss ausschließlich vorwärts statt, also von den Eingabeneuronen zu den Ausgabeneuronen, liegt eine vorwärtsbetriebene Netzstruktur vor.²⁴ Vorwärtsbetriebene Netze sind insbesondere für Klassifikationsaufgaben geeignet, wozu z.B. Bilderkennungsverfahren zählen.

Im Gegensatz dazu sollte ein rückgekoppeltes Netz bei der Verarbeitung sequenzieller Daten eingesetzt werden, damit z.B. Ausgaben auf Eingaben rückgekoppelt werden können.²⁵ Die Anwendung von rückgekoppelten Netzen eignet sich z.B. bei

Übersetzungsaufgaben, denn eine wörtliche Übersetzung liefert in der Regel keine qualitativen Ergebnisse. Vielmehr sollte bei der Übersetzung eines Wortes darauf Wert gelegt werden, dass die vorhergehenden und nachfolgenden Ausdrücke berücksichtigt werden, damit im Kontext übersetzt werden kann.

2.3 Lernen

Eine zentrale Eigenschaft von KNN ist die Lernfähigkeit. KNN lernen aus Erfahrungen, indem sie Wissen aus Traningsdaten extrahieren. Die Gewichte zwischen den Neuronen werden angepasst, damit das Netzwerk das gewünschte Verhalten repräsentiert.²⁶

Lernmethoden für KNN können grundsätzlich in drei Kategorien eingeteilt werden: überwachtes, unüberwachtes und bestärkendes Lernen.

Beim überwachten Lernen (Supervised Learning) erhält der Algorithmus Feedback, ob die Vorhersage richtig oder falsch ist. Das Lernen im überwachten Modell umfasst die Entwicklung einer Funktion, die auf Basis eines Trainingsdatensatzes trainiert wird, um im Anschluss auf unbekannte Daten angewendet werden zu können. Der Trainingsdatensatz beinhaltet markierte Datensätze (Labels), sodass die Zuordnung zum gewünschten Ergebnis beim gesetzten Input im Voraus bekannt ist. Das Ziel beim überwachten Lernen besteht darin, eine Funktion zu formen, sodass über die initialen Daten hinaus eine Verallgemeinerung der Funktion ermöglicht wird, damit unbekannte Daten dem richtigen Ergebnis zugeordnet werden können.²⁷ Der Lernprozess beim überwachten Lernen beruht auf dem Trainingsdatensatz, wohingegen die Evaluierung des trainierten Modells mittels Testdaten erfolgt.²⁸

[...]

¹ Vgl. Buxmann & Schmidt (2021), S. 3

² Vgl. Fraunhofer Gesellschaft (2018), S. 6

³ Vgl. Franken & Franken (2020), S. 43

⁴ Vgl. Buxmann & Schmidt (2021), S. 9

⁵ Vgl. Franken & Franken (2020), S. 39-40

⁶ Vgl. Franken & Franken (2020), S. 40

⁷ Vgl. Buxmann & Schmidt (2021), S. 4

⁸ Vgl. ebd., S. 8

⁹ Vgl. Weber (2020), S. 4

¹⁰ Vgl. Buxmann & Schmidt (2021), S. 8

¹¹ Vgl. Kriesel (2007), S. 53

¹² Vgl. Rey & Beck (o.D.)

¹³ Vgl. Kruse et al. (2015), S. 7

¹⁴ Vgl. Wuttke (2020)

¹⁵ Vgl. Kruse et al. (2015), S. 45

¹⁶ Vgl. Buxmann & Schmidt (2021), S. 15-16

¹⁷ Vgl. Weber (2020), S. 45

¹⁸ Vgl. von Klot & Kuczyk (2019), S. 292

¹⁹ Vgl. ebd., S. 294

²⁰ Vgl. Weber (2020), S. 45-46

²¹ Vgl. ebd., S. 45

²² Vgl. Schlößer (2018)

²³ Vgl. Kruse et al. (2015), S. 35

²⁴ Vgl. ebd.

²⁵ Ebd.

²⁶ Vgl. Franken & Franken (2020), S. 40

²⁷ Vgl. Weber (2020), S. 40

²⁸ Vgl. ebd.