Wissenschaftler verbessern die Methode des tiefen Lernens für neuronale Netze

Anonim

Forscher des Instituts für Cyber ​​Intelligence Systems an der National Research Nuclear University MEPhI (Russland) haben kürzlich ein neues Lernmodell für die eingeschränkte Boltzmann-Maschine (ein neuronales Netzwerk) entwickelt, das die Prozesse der semantischen Codierung, Visualisierung und Datenerkennung optimiert. Die Ergebnisse dieser Forschung sind in der Fachzeitschrift Optical Memory and Neural Networks veröffentlicht .

Heutzutage werden tiefe neuronale Netze mit unterschiedlichen Architekturen, wie Faltungs -, Rekurrent - und Autoencoder - Netzwerke, ein zunehmend populäres Forschungsgebiet. Eine Reihe von High-Tech-Unternehmen, darunter Microsoft und Google, verwenden tiefe neuronale Netze, um intelligente Systeme zu entwerfen.

In Deep-Learning-Systemen sind die Prozesse der Merkmalauswahl und -konfiguration automatisiert, was bedeutet, dass die Netzwerke selbst zwischen den effektivsten Algorithmen für die hierarchische Merkmalsextraktion wählen können. Deep Learning zeichnet sich dadurch aus, dass mit Hilfe großer Stichproben mit einem einzigen Optimierungsalgorithmus gelernt wird. Typische Optimierungsalgorithmen konfigurieren die Parameter aller Operationen gleichzeitig und schätzen effektiv jede Auswirkung eines neuronalen Netzwerkparameters auf Fehler mit Hilfe der sogenannten Backpropagation-Methode.

"Die Fähigkeit der neuronalen Netzwerke, eigenständig zu lernen, ist eine ihrer faszinierendsten Eigenschaften", erklärte Vladimir Golovko, Professor am MEphI-Institut für Cyber ​​Intelligence Systems. "Neuronale Netze können sich wie biologische Systeme selbst modellieren und versuchen, das bestmögliche Verhaltensmodell zu entwickeln."

Im Jahr 2006 erlebte der Bereich Neuronales Netzwerktraining einen Durchbruch, als Geoffrey Hinton eine Forschungsarbeit über neuronale Netzwerke vor dem Training veröffentlichte. Er stellte fest, dass mehrschichtige neuronale Netze vortrainiert werden könnten, indem man Schicht für Schicht mit Hilfe der beschränkten Boltzmann-Maschine trainiert und sie dann mittels Backpropagation nachjustiert. Diese Netzwerke wurden als Deep-Faith-Netzwerke oder DBN bezeichnet.

Golovko analysierte die Hauptprobleme und Paradigmen des tiefen maschinellen Lernens und schlug eine neue Lernmethode für die eingeschränkte Boltzmann-Maschine vor. Der Forscher zeigte, dass die klassische Regel des Trainings dieses neuronalen Netzwerks ein spezieller Fall der von ihm entwickelten Methode ist.

"Die amerikanischen Wissenschaftler Minsky und Papert haben einmal gezeigt, dass das Einschicht-Perzeptron mit der Schwellenaktivierungsfunktion vom Standpunkt der Musterklassifizierung eine lineare Trennfläche bildet, weshalb es das" exklusive "Problem" Golovko "nicht lösen kann bemerkt. "Dies führte zu pessimistischen Schlussfolgerungen über die weitere Entwicklung neuronaler Netze. Die letzte Aussage trifft jedoch nur für ein einschichtiges Perzeptron mit einer Schwelle oder einer monotonen kontinuierlichen Aktivierungsfunktion, beispielsweise einer Sigmoidfunktion, zu. Wenn man die Signalaktivierung nutzt Funktion kann das Einschicht-Perzeptron das 'Exklusiv- oder' Problem lösen, da es die Fläche von Einsen und Nullen mit Hilfe von zwei geraden Linien in Klassen aufteilen kann. "

Die Forschung beinhaltete auch eine Analyse der Aussichten, tiefe neuronale Netze zur Kompression, Visualisierung und Erkennung von Daten zu verwenden. Darüber hinaus schlug Golovko auch einen neuen Ansatz für die Implementierung der semantischen Codierung vor, der auf der Verwendung von tiefen autoassoziativen neuronalen Netzen basiert.

Diese Methode des tiefen Lernens könnte sehr nützlich sein, um die neuronalen Netzwerke von Suchmaschinen zu trainieren, so der Autor, da es die Geschwindigkeit der Suche nach relevanten Bildern verbessert.

Diese Erkenntnisse haben einen großen praktischen Wert: Sie haben bereits Anwendung in den Bereichen Computer Vision, Spracherkennung und Bioinformatik gefunden.

menu
menu