Anwenden von Deep Learning auf Motion Capture mit DeepLabCut

Anonim

Ein Forscherteam aus verschiedenen Institutionen in Deutschland und den USA hat einen tiefen Lernalgorithmus entwickelt, der für die Bewegungsaufnahme von Tieren jeglicher Art eingesetzt werden kann. In ihrer Veröffentlichung in der Zeitschrift Nature Neuroscience beschreibt die Gruppe ihr Tracking-Tool namens DeepLabCut, wie es funktioniert und wie es verwendet wird. Kunlin Wei und Konrad Kording mit der Universität von Peking und der Universität von Pennsylvania bieten jeweils ein News & Views-Stück über die Arbeit der Gruppe in derselben Zeitschrift an.

Wie Wei und Kording feststellten, haben Wissenschaftler seit über einem Jahrhundert versucht, Bewegungserfassung auf Menschen und Tiere anzuwenden - die Idee ist, die Feinheiten all der kleinen Bewegungen zu erfassen, die zusammen eine größere, wahrnehmbarere Bewegung bilden, wie z einzelner Tanzschritt. Solche Bewegungen bei Tieren verfolgen zu können, gibt Hinweise auf ihre Biomechanik und wie ihre Gehirne funktionieren. In der Lage zu sein, dies mit Menschen zu tun, kann bei körperlicher Therapie oder einer Verbesserung der sportlichen Leistung helfen. Der aktuelle Prozess umfasst die Videoaufzeichnung des Motivs und die Durchführung eines mühsamen Prozesses zum Markieren von Bildern Bild für Bild. In dieser neuen Anstrengung haben die Forscher eine Computerautomatisierungstechnik entwickelt, um den Prozess viel schneller und einfacher durchzuführen.

Um DeepLabCut zu erstellen, trainierte die Gruppe ein neuronales Netzwerk mit Informationen aus einer Datenbank namens Imagenet, die eine große Anzahl von Bildern und zugehörigen Metadaten enthält. Sie entwickelten dann einen Algorithmus, der die Posenschätzungen optimiert. Der dritte Teil war die Software, die den Algorithmus ausführt, mit den Benutzern interagiert und die Ausgabe der Ergebnisse anbietet. Das Ergebnis ist ein Werkzeug, mit dem Motion Capture bei Menschen und praktisch jeder anderen Kreatur durchgeführt werden kann. Alles, was ein Benutzer tun muss, ist, Proben von dem, wonach sie sind, zu laden, sagen wir, Bilder eines Eichhörnchens, mit seinen Hauptteilen beschriftet und einige Videos, die zeigen, wie es sich im Allgemeinen bewegt. Dann lädt der Benutzer ein Video eines Subjekts hoch, das eine Aktivität von Interesse ausführt - beispielsweise ein Eichhörnchen, das eine Nuss aufreißt. Die Software erledigt den Rest und erzeugt Bewegungserfassung der Aktivität.

Das Team hat das neue Tool für jeden frei zugänglich gemacht, der es für den von ihnen gewählten Zweck verwenden möchte. Wei und Kording schlagen vor, dass das Tool die Bewegungserfassung revolutionieren könnte, so dass es sowohl für Profis als auch für Neulinge leicht zugänglich ist.

menu
menu