Nutzung des Skeleton Solvers für Animationen

Grundlagen

Der Qualisys Skeleton Solver erlaubt es, Skelett-Daten in Echtzeit zu berechnen und darzustellen. Er kann mit dem Animation-Markerset und dem Sports-Markerset verwendet werden. Als Dateiformate können TSV oder FBX für ein Echtzeitstreaming in eine Animationssoftware genutzt werden.

Erstellen des AIM-Modells

Für jede Person (jedes Skelett) muss ein eigenes AIM-Modell angelegt werden. Als Grundlage kann das bei der Installation mitgelieferte Animation-AIM-Model dienen.

Öffnen Sie die Project Options (Strg+W).
Wechseln Sie in der linken Leiste zum Reiter AIM.
Klicken Sie auf Add model und navigieren zum Installationsordner von Qualisys (Qualisys Track Manager à Models à AIM à qam).
Klicken Sie OK um die Änderungen zu speichern.

Nun können Sie die Marker des Animation-Markersets am Probanden platzieren. Informationen können Sie in der oberen Leiste unter Skeleton à Display Marker Set Guide abrufen.

Beachten Sie, dass es möglich ist, zusätzliche Marker hinzuzufügen, um das Tracking zu verbessern (siehe Guide).

Sobald der Proband vorbereitet ist, können Sie eine Aufnahme durchführen. Lassen Sie den Probanden zu beginn der Aufnahme in der T-Pose stehen (s.u.). Innerhalb der Aufnahme sollte er oder sie dann eine komplette Range of Motion mit allen Segmenten (Kreisbewegungen mit Händen, Füßen, Armen, Beinen und Kopf) durchführen, damit alle Gelenkzentren gut berechnet werden können.

Benennung der Marker

Alle zugehörigen Marker müssen richtig benannt werden und einen einzigartigen, personenbezogenen Präfix erhalten. Standardmäßig werden die vorgefertigten Bezeichnungen des Animation-Markersets verwendet. Es ist jedoch möglich, eine eigene Benennung zu nutzen.

Wenn Sie das bereitgestellte AIM-Model verwenden, versucht QTM automatisch alle Marker zu labeln. Überprüfen Sie anhand des Guides, ob alle Marker richtig benannt sind. Werden zusätzliche Marker verwendet, müssen diese ebenfalls benannt werden. Damit QTM erkennt, zu welchem Segment die Extra-Marker gehören, müssen diese der Konvention folgen:

Segmentname_Name → z.B. LeftLeg_Front

Dies sind alle verfügbaren Segment-Namen:

Hips, RightUpLeg, LeftUpLeg, RightLeg, LeftLeg, RightFoot, LeftFoot, RightToeBase, LeftToeBase, Spine, Spine1, Spine2, Neck, Head, RightShoulder, LeftShoulder, RightArm, LeftArm, RightForeArm, LeftForeArm, RightHand, LeftHand

Hinzufügen des Präfix

Damit jeder Marker der richtigen Person zugewiesen werden kann, muss vor jedes Label ein Präfix eingefügt werden. Nach dem Präfix folgt ein Unterstrich: Soll das Skelett AR heißen, muss der Chest-Marker zum Beispiel so gelabelt sein: AR_Chest. ALLE Marker eines Probanden (auch die zusätzlichen) müssen diesen Präfix erhalten!

Der Präfix kann allen Markern gleichzeitig mit einem Klick hinzugefügt werden:

Wählen Sie in der rechten Leiste alle Trajektorien, die zu der entsprechenden Person gehören.
Klicken Sie Rechtsklick auf eine von ihnen und wählen Add prefix to selection.
Geben Sie den gewünschten Präfix (AR_) ein und klicken OK.

Nun sollten Sie die Datei speichern und das neue AIM-Model generieren. Klicken Sie dafür auf das Generate Aim model Icon in der oberen Leiste. Geben Sie dem AIM Modell am besten denselben Namen, den Sie als Präfix für das Skelett genutzt haben.

Mehrere Personen gleichzeitig tracken und streamen

Wiederholen Sie die oberen Schritte für jede Person getrennt. Erstellen Sie ein eigenes AIM-Model für jede Person und weisen jedem Skelett einen individuellen Präfix zu.

Prüfen Sie anschließend in den Project Options, ob alle AIM-Modelle im Projekt aktiv sind (Processing à AIM à alle Modelle müssen in der Liste „Applied models“ auftauchen).

Kalibration der Skelette

Sobald alle AIM-Modelle erstellt und angewendet sind, sollten die Skelette kalibriert werden. Dies kann direkt im Live-Modus oder in einer vorherigen Aufnahme durchgeführt werden. Befinden sich mehrere erkannte Personen im Volumen, werden die Skelette automatisch für alle gleichzeitig kalibriert.

Alle Personen sollten in der T-Pose im Volumen stehen: Die Arme sind zu den Seiten ausgestreckt, die Handflächen zeigen nach unten, die Füße zeigen parallel nach vorne.
Klicken Sie auf das Calibrate Skeletons Icon in der oberen Leiste oder einfach F10 auf der Tastatur.
Die Anzeige der Skelette muss eingeschaltet sein, damit diese visualisiert werden.

Erstellen eines identischen AIM-Models

Um ein AIM-Model zu erstellen, dass identisch zu einem bereits bestehenden ist, ohne die damit bereits verbundenen Trainingsdaten zu berücksichtigen gehen Sie folgendermaßen vor:

Öffnen Sie eine Aufnahme mit exakt denselben Labels für die Trajektorien.
Klicken Sie auf Generate AIM model und wählen Create new model based on marker connections from existing AIM model.
Klicken Sie auf Next und wählen das bereits bestehende AIM-Model aus.
Prüfen Sie, dass die funktionalen Verbindungen zwischen den Markern logisch sind und klicken Next um dem Modell einen Namen zu geben und den Vorgang abzuschließen.

Das neue AIM-Model ist funktional identisch zu dem vorherigen, enthält jedoch lediglich die Trainingsdaten der einen Aufnahme, die zum Erstellen genutzt wurde.

Erfassen von Skelettdaten

Nachdem das/die Skelette definiert wurden, können Skelettdaten Live genutzt werden und auch aufgezeichnet werden.

Zuerst sollten die Skelette in den Project Options aktiviert werden:

Gehen Sie in den Project Options auf Processing.
Haken Sie die Kästchen für Solve Skeletons bei Real time actions und bei Capture actions an, je nachdem, ob Sie Skelettdaten in Echtzeit oder für Aufnahmen nutzen möchten.

Solange die Haken gesetzt sind und ein Skelett definiert wurde, werden die Skelettdaten automatisch von QTM berechnet.

Die Positionsdaten und die Rotationsdaten einzelner Segmente des Skeletts können angezeigt werden:

In der oberen Leiste unter View kann ein neues Data Info pane hinzugefügt werden (strg+D).
Durch rechtsklick auf den Schwarzen Hintergrund in diesem Fenster und Linksklick auf Display Skeleton data, können die Skelettdaten angezeigt werden.

Sobald der Skeleton-Solver eingerichtet ist, können Sie wie gewohnt 3D-Daten aufnehmen und streamen. Es empfiehlt sich, alle Probanden zu beginn und ende jeder Bewegung die T-Pose einnehmen zu lassen, damit die Skelette neu kalibriert werden können.

Verarbeitung der Skelett-Daten

Bei der Verarbeitung der Skelettdaten können die Trajektorien normal bearbeitet und gelabelt werden. Neben den standardmäßigen Methoden zum Füllen von Lücken ist nun auch das Kinematic gap filling nutzbar.

Sollten Sie Änderungen an den Trajektorien vorgenommen haben, denken Sie daran, die jeweilige Datei zu reprocessen, damit auch die Skelettdaten neu berechnet werden (Strg+Shift+R). Setzen Sie nur den Haken bei Solve Skeletons!

Export und Streaming der Skelettdaten

Die aufgenommenen Daten können beliebig in andere Software gestreamt oder exportiert werden.

Dafür steht ein QTM real-time protocol zur Verfügung, welches bereits Plugins für verschiedene Animations-Software bereithält. Besuchen Sie die Qualisys GitHub Seite für Informationen: https://github.com/qualisys.

Alternativ können die Skelettdaten als TSV oder FBX exportiert werden:

Navigieren Sie in der oberen Leiste zu File -> Export und wählen das gewünschte Format aus.
Skeletons muss angehakt werden, bevor Sie auf OK