Draw in the air - Zeichnen durch das Tracking einer menschlichen Hand mit einem Smart Device


Marvin Juwig

Präsentation
30. November 2021, 9:30:10:00 Uhr, Raum https://th-koeln.zoom.us/j/86224491085 (Passwort steht im Ilias) Präsentation
Betreuer
Prof. Dr. Matthias Böhmer
Kooperationspartner
inovex GmbH
Stichworte
Application-Development, Gesture-Control, Handtracking, Mashine/Deep Learning, Drawing in 2D/3D/AR
Bildrechte
Pixabay-Freie kommerzielle Nutzung

Abstract

Gestenerkennung im Einsatz neuer und innovativer Technologien gewinnt für viele Menschen und Unternehmen zunehmend an Bedeutung. Dabei bietet diese oft eine angesehene und alternative Lösung für private oder auch berufliche Aufgaben. Auch in der Gaming Branche findet Gestenerkennung immer mehr Einsatz. Diese Art der Interaktion mit einer Technologie ersetzt die ursprüngliche oft, wenn die Vorteile gegenüber dieser überwiegen. Zum Beispiel fällt es vielen Menschen schwer in unterschiedlichen Situationen eine Skizze digital zu zeichnen. Dabei kann die Bedienung einer Computermaus oder des Touchdisplays eines Smartphones eine Hürde darstellen. Des Weiteren kommen Situationen vor, in denen bei Videoanrufen oder digitalen Meetings keine Möglichkeit gegeben ist, direkte Skizzen mit den anderen Teilnehmern zu teilen. Aus diesem Grund untersucht diese Arbeit, inwiefern es möglich ist, mittels Handtracking in eine reale Umgebung zu zeichnen. Dabei wurden zuerst unterschiedliche Technologien untersucht und untereinander verglichen. Schließlich ergab sich hierfür ein entwickelter Prototyp, der Mediapipe für das Handtracking in Kombination mit OpenGL ES für die Zeichnung der Skizze verwendet. Dabei ist eine Android App entstanden, die einen Bewegungsverlauf einer Hand bzw. eines bestimmten Punktes von einem Finger verfolgt und diesen als dort gezeichnete Linie darstellt. Diese Arbeit beschäftigt sich zudem mit der Entwicklung des Prototyps und die daraus folgenden Erkenntnisse, welche als Grundlage für weitere oder alternative Entwicklungen genutzt werden können.

Material & weiterführende Infos

Vorschläge für weitere Arbeiten im Themenfeld

Zeicchnen im 3D/AR Kontext

ein Spiel, welches das Zeich-nen einer Linie mittels Handtracking nur in einem bestimmten Bereich erlaubt