Kurzbeschreibung
Diese Vorlesung gibt eine Einführung in die grundlegenden Konzepte der Erweiterten Realität, mit besonderem Schwerpunkt auf Verfahren zur Bildanalyse die für das Tracking in AR Systemen zum Einsatz kommen.
Dabei werden verschiedenste Aspekte der Bild- und Videoverarbeitung, wie sie in modernen Bearbeitungstools vorkommen, erarbeitet und selbst implementiert. Es werden Methoden zur Bildaufnahme, Bildverarbeitung und Bildsynthese erarbeitet. Die Teilnehmenden sind in der Lage Augmented Reality Anwendungen zu entwerfen, zu implementieren und zu evaluieren und dadurch eigenständige Beiträge in Forschung und Wirtschaft zu leisten.
Lehrform/SWS
4 SWS: Vorlesung 2 SWS; Praktikum / Projekt 2 SWS
Arbeitsaufwand
Gesamtaufwand 180 Stunden, davon
- 36h Vorlesung
- 36h Praktikum / Projekt
- 108h Selbststudium
Learning Outcomes
(WAS) Die Teilnehmenden können Augmented Reality Anwendungen entwerfen, implementieren und evaluieren
(WOMIT) indem sie
- Filter- und Segmentierungsverfahren beschreiben und implementieren
- Bild- und Videooperatoren in ihrer Wirkung vergleichen, kombinieren und sinnvoll einsetzen
- mathematische Beschreibungen von Bild- und Videooperatoren verstehen
- Featuredetektoren beschreiben und einsetzen
- Methoden zur Kamerakalibrierung und zum Tracking anwenden
- Verfahren zur Verdeckungsberechnung zwischen realen und virtuellen Objekten umsetzen
- Lösungsansätze für die Herausforderungen des Trackings in großen Umgebungen einordnen und gegenüberstellen
- Situationsbezogene Visualisierungsmethoden analysieren
- Visuelle Kohärenz zwischen virtuellen und realen Inhalten herstellen
- Interaktionsmethoden erstellen und analysieren
(WOZU)
um Augmented Reality später in wissenschaftlichen und industriellen Anwendungsszenarien konzipieren, umsetzen und testen zu können.
Inhalt
- Filterverfahren: Lineare Filter (Box-, Gauss-, Sinc-), Kantendetektoren (Sobel, Laplace, Canny)
- Feature Detektoren (Harris-Corner Detector, SIFT, SURF, etc.)
- Robustes Feature Matching mittels RANSAC, inkrementelles Tracking
- Kamerakalibrierung (Projektive Geometrie, Kameramodelle) und Tracking Methoden
- Tiefenrekonstruktion und Verdeckung
- Python, C# Programmierung
Medienformen
- Beamergestützte Vorlesung;
- Praktika / Projekt in Kleingruppen, um die erlernten Methoden und Techniken einzuüben und zu vertiefen (Rechnerlabor)
Literatur
- Dieter Schmalstieg, Tobias Höllerer, Augmented Reality: Principles and Practice, Addison-Wesley Professional, 2016
- Reinhard Klette, Concise Computer Vision: An introduction into theory and algorithms, Springer, 2014
- Richard Hartley and Andrew Zisserman, Multiple View Geometry in Computer Vision, Cambridge 2000
Geförderter Kompetenzerwerb
Das Modul zahlt auf folgende Handlungsfelder und Kompetenzbereiche ein. Eine ausführliche Beschreibung der konkreten Komptenzen finden Sie weiter unten.
Designing for User Experiences
Developing Interactive and Distributed Systems
Exploring Advanced Interactive Media
Enhancing Interactions on Different Scales
Designing for User Experiences
-
Konzepte
-
Haben ein ausgeprägtes konzeptionelles Denkvermögen entwickelt, um komplexe Probleme zu analysieren, innovative Lösungsansätze zu konzipieren und diese in verständliche und erfahrbare Konzepte zu überführen.
-
Gestaltung
Developing Interactive and Distributed Systems
-
Technologie
-
Kennen State-of-the-art Technologie zur Umsetzung von software-basierten Anwendungen (insb. in den Bereichen Web, Mobile, IoT, AR/VR, AI), können konkurrierende alternative Technologien auswählen und evaluieren, sich neue technologische Möglichkeiten erschließen, diese bewerten, nutzen, und integrieren sowie zukunftsorientiert neue Möglichkeiten screenen.
-
Wissen wie Kommunikation zwischen Computern realisiert wird (bspw. req/res, pub/sub und Protokolle wie HTTP, MQTT).
-
Wissen was ein Computer ist und wie Software darauf ausgeführt wird.
-
Entwurf
-
Verstehen formale Strukturen.
-
Können abstrahieren, logisch denken und komplexe Zusammenhänge verstehen.
-
Können Aspekte realweltlicher Probleme zu identifizieren, die für eine informatische Modellierung geeignet sind, algorithmische Lösungen für diese (Teil-)Probleme bewerten und selbst so zu entwickeln, dass diese Lösungen mit einem Computer operationalisiert werden können.
-
Konzepte (bspw. Paradigmen, Architekturen, Pattern) für die web-basierte Verteilung von Komponenten (bspw. Frontend/Clients/Apps, Backend/Server/Cloud) für verteilte interaktive Anwendungen kennen und umsetzen können.
-
Implementierung
-
Kennen Entwicklungsumgebungen, Tools und entwicklungsnahe Prozesse und diese praktisch nutzen (insb. IDE, Compiler, Linker, Libraries, Debugging, Unit-Testing, Repositories für eigenen Code / git, Build Tools, Paketmanager).
-
Können (komplexe) Softwaresysteme im Team entwickeln.
-
Kennen Grundkonzepte agiler Entwicklung und agilen Arbeitens wie iterative und inkrementelle Entwicklung, selbstorganisierte Teams, Transparente Kommunikation, etc. und können diese in Projekten anwenden.
Driving Creation Process
-
Management
-
Können erkennen, welche Kompetenzen zur Lösung eines Problems erforderlich sind.
-
Können ein Team zusammenstellen und dieses lauf- und lebensfähig halten.
-
Können kreative und agile Prozesse hinsichtlich Zeit- und Ressourcenmanagement effizient durchführen und verwalten.
-
Kommunikation
-
Können effektive und transparente Kommunikation und Zusammenarbeit fördern, Konflikte erkennen, analysieren und lösen.
-
Sind in der Lage Arbeits- und Forschungsergebnisse klar und verständlich in aussagekräftigen, zielgruppengerechten Berichten, Präsentationen o.Ä. zu kommunizieren.
-
Haben die Fähigkeit effektiv in multidisziplinären Teams zu arbeiten und die verschiedenen Fachperspektiven und -sprachen zu verstehen.
Enhancing Interactions on Different Scales
-
Analyse, Studien und Experimente
-
Situated Interaction
-
Können technologische Aspekte, die bei der Implementierung situierter Interaktion eine Rolle spielen, berücksichtigen, dies beinhaltet Kenntnisse über Sensortechnologien, Datenverarbeitung, maschinelles Lernen und die Integration von Software in physische Umgebungen.
-
Ethik und Gesellschaft
-
Haben ein Verständnis von ethischen Richtlinien, Standards sowie dem Schutz der Privatsphäre zum Wohlergehen der Nutzer:innen und können dieses in eigenes Handeln integrieren.
-
Können die Wirkung etablierter und neu entwickelter (interaktiver) Medien auf die Gesellschaft reflektieren und in der eigenen Entwicklung berücksichtigen.
-
Selbstlernen
-
Können wissenschaftlich Arbeiten und Schreiben.
-
Können sich selbstständig neue Wissens- und Kompetenzbereiche zu Methoden, Technologien oder Domänen erschließen.
In der linken Spalte sehen Sie, welche Kompetenzen für das Modul vorausgesetzt werden (hellgrauer Balken). In der rechten Spalte sehen Sie, welche Kompetenzen Sie mit dem Modul erwerben können (farbiger Balken). Die Kompetenzen sind in Handlungsfelder und Bereiche gegliedert.
Wenn Sie auf den grauen oder farbigen Balken klicken, gelangen Sie zu einer Liste von Modulen, die auf diese Kompetenz einzahlen. Hier finden die eine Übersicht über alle Kompetenzen und die Module, die auf diese einzahlen.
