LED Wall Light Stage — Turning a Display into a Measurement Device SS'26
Softwareentwicklungspraktikum

Keywords: LED Wall · Inverse Rendering · Photometric Stereo · Material Capture · Relighting · Calibration · Computer Vision x Graphics

Aktuelles

Das Kickoff findet am 8. April 2025 um 15:00 Uhr vor Ort in unserem Institut im Hardstyle Lab statt.

Project Description

Unsere neue LED-Wall ist nicht nur Display, sondern ein riesiges, programmierbares Licht-Instrument. In diesem Projekt bauen wir aus der LED-Wall eine Light Stage: Die Wand zeigt definierte Lichtmuster, eine Kamera filmt ein Objekt davor, und wir rekonstruieren daraus Normalen, Albedo (Farbe) und Roughness (Glossy/Matte).

Ergebnis: Du kannst ein reales Objekt "einscannen" und danach in einer 3D-Szene realistisch relighten, als wäre es in einem neuen Raum oder bei Sonnenuntergang aufgenommen worden.

Was du konkret machst

• Du steuerst die LED-Wall mit cleveren Lichtmustern (z.B. Gradienten, virtuelle Spotlights, Basisfunktionen).

• Du kalibrierst Kamera ↔ Wand (Geometrie + Helligkeit/Gamma), damit Messung wirklich messbar wird.

• Du baust eine Rekonstruktion: erst robust und simpel (Lambert + Normalen), dann optional shiny mode (Roughness/Specular).

• Du evaluierst: Wie gut passt deine Rekonstruktion, wenn du Lichtbedingungen vorhersagst, die du nie gezeigt hast?

• Du präsentierst eine Demo: Objekt vor die Wand stellen → kurze Sequenz → Materialmaps + Relighting.

Was am Ende rauskommt

• Light-Stage-Capture-Pipeline-Prototyp (Wall patterns → Capture → Material/Normal maps → Rendering).

• Demo: real object → digital twin → live relighting.

• Optional: kleine research Extras wie bessere Pattern-Designs, Robustheit gegen Glanz, oder schnellere Inferenz.

Voraussetzungen: Solide Python/C++/CUDA oder Rendering-Basics helfen, sind aber kein Muss. Wichtig ist Lust auf sauberes Engineering und visuelle Ergebnisse.

Gruppe 1 Calibration und Measurement

Die LED-Wall als physikalisches Messgerät

In dieser Gruppe macht ihr aus der LED-Wall eine kontrollierbare Lichtquelle. Dazu kalibriert ihr Kamera und Wall geometrisch (Intrinsics / Extrinsics), bestimmt Helligkeit, Gamma und Farbverhalten und stellt sicher, dass Timing und Belichtung stabil sind. Eure Ergebnisse definieren den physikalischen Rahmen, auf dem das gesamte Projekt aufbaut.

Schwerpunkte: Kamerakalibrierung, Wall-Pose, Radiometrie, Gamma-Korrektur, Validierung

Gruppe 2 Inverse Rendering und Reconstruction

Von Licht zurück zu Geometrie und Material

Hier habt ihr das inverse Problem: Aus Aufnahmen unter definierter Beleuchtung rekonstruiert ihr Normalen, Albedo und Materialeigenschaften realer Objekte. Ihr nutzt Beleuchtungsmuster, implementiert Photometric-Stereo-Ansätze und untersucht, wo einfache Modelle ausreichen und wo sie kaputt gehen.

Schwerpunkte: Inverse Rendering, Photometric Stereo, Optimierung, Robustheit gegenüber Rauschen und Glanz

Gruppe 3 Rendering und Demo

Ergebnisse sichtbar und erlebbar machen

Diese Gruppe verbindet alles. Ihr nutzt die rekonstruierten Normal- und Materialmaps, um ein Relighting- und Visualisierungssystem zu bauen. Ziel ist eine coole Demo, die den gesamten Prozess zeigt: reales Objekt vor der LED-Wall → Capture → Rekonstruktion → Rendering unter neuer Beleuchtung.

Schwerpunkte: Relighting, Rendering, Visualisierung, Demo-Pipeline und Präsentation

Termine 

Zusätzlich sind die Termine für die Abgabe der Dokumente auf der  SEP Seite des ISF zu finden.