Werkstudent (all genders), Robuste Feed-Forward-3D-Rekonstruktion für dynamische Szenen

Overview

Kurzbeschreibung Feed-Forward-Modelle zur 3D-Rekonstruktion können Szenengeometrie direkt aus Bildern oder Videos vorhersagen, ohne eine aufwendige szenenspezifische Optimierung zu benötigen. Durch die Kombination von großskaligem Pre-Training, Multi-View-Reasoning und starken geometrischen Priors stellen sie eine effiziente Alternative zu klassischen Rekonstruktionsverfahren wie Structure-from-Mo

What you'll do

• Kurzbeschreibung Feed-Forward-Modelle zur 3D-Rekonstruktion können Szenengeometrie direkt aus Bildern oder Videos vorhersagen, ohne eine aufwendige szenenspezifische Optimierung zu benötigen.
• Durch die Kombination von großskaligem Pre-Training, Multi-View-Reasoning und starken geometrischen Priors stellen sie eine effiziente Alternative zu klassischen Rekonstruktionsverfahren wie Structure-from-Motion, NeRF und optimierungsbasiertem 3D Gaussian Splatting dar.
• Trotz aktueller Fortschritte reagieren bestehende Modelle weiterhin empfindlich auf anspruchsvolle reale Bedingungen.
• Verdeckungen, bewegte Objekte, wechselnde Beleuchtung, Nachtaufnahmen, Reflexionen, Regen, Nebel und Schnee können zu unvollständiger Geometrie, unzuverlässigen Korrespondenzen und zeitlich inkonsistenten Vorhersagen führen.
• Eine höhere Robustheit unter solchen Bedingungen ist daher insbesondere für autonomes Fahren und robotische Wahrnehmung von großer Bedeutung.
• Als Werkstudent*in unterstützt du die Entwicklung robuster Feed-Forward-Rekonstruktionsmodelle für dynamische Szenen.
• Du untersuchst Methoden zur Behandlung von Verdeckungen, Beleuchtungsänderungen und widrigen Wetterbedingungen.
• Darüber hinaus erforschst du, wie große Rekonstruktionsmodelle als universelle geometrische Backbones für nachgelagerte Aufgaben des 3D-Szenenverständnisses eingesetzt werden können, insbesondere für Semantic Occupancy Prediction und 4D Occupancy Forecasting.
• Diese Aufgaben interessieren Dich Entwicklung und Evaluation von Feed-Forward-Modellen zur Rekonstruktion dynamischer 3D-Szenen aus monokularen oder Multi-View-Bildsequenzen.
• Untersuchung der Rekonstruktionsrobustheit bei partiellen und langfristigen Verdeckungen, bewegten Objekten und unvollständigen Beobachtungen.

Requirements

• Practical experience with Python, PyTorch, Deep Learning, Computer Vision.
• Relevant academic or project background for a Werkstudent (all genders), Robuste Feed-Forward-3D-Rekonstruktion für dynamische Szenen role.
• Strong written and verbal communication in English.
• Comfortable working on-site in Augsburg.

Skills