Computer Graphics
TU Braunschweig

Computer Vision and Machine Learning SS'21
Vorlesung mit Übung

Prof. Dr.-Ing. Martin Eisemann

Hörerkreis: Master
Kontakt: cvml@cg.cs.tu-bs.de

Modul: INF-CG-036, INF-CG-037
Vst.Nr.: 4216036, 4216037

Aktuelles

Die Ergebnisse sind an das Prüfungsamt weitergeleitet worden. Hier ist die Notenverteilung der Prüfung (Schnitt: 2,68):

Bitte tragen Sie sich in folgendem Email-Verteiler ein, damit wir Sie auch kurzfristig erreichen können: Lv-CVML

Sprache

Da der Kurs auch im Master Data Science angeboten wird ist die Unterrichtssprache Englisch.

Beschreibung

Nach erfolgreichem Abschluss dieses Moduls besitzen die Studierenden ein grundlegendes Verständnis zur Entwicklung komplexer Computer Vision Anwendungen. Sie sind in der Lage Probleme aus der Computer Vision zu durchdringen und geeignete (KI-basierte) Lösungen zu entwerfen und praktisch zu implementieren.

Bedingt durch die Corona-Restriktionen muss die Veranstaltung bis auf weiteres leider online stattfinden. Jede Woche werden die Folien und das entsprechende Material auf diese Webseite hochgeladen.

Bleiben Sie gesund!

Anmeldung

Für die Teilnahme an der Vorlesung und Übung ist lediglich eine Email von Ihrem TU Account an cvml@cg.cs.tu-bs.de mit folgenden Informationen erforderlich:

Name, Vorname, Studiengang, Bachelor oder Master, Matrikelnummer.

Studip wird nicht verwendet für diesen Kurs.

Die Anmeldung für die Prüfung erfolgt über das Prüfungsamt

Inhalt

Die Inhalte können sich noch bis zum Start der Vorlesung verändern

- Feature Detektoren und Deskriptoren
- Objekterkennung
- Matting
- Dense Correspondences
- Motion Capture
- Kamerakalibrierung
- Epipolar Geometrie
- Stereo und Multi-View Rekonstruktion
- Machine Learning für Computer Vision Probleme
- Computer Vision for Special Effects

Ort und Zeit

LIVE, Dienstags, 13:15–14:45 Uhr / Raum IZ 160 Online (Zugang unter https://webconf.tu-bs.de/mar-uf3-wqy , Lernvideos bitte VOR der Veranstaltung anschauen, diese werden weiter unten wöchentlich bereitgestellt)
Wöchentlich, beginnend am 13.04.2021

LIVE, Donnerstags, 09:45–11:15 Uhr / Raum IZ G40 Online (Zugang unter https://webconf.tu-bs.de/mar-uf3-wqy , Übungsblätter VOR der Veranstaltung bearbeiten, diese werden weiter unten in der Regel donnerstags bereitgestellt)
Wöchentlich, beginnend am 15.04.2021

26.07.2021, 09:00–10:30 Uhr per EvaExam

Vorlesungen

Die Vorlesung wird als Inverted Classroom durchgeführt, d.h. Sie müssen sich vorab das bereitgestellte Video/Material anschauen und die Vorlesungszeit kann für Fragen und vertiefende Thematiken genutzt werden.

Das Material für die jeweils nächste Veranstaltung, sowie die Vorlesungsfolien, werden in der Regel eine Woche vorher hier zur Verfügung gestellt.

Das Passwort wird in der VL bekannt gegeben und kann notfalls unter cvml@cg.cs.tu-bs.de erfragt werden.

Die LIVE Sessions finden jeden Dienstag regulär statt, ausser in der Exkursionswoche.

13.04.2021 Introduction and Image Acquisition [pdf1][pdf2][video1][video2] (can be skipped if you already attended the module "Digital Image Processing" last semester)

20.04.2021 LIVE Session [pdf]

23.04.2021 Digital Image Processing Basics [pdf1][pdf2][video1][video2] (can be skipped if you already attended the module "Digital Image Processing" last semester)

27.04.2021 LIVE Session [pdf]

30.04.2021 Machine Learning Basics [pdf][video] (can be skipped if you already attended the module "Digital Image Processing" last semester)

04.05.2021 LIVE Session [pdf]

07.05.2021 Features [pdf][video]

11.05.2021 LIVE Session [pdf]

14.05.2021 Optical Flow [pdf][video]

18.05.2021 LIVE Session [pdf]

21.05.2021 Parametric Transformations and Scattered Data Interpolation [pdf][video]

24.-28.05.2021 Exkursionswoche (keine Vorlesung oder Übung)

28.05.2021 Exkursionswoche

01.06.2021 LIVE Session [pdf]

04.06.2021 Epipolar Geometry and Stereo [pdf][video]

08.06.2021 LIVE Session [pdf]

11.06.2021 no lecture due to illness

15.06.2021 no lecture due to illness

18.06.2021 Video Matching, Morphing, and View Synthesis [pdf][video]

22.06.2021 LIVE Session [pdf]

25.06.2021 Camera Calibration and Multiview Stereo [pdf][video]

29.06.2021 LIVE Session (no slides)

02.07.2021 Neural Radiance Fields [pdf][video]

06.07.2021 LIVE Session [pdf]

09.07.2021 Prepare for Example Exam

13.07.2021 LIVE Session Example Exam

20.07.2021 Wiederholung und Fragestunde

Übungen

Die Übungsaufgaben werden jeweils Donnerstags online gestellt und am darauffolgenden Donnerstag in der Übungsstunde besprochen.

Die theoretischen Aufgaben eines jeden Übungsblattes sind in Gruppen von zwei bis drei Personen anzufertigen und bis spätestens Mittwochs 9:30 Uhr im Git Repository der jeweiligen Übung hochzuladen. Namen und Matrikelnummer auf den Blättern nicht vergessen.

Die praktischen Aufgaben müssen in der Übungsstunde vorgeführt werden. Arbeitsgruppen von bis zu drei Leuten sind erlaubt, doch muss jeder in der Gruppe selbstständig eventuelle Fragen zu den Aufgaben und dem Code beantworten können.

Die Frameworks und Lösungen wurden auf den Rechnern im CIP Pool getestet. Leider können wir keine direkte Unterstützung für andere Systeme garantieren. Für die Anfertigung der praktischen Aufgaben ist ein Computer mit Linux oder Windows erforderlich. Die Funktion des Frameworks unter Mac OS/X kann nicht garantiert werden. Bei Problemen meldet euch per Email an cvml@cg.cs.tu-bs.de.

Kickoff-Folien [pdf] aus der ersten Übung.

Blatt 1

IDE Setup, Hello World, Debugging
Bearbeitungszeit: 15.04–28.04.
Präsentation: 29.04.

Blatt 2

Introduction to Python, Image Handling, Color Spaces
Bearbeitungszeit: 29.04.–12.05.
Präsentation: 13.05. 20.05.

Blatt 3

Noise, Filtering, Image Stacking, Edge Detection, Thresholding
Bearbeitungszeit: 13.05.–26.05.
Präsentation: 28.05. 03.06.

Blatt 4

Feature Detection, Object Recognition and Detection
Bearbeitungszeit: 27.05.–09.06.
Präsentation: 10.06.

Blatt 5

Optical Flow
Bearbeitungszeit: 10.06.–23.06.
Präsentation: 24.06.

Blatt 6

Epipolar Geometry, Depth Estimation
Bearbeitungszeit: 24.06.–07.07.
Präsentation: 08.07.

Blatt 7

Morphing
Bearbeitungszeit: 08.07.–14.07.
Präsentation: 15.07.

Prüfung

Prüfungszeitraum siehe unter Ort und Zeit.
Eventuelle Änderungen werden in der Vorlesung und auf dieser Webseite rechtzeitig bekanntgegeben.

  • Prüfungsform: (Klausurähnliche) Hausarbeit mit EvaExam
  • Scheinerwerb durch Bestehen der Prüfung (mind. 50% der Punkte)
  • Voraussetzung zum Modulabschluss: mindestens 50% der Punkte aus den Übungen erreicht.
  • Prüfungsteilnahme auch bei Vertiefung empfehlenswert!
  • Studierende müssen sich beim Prüfungsamt anmelden!

Prüfungsdetails

Durch die sich stetig ändernden Corona-Regeln, möchten wir Sie bitten diese Seite regelmäßig aufzusuchen, sollten sie planen an der Prüfung teilzunehmen.

TL;DR

  1. Prüfung am 26.07.2021 von 09:00 - 10:30 Uhr. Zugang ist ab Beginn für 15 Minuten möglich.
  2. Zur Teilnahme benötigen Sie eine TAN und einen Link zum EvaExam System, welche Ihnen ca. 5 Tage vor der Prüfung per Email zugeschickt werden. Sollten Sie 4 Tage vorher noch keine TAN erhalten haben, melden Sie sich bitte umgehend mit folgenden Angaben [Vor- und Nachname, Matrikelnummer, Studiengang, BA oder MA, TU Emailadresse] unter cvml@cg.cs.tu-bs.de. Sie bekommen dann eine neue TAN.
  3. Während der Prüfung steht Ihnen unter https://webconf.tu-bs.de/mar-uf3-wqy ein BBB Raum für Fragen zur Verfügung. Bitte loggen Sie sich dort nur ein, wenn akute Fragen bestehen, um die Übersicht zu bewahren.
  4. Nach Beendigung der Prüfung müssen Sie noch am gleichen Tag die Eigenständigkeitserklärung im Upload-Ordner hochladen (Link zum Ordner). Das Passwort lautet CvML . Benennen Sie die Datei bitte im folgenden Format Erklaerung_OnlinePruefung_Matrikelnummer.pdf (bzw. .png oder .jpg, falls Sie kein PDF erstellen können). 

Weitere Details

Bitte beachten Sie: Sollten Sie eine TAN erhalten haben, sich aber von der Prüfung abgemeldet haben, so dürfen Sie nicht mittels dieser TAN an der Prüfung teilnehmen! 

Technische Voraussetzungen und Rahmenbedingungen

Wir empfehlen die Prüfung an einem PC durchzuführen und nicht am Handy oder Tablet!

Beachten Sie, dass die Verwendung der Browsernavigation (Vor/Zurück/Aktualisieren) während der Prüfung NICHT verwendet werden sollte und zu einem Abbruch der Prüfung führen kann. Ebenso natürlich ein Schließen des Browsers.

Eine einmalig begonnene Prüfung kann nicht erneut begonnen werden. Loggen Sie sich also nicht aus während der Prüfung!

Bei technischen Problemen haben Sie als Prüfling die Nachweispflicht, dass etwas nicht wie erwartet funktioniert hat (bspw. über Screenshots und ähnliches).

Eigenständigkeitserklärung

Wie bei jeder Online-Prüfung sind Sie verpflichtet eine Eigenständigkeitserklärung abzugeben. Diese können Sie sich hier bereits herunterladen: Eigenständigkeitserklärung.

Füllen Sie diese nach der Prüfung aus, benennen Sie die Datei um, so dass ihre Matrikelnummer im Dateinamen steht, bspw. Erklaerung_CVML_y10021313.pdf. Bitte verwenden Sie nur gängige Dateiformate für den Upload, idealerweise PDF, sonst JPG oder PNG.

Die Abgabe hat am Tag der Prüfung über einen Upload-Folder zu erfolgen (Siehe oben unter TL;DR. Der Link wird ab dem Tag nach der Prüfung ungültig! Bei technischen Problemen, dokumentieren Sie diese bitte mittels Screenshot und senden nur dann die Eigenständigkeitserklärung zusammen mit dem Screenshot per Email an cvml@cg.cs.tu-bs.de).

Das Passwort für den Upload-Ordner ist CvML

Bei Aufruf des obigen Links sehen Sie folgendes Fenster:

Geben Sie das oben genannte Passwort ein und klicken Sie auf "OK".

Danach sehen Sie ein Fenster, dass ungefähr wie folgt aussieht:

Geben Sie hier als Benutzernamen Ihre Matrikelnummer ein und ihre TU Emailadresse.

Es erscheint folgender Dialog:

Hier können Sie die Eigenständigkeitserklärung entweder per Drag&Drop ablegen oder über den Button "Datei hinzufügen" auswählen. Klicken Sie dann auf "Upload".

Der grüne Balken, sowie ein kleines Fenster in der unteren linken Ecke teilt Ihnen mit, wenn der Upload abgeschlossen ist.

Klicken Sie abschließend auf "Schließen". Der Upload der Eigenständigkeitserklärung war erfolgreich.

Inhalte

Die Fragen werden voraussichtlich ausschließlich kprim Fragen sein (d.h. es gibt pro Frage einen Aufgabentext und 4 Aussagen dazu, die als richtig oder falsch gekennzeichnet werden müssen. Es gibt 1 Punkt, wenn alle Aussagen korrekt markiert wurden. 0,5 Punkte, wenn 3 Aussagen korrekt markiert wurden, 0 Punkte bei 0-2 richtig markierten Aussagen. Ein Beispiel ist weiter unten gegeben. Ein Minimalbeispiel können Sie auch unter https://eva.tu-braunschweig.de/evaexam/online.php?pswd=prog2 abrufen, um sich mit der Fragenform vertraut zu machen. Bitte beachten Sie, dass dieses Onlinequiz weder vom Umfang, noch von der Schwierigkeit, noch von den Inhalten Rückschlüsse auf die wirkliche Prüfung gibt, sondern Ihnen lediglich die Möglichkeit bietet das System einmal auszuprobieren.)

Hilfsmittel

Da es sich um eine (klausurähnliche) Hausarbeit handelt, sind Ihnen Hilfsmittel (Internet, Bücher, Aufzeichnungen, etc.) erlaubt. Es ist jedoch in jedem Falle untersagt, die Hilfe dritter Personen in Anspruch zu nehmen oder sich mit anderen Personen auszutauschen. 

Anmeldung und weitere Informationen

Eine Anmeldung über das jeweilige Prüfungsamt ist zwingend erforderlich! Erst dann bekommen Sie kurz vor der Prüfung weitere Zugangsinformationen zugeschickt. (Da persönliche TAN Nummern verschickt werden müssen, erfolgt die Versendung erst wenige Tage vor der Prüfung, leider ist dies nicht anders möglich.)

Bitte beachten Sie folgenden Passus, der auch in der online Prüfung bzw. der Einladungsemail angezeigt werden sollte:

"Mit dem Öffnen der Prüfungsaufgaben bestätigen Sie, dass Sie sich geistig und körperlich in der Lage befinden, die Prüfung abzulegen (d.h. prüfungsfähig sind).

Mit dem Beenden und Abschicken des Prüfungsbogens bestätigen Sie, dass Sie die oben bezeichnete Prüfung selbstständig und ohne unzulässige fremde Hilfe sowie ohne Heranziehung nicht zugelassener Hilfsmittel bearbeitet haben. Sie bestätigen, dass Ihnen bewusst ist, dass der Verstoß gegen prüfungsrechtliche Regelungen über die Täuschung bei der Erbringung von Prüfungsleistungen nach § 11 Abs. 4 APO als Täuschungsversuch gewertet wird und damit zum Nichtbestehen der Prüfung führt. In besonders schweren Fällen z. B. bei Plagiaten, Verwendung nicht zugelassener elektronischer Hilfsmittel, auch zur Kommunikation während der Prüfung, bei organisiertem Zusammenwirken mehrerer Personen kann der Prüfungsausschuss zusätzlich das endgültige Nichtbestehen der Prüfung und damit das Scheitern im Studiengang feststellen.

Hilfe während der Prüfung

Während der Klausur steht ihnen zusätzlich ein WebEx zur Verfügung, in welchem Sie Fragen an die Aufsicht stellen können ( https://tu-braunschweig.webex.com/meet/m.eisemann ). Bitte loggen Sie sich dort nur ein, wenn Sie akute Fragen haben. Dort werden Sie bei Fragen in eine Breakout Session eingeladen, bitte schreiben Sie nichts inhaltliches in den Chat, dies könnte als Täuschungsversuch angesehen werden.

kprim Beispiel

Hier sei einmal ein Beispiel gegeben wie eine kprim Aufgabe aussehen könnte.

Gegeben folgender Source Code:

Prüfen Sie die folgenden Aussagen auf ihre Korrektheit.

  1. Der Rückgabetyp der Funktion sollte double und nicht int sein, da sonst eine implizite Konvertierung stattfindet. richtig/falsch
  2. In Zeile 5 würde der Compiler eine Fehlermeldung werfen, weil eine nicht initialisierte Variable verwendet wird. richtig/falsch
  3. Der Code in Zeile 10 würde effizienter, wenn dort folgender Code stehen würde:   richtig/falsch
  4. Statt einer verketteten Liste wäre ein Array besser geeignet in obigem Code, da Einfüge und Löschoperationen sehr häufig ausgeführt werden. richtig/falsch

Bitte beachten Sie, bei einer kprim Aufgabe können auch alle Aussagen richtig, oder alle falsch sein!

Probeprüfung

Eine kleine Probeprüfung finden Sie hier.

Ergänzungsprüfung

Falls Sie eine mündliche Ergänzungsprüfung benötigen, weil Sie im letzten regulären Versuch die Prüfung nicht bestanden haben, so senden Sie bitte umgehend nach Erhalt der Note (also wenn diese offiziell beim Prüfungsamt eingetragen wurde) eine Email mit der Bitte um mündliche Ergänzungsprüfung an sekretariat@cg.cs.tu-bs.de unter Angabe ihres vollen Namens, Matrikelnummer, TU Emailadresse und Studiengang.

Die mündlichen Ergänzungsprüfungen finden in der Regel gesammelt jeweils 1x im Semester statt. Ein Termin wird ihnen rechtzeitig vorher mitgeteilt.

Anforderungen

  • Programmierkenntnisse, vorzugsweise in C/C++ oder Python

Literatur

  • Richard J. Radke: Computer Vision for Visual Effects,
  • Richard Szeliski: Computer Vision: Algorithms and Applications, Springer Verlag
  • D. Forsyth and J. Ponce: Computer Vision: A Modern Approach. Prentice Hall