Evaluierung von Methoden zur Erstellung von taktilen Bildern aus einem Foto
Ziel Ihres Projektes ist es ein 2D Foto in ein 3D-Modell umzuwandeln und dieses mit einem 3D Drucker auszudrucken, damit blinde Menschen die Objekte des Bildes fühlen können.
Die Umwandlung soll über einen 2-stufigen Prozess realisiert werden, bei dem Sie aus dem 2D Foto Tiefeninformationen (= depth map, siehe https://en.wikipedia.org/wiki/Depth_map, oftmals als Graustufenbild dargestellt) extrahieren und danach mit diesen Tiefeninformationen ein 3D Modell erstellen lassen. Andere Methoden versuchen die Kanten von Objekten zu erkennen. Die Kanten und der Hintergrund werden dabei in unterschiedlichen Farben dargstellt (schwarz/grau/weiß). Diese Farben können für das 3D Modell als Tiefeninformationen interpretiert werden.
- Depth Map
Um Tiefeninformationen aus einem 2D Foto zu gewinnen, sollen unterschiedliche Methoden erprobt werden. Sie können auch mehrere dieser miteinander kombinieren. Wichtig ist dabei Detailinformationen zu reduzieren und Bilder mit einfachen Objekten und Kanten zu erstellen.
- https://pinetools.com/emboss-effect-image
- https://pinetools.com/image-edge-detection
- https://pinetools.com/threshold-image
- Monocular Depth Estimation (https://github.com/isl-org/MiDaS)
- Segment-Anything (https://segment-anything.com/demo) Mit Segment-Anything können verschiedene Bereiche aus einem Bild ausgeschnitten werden, welche durch ein KI-Modell freigeschnitten werden. Schneiden Sie die Hauptobjekte des Bildes aus und erstellen Sie ein neues Bild. Diese muss anschließend noch in ein Bild mit Tiefeninformation umgewandelt werden.
- 3D Modell
Sobald Tiefeninformationen in Form einer "Depth Map" verfügbar sind, kann die "Depth Map" dazu verwendet werden, ein 3D Modell (STL Datei) zu generieren und diese dann mit Hilfe von 3D Druckern auszudrucken. Hierfür stehen Ihnen bspw. folgende Optionen zur Verfügung, welche auch zu unterschiedlichen Ergebnissen führen:
- Image to Lithophane Converter: https://3dp.rocks/lithophane/
- Depth Map to STL Converter: https://github.com/sabicalija/relief-py
- Lithophanemaker (erstellt direkt eine .stl Datei aus einem 2D-Foto): https://lithophanemaker.com/Framed%20Lithophane.html
- https://imagetostl.com/create-3d-heightmap
Für Ihre Versuche verwenden Sie bitte beiliegendes Referenzbild.
Elemente der Aufgabenstellung
- Erprobung der verschiedenen Methoden für die Erstellung der Depth Map
- Erprobung verschiedener Methoden zur Erstellung einer STL-Datei
- 3D-Druck vielversprechender Ergebnisse
- Evaluierung der taktilen Bilder mit blinden Menschen
- Dokumentation der Arbeitsschritte mittels Screenshots und textueller Beschreibung der Einstellparameter (pdf)