Zephyr, MetaShape, Reality Capture: Zeit- und Qualitätsvergleich

Das Internet ist voll von Modellen, die mit unterschiedlichen kostenpflichtigen Programmen erstellt wurden, aber oftmals fehlt es an Vergleichstests, die auf demselben Fotosatz basieren und die Endergebnisse nebeneinander zu zeigen, um damit den Vergleich zu erleichtern.

• Vielleicht ergibt eines der Programme ein besseres Mesh?
• Vielleicht ist es möglich, mit dem anderen eine bessere Textur zu erhalten?
• Wie sieht es mit den Berechnungszeiten aus?

Wir haben uns damit beschäftigt und haben schönen Beitrag gefunden der RealityCapture, Metashape und 3DF Zephyr miteinander vergleicht.

In diesem Artikel sind die Ergebnisse eines Vergleichstests zwischen den 3 beliebtesten kostenpflichtigen Photogrammetrie-Lösungen, zu sehen. Es ist immer gut, die Stärken und Schwächen zu kennen, bevor man ein Produkt kauft.

Die genutzten Parameter – Vergleich

Vergleichsparameter

Der Vergleich ist gedacht für Menschen die noch am Anfang ihres Photogammetrie Abenteuers befinden. Leute die sich für den Kauf eines dieser Programme 3DF Zephyr, MetaShape oder RealityCapture klarer in der Entscheidung sein möchten. Die Fotosätze, die normalerweise verwendet werden, stammen von Handys, Familienausflugskameras, Drohnenvideos, die an sonnigen oder regnerischen Tagen aufgenommen wurden, und das war’s – man waren einmal dort und es ist nicht möglich, zurückzugehen um bessere Bilder zu machen.

In den weiteren Teilen dieses Artikels werdet ihr zwei Tests sehen; einen mit einem Bildersatz in professioneller Qualität von einem Schädel, der mit einer Nikon D610+Tamron 28-75 aufgenommen wurde.

Und in dem zweiten Test, wurden Fotos bearbeitet, die von einem YouTube Video extrahiert wurden, schlechte Qualität der Videoaufnahme + YouTube-Komprimierung + als jpg gespeicherte Fotos (zusätzliche Kompressionsartefakte).

Was getestet wurde

Grundsätzlich, werden die Programme 3DFlow Zephyr Lite, Agisoft MetaShape Standard und RealityCapture mit denselben Fotosätzen arbeiten, die auf drei verschiedene Arten vorbereitet wurden, und wie sich diese Fotovorbereitung auf die Bearbeitungszeiten, die Qualität und die endgültige Textur auswirkt.

Ok, was wird man über ein paar Modelle und Fotos hinaus zu sehen bekommen? Wie bereits erwähnt wurde, eine sehr wichtige Sache – die Bearbeitungszeiten (für Test 2). Diese Zeiten ergeben sich aus den gleichen oder ähnlichen Schritten (für jedes Programm), die durchlaufen werden müssen, um aus 2D-Bildern 3D-texturierte Objekte zu erhalten. Man wird sicher das Verhältnis der Bearbeitungszeiten zwischen diesen drei Programmen sehen, und das sollte mehr oder weniger eine Vorstellung davon geben, was erwartet werden kann, wenn es um Zeit und Qualität geht.

Hier die Spezifikationen der Workstation mit der hier im Vergleich gearbeitet wurde – ohne Übertaktung.

PC-Konfiguration
Betriebssystem: Windows 10
CPU: Amd Threadripper 1950x (32 Kerne)
GPU: GTX 1080ti
RAM: 64GB 2400mHz

Wie funktionieren Maskierung und schnelle Bildbearbeitung im Vergleich

Über das Objekt und die Aufnahmesitzung

Das Testobjekt war ein Schädel aus Epoxidharz von guter Qualität. Im Vergleich zu echten Schädeln war etwa 6/10 Genauigkeit – viele nette Details, aber weit davon entfernt, eine anatomisch glaubwürdige Kopie zu sein. Die Fotos wurden schnell gemacht.

Ein farbiger Stuhl war die”grüne Leinwand” damit Maskierungen leichter sein würden. Die Kamera stand auf einem Stativ und über eine Fernbedienung wurde der Auslöser gedrückt.

Blende: 11
Belichtungszeit: 1s
ISO: 100

Anzahl der Fotos:
Ganzer Kopf 71
Unterteil 46
Kieferknochen 26

Photogammetrie

Nach einer den grundlegenden Aufnahmesituationen, die mit drei verschiedenen Kamerahöhen, wurden die Kieferknochen entfernt, um damit den unteren Teil des Schädels und den Kieferknochen aus verschiedenen Winkeln zu fotografieren.

Damit man Teile erfassen konnte, die bei der normalen Aufnahmesitzung nicht sichtbar gewesen wären. Für die spätere Farbkorrektur wurde X-Rite Passport verwendet – ein nützliches Werkzeug, um das Umgebungslicht anzupassen.

Methode

Ziel dieser Tests war es, zu prüfen, wie jede dieser drei Softwares (mit den Standardeinstellungen “Mittel” und “Hoch”) dasselbe Fotoset verarbeiten würden, wobei die Hintergrundinformationen vollständig entfernt wurden. Zunächst wurden mit einer Raw Software, Farben korrigiert und die Schatten aus den RAW-Bildern entfernt. Die Fotos wurden als PNG-Dateien gespeichert, und mit einem Bildbearbeitungs Programm wurde anschließend alles Unwesentliche, wie zum Beispiel, der Hintergrund entfernt.

Die Fotos hat man dann im Stapel als PNG-Dateien, mit einem zusätzlichen Alphakanal gespeichert.

Konfiguration der Photogrammetrie-Softwares

Mittlere/hohe Verarbeitung, bedeutet:
Alle Schritte sind auf demselben Niveau, z. B. mittel:

• Fotoausrichtung – mittel
• Dichte Punktwolkenberechnung – mittel
• Meshextraktion – mittel, ohne Textur Extraktionen.

Weiterverarbeitung:

Alle Modelle wurden in ZBrush zu einer Mesh-Szene verbunden und von 12.000k Punkten auf 1.299k Punkte dezimiert, um das Limit für den kostenlosen Datei-Upload von Sketchfab von 50MB zu erreichen. Diese Anpassung war notwendig, um die Dateigrößenbeschränkung des kostenlosen Sketchfab-Kontos, auf dem die Beispiele zur Verfügung gestellt werden, einzuhalten.

ZBrush hat die Option, ein Mesh mit ungleichmäßig großen Dreiecken zu dezimieren, was dazu beiträgt, die Polycount an Stellen zu reduzieren, an denen ohnehin Informationen fehlen (z. B. flache Oberfläche) und die maximale Detailgenauigkeit zu erhalten.

Ergebnisse im Vergleich

Zunächst wurde festgestellt, dass alle Programme in der Lage waren, ein einziges Netz aus drei Datensätzen (ganzer Schädel, unterer Teil des Schädels und Kieferknochen) zu erstellen. Alle Fotos wurden in allen drei Programmen beim ersten Versuch sauber ausgerichtet.

Das zweite erwähnenswerte Merkmal ist die Qualität des Netzes. Bitte entscheidet selbst, welches Modell am besten aussieht, unter Beachtung folgender Mesh-Teile:

• Kieferknochen – insbesondere der obere Teil, wo er mit dem Schädel verbunden ist
• Zahnlinie – bedenken Sie, dass das Originalmodell einen geschlossenen Kiefer hat, aber der Kiefer eine separate Sitzung erhielt, um einige Zahninformationen zu erhalten – theoretisch sollte es eine Lücke zwischen den oberen und unteren Zähnen geben.
• Oberer Teil des vorderen Schädels – offenbar war der Fotosatz nicht perfekt und es wurden nicht genügend Fotodaten für die Stirn geliefert.
• Qualität der Schädelnaht: Tiefe und Qualität

Bearbeitung mit einem großen Objekt

Zielsetzung:

Eigentlich sollte es eine schnelle Modellextraktion sein, daraus wurde ein unfreiwillig langer Test. Die ursprüngliche Idee war es, zu prüfen, welches Programm in der Lage wäre, ein Modell aus einer improvisierten Videoaufnahme zu extrahieren, als Beweis für eine Situation wie “Hey, ich habe eine Drohnenaufnahme von X, kannst du ein Modell daraus extrahieren?” Die Qualität war zufällig, die Aufnahmen sind nicht perfekt, das Quellmaterial war eine Drohne.

Methode:

Der extrahierte endgültige Fotosatz von 405 Fotos wurde zweimal kopiert, um einen Ordner mit maskierten Fotos (unwichtige Teile wurden maskiert und durch reine weiße Farbe ersetzt) und einen “ausgeschnittenen” Satz zu erstellen, anstelle von weißen Masken Bildinformationen durch Löschen entfernt und der leere Raum als Alphakanal belassen wurde. Die endgültige Anzahl der Fotos dieser beiden Sets wurde noch weiter reduziert, nachdem bei der manuellen Maskierung eine strengere Prüfung vorgenommen wurde – für diese beiden Sets betrug die endgültige Anzahl der Fotos 358 .

Die Vorgehensweise bei der Photogrammetrie war identisch mit “Test 1”, mit einem zusätzlichen Schritt der Texturextraktion. Alle Texturen wurden vorsichtshalber als 8k-Karten extrahiert und als png-Dateien gespeichert. Allerdings um eine zufällige Beanspruchung der CPU während der Bild- und Modellverarbeitung zu vermeiden, wurden Teile der Bearbeitung virtuell ausgelagert.

Nach der Erstellung des Netzes wurden alle Modelle zur Bereinigung in ZBrush übertragen – schwebende Teile (Fehler) wurden entfernt und überflüssige Teile der Umgebung des Schlosses (wie die Stadt, die Straßen, den Parkplatz, usw.). Der Dezimierungsprozess zielte darauf ab, so viele Details wie möglich zu erhalten und die Dateigrößenbeschränkung des kostenlosen Sketchfab-Kontos einzuhalten. Es ist wichtig, das Optionsfeld “UV beibehalten” (Bild) zu deaktivieren – wenn man die UV beibehaltet, besteht eine hohe Wahrscheinlichkeit für sichtbare Texturfehler.

Über Objekt und Aufnahmesitzung:

Das Ausgangsmaterial bestand aus einer Reihe von über 600 Fotos. Alle diese Fotos wurden aus jedem 10. Bild eines mit einer DJI Phantom 3 Pro Drohne aufgenommenen Films mit 30 Bildern pro Sekunde (also 3 Fotos pro 1 Sekunde) extrahiert und als Video in 4k-Qualität auf YouTube hochgeladen.

Die endgültige Bearbeitungszahl wurde auf 405 reduziert, indem Fotos ohne sichtbare Teile von Dover Castle, unscharfe Bilder oder beides entfernt wurden.

Alle Modelle wurden zur quick and dirty Erstellung von UV-Karten an RealityCapture gesendet und mit den ursprünglich fotogrammetrisch extrahierten Meshes zur Texturkartenextraktion in xNormal verschoben. xNormal projiziert die Texturkarteninformationen aus dem ursprünglich extrahierten Mesh auf das neue dezimierte UV-gemappte Mesh. Alle Modelle hatten ihr eigenes Käfig Modell, um die Textur vor Projektionsfehlern zu schützen.

Schließlich wurden die dezimierten Objekt exturiert, um sie mit anderen zu kombinieren, um eine endgültige Vergleichsdatei hochzuladen. Alle Modelle wurden manuell mit dem hochpolig texturierten Rohmesh verglichen. Die neuen Texturen wurden als 2K-Qualität exportiert- ein Mangel an Farbinformationen machte dies möglich.

Die Vergleichsergebnisse

Agisoft Metashape hatte anfangs Probleme mit der Fotoausrichtung – sowohl bei mittlerer als auch bei hoher Ausrichtungseinstellung. Die Lösung, um alle Fotos auszurichten, bestand darin, zuerst das mittlere Ausrichtungsprofil und dann das hohe Profil zu verwenden, ohne die Ausrichtungsergebnisse des mittleren Profils zurückzusetzen. Dadurch hatte man einen zu 100 % ausgerichteten Bildsatz und die Verarbeitungszeit war kürzer als beim Profil “hoch” selbst!

Einige Meshes sehen besser aus als andere, genau wie Texturen – man muss schon genauer hinsehen, um jede Software zu vergleichen. 

Schlussfolgerung

Das Entfernen zusätzlicher, aber nicht notwendiger Informationen durch Maskieren und Ausschneiden als Alphakanal hilft, alle Schritte der Netzerstellung zu beschleunigen. Diese Technik funktioniert besonders gut in MetaShape; man konnte die Zeiten um ein Drittel reduzieren (normal gesetzt gegenüber maskiert) und sogar nochmehr mit dem Alphakanal – 6x normal gesetzt gegenüber ausgeschnitten. Dadurch kann MetaShape zeitlich näher an die Konkurrenz heranrücken, bleibt aber langsamer als die anderen.

Zephyr scheint wirklich große Probleme mit minderwertigen Assets zu haben – aber es, und nur es, war in der Lage, den Schornstein in der Mitte des Schlossdaches nachzubilden.

Reality Capture lieferte wieder ein schönes Mesh mit einer guten Textur, aber mit einer großen Menge an Rauschen, das nachbearbeitet oder zumindest geglättet werden muss.

Metashape lieferte angenehme Ergebnisse und ein schönes Mesh und eine schöne Textur aus ausgeschnittenen (Alpha-)Fotos. Die Bearbeitungszeiten kommen denen von Zephyr sehr nahe, so dass es eine gute Option für diejenigen ist, die bereit sind, zusätzliche Zeit für die Vorbereitung und das Entfernen nicht wesentlicher Informationen aus Fotos aufzuwenden.