Präzise sphärische 360°-Bildgebung mit mehreren vor-kalibrierten Sensoren

Heute eignen sich dank ihrer Qualität und Flexibilität sphärische Videodaten ideal für Anwendungen, welche die Synchronisation von Videobildern erfordern. Die bekanntesten und typischsten sind GIS-Anwendungen wie Online-Mapping und Straßenansichten mit der Einfärbung von LIDAR erzeugten 3D-Punktwolken. Die Unterhaltungsindustrie ist ein weiterer frühzeitiger Nutzer dieser Technologie, um immersive Erlebnisse zu bieten.

Die sphärischen Ladybug-Bildgebungssysteme von Flir sind in der Tat zum Standard in der Branche geworden. Die Ladybug-Systeme erfassen die Bilder, verarbeiten sie und fügen sie inklusive benötigter Korrekturen aneinander, um in Echtzeit mehrere Kamerabilder in ein sphärisches Panorama-Streaming-Video zu integrieren. Die Fähigkeit, in Echtzeit zu streamen, ist auf dem Markt einzigartig. 

Synchronisation mehrerer Kameras

Während einige Systeme Spiegel oder Fischaugen-Objektive verwenden, um den Effekt einer Panoramaansicht zu erzeugen, setzen die Ladybug-Systeme auf sechs Kameras mit qualitativ hochwertigen Sony® CCD-Bildsensoren, um wirklich Bilder zu liefern, die für 90% der Vollsphäre aus sechs Blickwinkeln aufgenommen wurden. Fünf CCDs sind in einem horizontalen Ring platziert und einer ist vertikal mit Blick nach oben positioniert. Die sechs Kameras sind vor-kalibriert; dies ist die entscheidende Technologie , welche die vielen anderen Innovationen innerhalb des Systems erst möglich macht. Da die Objektiveinstellungen wie Fokus und Blende nicht veränderbar sind, um sicherzustellen, dass die Kamera kalibriert bleibt, ist keine Kalibrierung am Einsatzort notwendig. Die Ladybug-Kameras werden über die Ladybug API als Teil der SDK gesteuert. Sie erlaubt die vollständige Kontrolle der Kamera, Grafik-Rendering und den Überblick über das Koordinatensystem. Das Grafik-Rendering unterstützt Echtzeitkorrektur, Stitching und Blending. Die Systemkoordination erlaubt es Nutzern, jeden der sechs Sensoren unabhängig voneinander zu verwalten. Die SDK erlaubt es den Nutzern schließlich, das System in ihre eigenen individuellen Anwendungen zu integrieren.

Geometrische Kalibrierung und Genauigkeit

Anstatt sich nur auf eine mechanische Kalibrierung zu verlassen, nutzen Ladybug-Systeme eine Software, um jede Kamera einzeln und in Relation zu den anderen fünf Kameras zu kalibrieren. Das System kennt so den Vektor jedes Pixels in jeder Kamera mit einer Genauigkeit von einem hundertstel Grad. Dies wiederum ermöglicht es Anwendungen zu wissen, wo sich die Kamera im Verhältnis zum Rest der Welt befindet. Um diese Vergleichsdaten liefern zu können, löste Point Grey nicht nur das Problem der Kalibrierung der Objektive, sondern beseitigte auch die größere Herausforderung, die Rotationen und Übersetzungen zwischen allen sechs Objektiven mit hoher Präzision zu kalibrieren. Ein Problem, das durch die geringe Überlappung der Sichtfelder der Kameras erschwert wird.

Sphärisches Ladybug-Bild verbunden mit GPS-Daten

Sphärisches Ladybug-Bild verbunden mit GPS-Daten Ladybug-Bild abgebildet auf LIDAR-Punktewolke Die geometrische Genauigkeit der Ladybug-Kalibrierung sorgt dafür, dass Bilddaten über die gesamte Sphäre und nicht nur über die Nähte hinweg räumlich konstant sind. Dies erlaubt es der Point-Grey-Software jede Teilansicht der Videosphäre zu rendern, ohne dass Objektivverzeichnungseffekte wahrnehmbar sind. Und das auch, wenn das Rendering mehrere Kamerabilder umfasst.

Die Entscheidung für eine Softwarekorrektur anstelle einer präzisen mechanischen Ausrichtung hat zur Folge, dass Ladybug-Kameras mit einem effizienten und sinnvollen Bedarf an mechanischen Toleranzen montiert werden können. Point Grey hat auch den werksseitigen Kalibrierungsprozess automatisiert, der äußerst konsistente und zuverlässige Ergebnisse liefert. Das mechanische Konstruktionsprinzip und die automatisierte Kalibrierung haben die Produktion von Ladybug-Kameras sehr flexibel gemacht. Sie können an wechselnde Herausforderungen angepasst werden. Durch die werksseitige Kalibrierung und das robuste Gehäusedesign entfällt zudem die Notwendigkeit, die Kameras am Einsatzort zu kalibrieren. Die Ladybugs werden einmal - im Werk - kalibriert und dann in einem einzigartigen, robusten Gehäuse untergebracht, das stabil genug ist, um Temperaturschwankungen, Vibrationen und Erschütterungen zu widerstehen. Dadurch bleibt die Kalibrierung intakt und eine Kalibrierung am Einsatzort ist nicht mehr notwendig.

Abbildung der Ladybug-Bildgebung auf LIDAR-Punktwolke

Vorteile der Kalibrierung

Die Fähigkeit, Anwendungen zu ermöglichen, zu wissen, wo sich die Kamera in Bezug auf die Welt befindet, führt die Ladybug als Kamera über das reine Panoramabild hinaus in den Bereich der Computervision, wo sich eine Vielzahl von Anwendungsmöglichkeiten eröffnen.

Post-Processing-Workflow für maximalen Dynamikbereich

Die Ladybug5 verschiebt die Bildverarbeitung von der Kamera auf den Host-PC, wo Benutzer das Ergebnis kontrollieren. Die Ladybug5 erfasst, komprimiert und überträgt Bilder mit voller Bittiefe (12 Bit) an den Host-PC. Die Post-Processing-Werkzeugleiste des LadybugCapPro erlaubt die Anwendung von Weißabgleich, Gamma, Smear-Korrektur, Fall-Off-Korrektur und anderen Bildverarbeitungsfunktionen. Nutzer sind in der Lage, Entscheidungen zu treffen und mit den Einstellungen zu experimentieren, während sie die Bilder und Effekte in Echtzeit betrachten.

Vorteile von Post-Processing

Die separaten Verfahren für Aufnahme und Nachbearbeitung erlauben es Nutzern, den Dynamikbereich zu maximieren und bieten ihnen mehr Flexibilität, da sie jederzeit zum ursprünglichen Inhalt zurückkehren und die gewünschten Nachbearbeitungsschritte erneut anwenden können.