Sparen Sie Zeit und Aufwand mit Polarisationsfiltern am Sensor

Vorteile der Polarisationsfilter am Sensor

Viele Bildverarbeitungssysteme haben Schwierigkeiten, die Auswirkungen von dynamischem oder übermäßigem Licht, Reflexionen, Dunst und Blendung durch glänzende Oberflächen wie Glas, Kunststoff und Metall zu bewältigen. Blackfly S Machine Vision-Kameras mit Polarisationsfiltern von Sony am Sensor und Funktionen zur Reduzierung der Reflexionen, die in den Spinnaker SDK integriert wurden, bieten eine einfach zu implementierende, leichte und zuverlässige Lösung, um diese schwierigen Situationen zu bewältigen. Mit präziser und dynamischer Kontrolle über Belichtung, Verstärkung, Weißabgleich und Farbkorrektur erfassen Blackfly S-Kameras mit Polarisationsfiltern am Sensor Licht aus vier Winkeln in einem einzelnen Bild – was die Systemkomplexität und das Anwendungsdesign erheblich reduziert.

Systeme, die auf mehreren Kameras und mehreren Filtern hinter einem Strahlteilerprisma oder einer einzigen Kamera mit einem Drehfilter oder einem Filterrad basieren, sind groß, kompliziert und langsam. Durch die gleichzeitige Erfassung des Winkels und der Intensität des gesamten polarisierten Lichts über den Sensor bieten Blackfly S-Kameras mit polarisierten Sensoren im Vergleich zu bestehenden Lösungen höhere Geschwindigkeit, verringerte Größe, Komplexität und Leistungsaufnahme.

Unterstützte Kameramodelle:

Blackfly S GigE-Kameras mit Polarisationsfiltern am Sensor

BFS-PGE-123S6P-C: 12,3 MP, 10 BILDER/SEK, Sony IMX253MZR, polarisiert

BFS-PGE-51S5P-C: 5,0 MP, 24 BILDER/SEK, Sony IMX250MZR, Polar-Mono

BFS-PGE-51S5PC-C: 5,00 MP, 24 BILDER/SEK, Sony IMX250MYR, Polar-RGB

Blackfly S USB3-Kameras mit Polarisationsfiltern am Sensor

BFS-U3-51S5PC-C: 5,0 MP, 75 BILDER/SEK, Sony IMX250MYR, Polar-RGB

BFS-U3-51S5P-C: 5,0 MP, 75 BILDER/SEK, Sony IMX250MZR, Polar-Mono

Wann in die Kamera integrierte Polarisationsfilter nützlich sind:

Unbemannte Flugsysteme (UAS)

Anwendungen wie UAS oder Drohnen kommen in der Regel im Freien unter unkontrollierten Lichtverhältnissen zum Einsatz. Blackfly S bietet vier Sätze polarisierter Bilder mit Polarisationswinkeln bei 90°, 45°, 135° und 0°, um die sich ändernden Lichtverhältnisse sowie die relative Bewegung und Ausrichtung des UAS zu kompensieren. Durch die Bereitstellung von 4 polarisierten Bildsätzen pro Bild für Anwendungstechniker reduziert die Blackfly S die Systemkomplexität, das Gewicht der Nutzlast sowie die Fehleranfälligkeit und verbessert gleichzeitig die Bildqualität und die Entscheidungszeit bei schwierigen Lichtverhältnissen.

Intelligente Verkehrssysteme (ITS)

Die Verwendung eines polarisierten Filters stellt eine Herausforderung für ITS-Anwendungen wie die Erkennung von Verstößen bezüglich Sicherheitsgurte oder der Mobilgerätenutzung aufgrund der reflektierenden Windschutzscheiben dar, da sich die Lichtverhältnisse im Freien den ganzen Tag über ändern. Einige Systeme überwinden diese Probleme durch die Verwendung mehrerer Kameras/mehrerer Filter, was allerdings zu erheblichen Beeinträchtigungen der Systemzuverlässigkeit bei gleichzeitigen höheren Hardware- und Wartungskosten führt. Polarisationsfilter in der Kamera können gleichzeitig vier Sätze von Bildern pro Bild erfassen. Hierdurch wird sichergestellt, dass mindestens eines dieser Bilder die Beseitigung unerwünschter Reflexionen erzielt hat. Anwendungsentwickler haben die Auswahl zwischen einem oder mehreren polarisierten Bildern während der Nachbearbeitung, was Zeit und Geld bei der Entwicklung, Integration und Wartung spart.

Reflexionen auf Windschutzscheiben bei Lichtverhältnissen im Freien, mit und ohne Polarisationsfilter.

Detektion und Identifikation

Die Polarimetrie eignet sich ideal zur Erkennung von Objekten, die andernfalls mit herkömmlichen Licht- oder Wärmebildern nur schwer erkennbar wären. Getarnte Fahrzeuge oder mikroskopische Zellstrukturen reflektieren weiterhin polarisiertes Licht, das parallel zur Oberfläche ausgerichtet ist. Diese Reflexionen zeichnen sich im AoLP-Modus (Winkel der linearen Polarisation) deutlich ab, wie nachfolgend dargestellt ist.

Ein gut getarntes Fahrzeug vor und nach der Verwendung von Polarisationsfiltern am Sensor

Optimierung von Deep Learning (DL) für AUVs und USVs

Das Entstören von Bildern durch Entfernen unerwünschter Blendung und Reflexionen kann das Training von Deep Learning-Systemen vereinfachen. Dies erweist sich vor allem in stark spiegelnden Umgebungen von autonomen Fahrzeugen und Tauchfahrzeugen (Unbemannte Wasserfahrzeuge – USV) als nützlich.

Sonstige Anwendungen

Die hohe Auflösung und das niedrige Ausleserauschen von Blackfly S-Kameras ermöglichen die Analyse eines breiten Sichtfeldes mit Standardmikroskopen (beispielsweise können die polarisierenden Eigenschaften und die optische Aktivität biologischer Verbindungen zwischen gesundem und krankem Gewebe unterscheiden). Mehrere andere Anwendungen wie die Halbleiter- und Elektronikfertigung, Flachbildschirmfertigung und -inspektion, Lebensmittelverpackungen, Kosmetika, pharmazeutische Verpackungen, Logistik, Mikroskopie und Inspektion arbeiten mit reflektierenden Oberflächen, bei denen Polarisationsfilter in der Kamera besonders nützlich sein können.

Wodurch unterscheiden sich Blackfly S-Kameras mit Sonys polarisierten Sensoren?

Sonys Polarisationsfilter am Sensor

Die Sensoren IMX253MZR- und IMX250MZR von Sony basieren auf den gängigen Pregius Global Shutter-CMOS-Sensoren IMX253 und IMX250 mit zwölf und fünf Megapixeln. Jeder einzelne Pixel hat seinen eigenen Polarisationsfilter – diese Filter sind auf 0°, 45°, 90° und 135° ausgerichtet und in sich wiederholenden Zwei-Pixel-Blöcken angeordnet. Diese Sensoren verfügen über Merkmale, die die Auswirkungen der reduzierten Quanteneffizienz (QE), die sich aus dem Hinzufügen von Polarisationsfiltern zu den Pixeln ergibt, minimieren. Die Polarisationsfilter des IMX250MXR besitzen beispielsweise ein Auslöschungsverhältnis von 4:1. Das ist groß genug, um genaue Polarimetriedaten zu liefern, ohne jedoch kreuzpolarisiertes Licht zu blockieren. Hierdurch ist sichergestellt, dass, selbst wenn eine minimale Menge an Licht die Filterausrichtung passiert, ausreichend Licht auf die lichtempfindliche Fotodiode trifft, um brauchbare Bilder zu liefern. Dies macht es möglich, auch unter schwierigen Bedingungen, die zum Ausgleich der verringerten QE einen Verstärkungsfaktor erfordern, Bilder mit niedrigem Rauschen aufzunehmen.

Spinnaker SDK mit Funktionen zur Reduzierung und Eliminierung von Reflexionen

Spinnaker SDK unterstützt API-Aufrufe zur Erstellung von Bildern mit weniger Reflexion aus den Originalbildern, indem das dunkelste Pixel aus jedem Polarisationsquadranten ausgewählt wird. Mithilfe von Polarimetrieparametern werden Reflexionen von nicht-metallischen Oberflächen dynamisch reduziert, wodurch die Systemkomplexität reduziert und die Anwendungsentwicklungszeit verkürzt werden. Siehe das folgende Beispiel:

L – Unbearbeitetes polarisiertes Bild | M – Polarisiertes Bild mit Subjekt von Interesse rot hervorgehoben | R – Bearbeitetes Bild mit aktivierter Reduzierung der Blendung

Höhere Bildraten (mit verlustfreier Komprimierung)

Blackfly S GigE-Kameras mit Sonys polarisierten CMOS-Bildsensoren ermöglichen höhere Bildraten bei hoher Auflösung (z. B. bis zu 14 BILDER/SEK bei 12 MP) ohne den Verlust von Bilddaten, dank der verlustfreien Komprimierung, die in die Firmware der Kamera integriert ist. Diese erhöhte Bearbeitungsgeschwindigkeit und hohe Auflösung können besonders bei anspruchsvollen industriellen und forschungsorientierten Anwendungen nützlich sein.

Auswertung von Polarisationsdaten

Zur Interpretation und Charakterisierung der Polarisationsparameter von Licht sind Messungen aus allen vier Polarisationswinkeln erforderlich. Um dies für jeden Pixel auf dem Sensor durchzuführen, ist ein Interpolationsverfahren erforderlich, bei dem Daten benachbarter Pixel kombiniert werden. Dies erfolgt analog zur Kombination von Daten benachbarter roter, grüner und blauer Pixel auf Farbsensoren zum Erstellen von RGB-Werten für jedes Pixel. Dieser Prozess wird nativ vom Spinnaker SDK unterstützt.

Kombination und Polarisation von Farbe

Der IMX250MYR-Sensor ergänzt den Sensor hinter den Polarisationsfiltern um einen Farbfilter. Dieser Sensor nutzt ein einzigartiges Quad-Bayer-Muster, das die räumliche Auflösung der Polarisationsdomäne vor der räumlichen Auflösung der Farbinformationen priorisiert.

RGB-Pixel werden neu in 2x2 „Superpixeln“ angeordnet. Jedes Super-Pixel verfügt über einen Polarisationsfilter pro Ausrichtung und enthält alle Informationen, die zur Berechnung der Stokes-Parameter an diesem Punkt erforderlich sind.

Screenshot der Spinnaker SDK GUI mit Markierung der 2x2 „Super-Pixel“’

Global-Shutter-Funktion

Rolling Shutter CMOS-Bildsensoren sind aufgrund der Verzerrung der Brennebene nicht in der Lage, schnell bewegende Objekte genau zu identifizieren. Blackfly S-Kameras mit Sonys neuen Polarisationsfiltern am Sensor adressieren dieses Problem, indem sie einen analogen Speicher in jedem Pixel bereitstellen sowie eine Global-Shutter-Funktion, um qualitativ hochwertige Bilder ohne Verzerrung der Brennebene zu ermöglichen.

Zusätzliche Messung:

Licht ist eine transversale elektromagnetische Welle. Sie schwingt bei ihrer Ausbreitung senkrecht zur Ausbreitungsrichtung. Die meisten Lichtquellen geben unpolarisiertes Licht ab, bei dem alle Wellen in beliebigen Winkeln schwingen. Ist das Licht so ausgerichtet, dass die meisten Wellen in einem gemeinsamen Winkel schwingen, spricht man von polarisiertem Licht. Eine zirkulare Polarisation ist möglich, geht aber über den Rahmen dieses Leitfadens hinaus.

Unpolarisiertes Licht, das in zufälligen Winkeln oszilliert, im Vergleich zu polarisiertem Licht, das in einem Winkel ausgerichtet ist

Polarisationsfilter

Polarisationsfilter bilden die Grundlage der meisten Technologien auf Basis von polarisiertem Licht. Durch die Ausrichtung einer Reihe von schmalen Schlitzen lassen Polarisationsfilter Licht passieren, das senkrecht zu den Schlitzen schwingt, und blockieren Licht, das parallel zu diesen schwingt.

Der Polarisationsfilter lässt den gelben Strahl, der auf den Winkel der Schlitze ausgerichtet ist (oder senkrecht zum Winkel der Schlitze), passieren und blockiert den blauen Strahl, der senkrecht dazu (oder parallel zum Winkel der Schlitze) ausgerichtet ist.

Industrielle Anwendungen basieren häufig auf mehreren Polarisationsfiltern: einem Filter, der eine polarisierte Lichtquelle erzeugt und einem Filter, der nur polarisiertes, in einer bestimmten Richtung ausgerichtetes Licht passieren lässt. Diese Systeme erfordern in der Regel präzise ausgerichtete Filter und eine stark kontrollierte Beleuchtung. Sie sind nur für einen Winkel von polarisiertem Licht empfänglich.

Wird ein Polarisationsfilter gedreht, nimmt die Intensität des durchgelassenen Lichts zu, je näher man dem Durchlasswinkel kommt und wieder ab, wenn man den Filter darüber hinaus weiter dreht.

Wird ein Polarisationsfilter, der auf den Winkel der blauen Welle ausgerichtet ist, gedreht, blockiert dieser zunehmend die blaue Welle und lässt die orangefarbene passieren.

In der grafischen Darstellung verhält sich die Änderung der Intensität relativ zur Polarisationsausrichtung wie eine Sinusfunktion. Das Verhältnis zwischen den höchsten und niedrigsten Intensitätswerten wird als Auslöschungsverhältnis bezeichnet.

Aufgrund der Beschaffenheit von Licht können Polarisationswinkel nicht größer als 180° sein. Da die Schlitze eines Polarisationsfilters parallel sind, erreicht der Filter durch Drehen um 180° erneut seine Ausgangsausrichtung. Das erklärt, warum die Intensität bei einer Drehung des Filters um 360° doppelt so stark ansteigt und abfällt.

Wie wird Licht polarisiert?

Licht kann polarisiert werden, wenn es direkt von einer kohärenten Quelle abgegeben wird, durch einen Polarisationsfilter gelenkt oder von einer nichtmetallischen Oberfläche reflektiert wird. Der Winkel von polarisiertem Licht, das von Wasser oder einer glänzenden Oberfläche reflektiert wird, ist parallel zur Oberfläche ausgerichtet.

Der Winkel von polarisiertem Licht kann sich ändern, wenn es bestimmte optisch aktive Materialien wie biologische Moleküle und Arzneimittel passiert.

Stokes-Parameter

Die vier Stokes-Parameter sind ein geeignetes Mittel, um den Polarisationszustand eines Lichtstrahls zu beschreiben. Die Stokes-Parameter sind die Basis für viele Polarimetrie-Berechnungen und -Algorithmen. Benutzer, die bestehende Techniken anpassen oder ihre eigene erstellen möchten, sollten sich mit der Ermittlung der Stokes-Parameter auf dem IMX250MZR auskennen.

S0 steht für die Intensität des Lichtstrahls. Auf dem IMX250MZR wird sie berechnet, indem die Intensitätswerte der vertikal und horizontal polarisierten Pixel summiert werden.

S1 steht für die Differenz zwischen den horizontalen und den vertikalen Komponenten. Positive Werte sind horizontal linear polarisiert, während negative vertikal linear polarisiert sind.

S2 gibt die 45°-Komponente an. Positive Werte stehen für die lineare Polarisation im 45°-Winkel. Negative Werte stehen für die lineare Polarisation im Winkel von -45° (oder 135° wenn Sie möchten).

S3 ist die Zirkularpolarisations-Komponente. Obwohl dieser Parameter nicht vom IMX250MZR gemessen wird, kann diese meist recht genau geschätzt werden. Im Freien und in passiv beleuchteten Umgebungen wird S3 als 0 angenommen, da das Sonnenlicht unpolarisiert ist und die Reflexion oder Streuung des Sonnenlichts nur eine lineare Polarisation bewirkt.

In Umgebungen mit kontrollierter aktiver Beleuchtung ist es möglich, sämtliche Quellen unpolarisierten Lichts zu beseitigen, um die zirkulare Komponente zu beschreiben.

Die S1-, S2- und S3-Stokes-Parameter werden häufig als ein Satz sphärischer Koordinaten dargestellt, die sich auf eine Poincaré-Kugel abbilden lassen. Diese Darstellung ist ein geeignetes Verfahren, um den relativen Beitrag jeder polarisierten Komponente eines Lichtstrahls zum gesamten Polarisationszustand nachzuvollziehen.

Poincaré-Kugel. Im Freien kann die S3-Komponente verlässlich als „0“ angenommen werden. Die Intensität Ip entspricht „1“.

Stokes-Parameter können herangezogen werden, um Polarimetrieparameter zu berechnen und um Bilder des sichtbaren Spektrums erheblich zu verbessern.

Grad der linearen Polarisation

Die einfachste Methode zur Interpretation von Polarisationsdaten ist der Grad der linearen Polarisation (Degree of Linear Polarization, DoLP). Der lineare Polarisationsgrad ist der Anteil des Lichts, der an einem bestimmten Pixel polarisiert wird. Eine vollkommen polarisierte Lichtquelle hätte einen linearen Polarisationsgrad von 100 %, während unpolarisiertes Licht einen linearen Polarisationsgrad von 0 % aufweist.

Unterschied zwischen einem linearen Polarisationsgrad von 100 % gegenüber einem linearen Polarisationsgrad von 0 %

Linearer Polarisationswinkel (AoLP)

Der Winkel der linearen Polarisation (Angle of Linear Polarization, AoLP) ist der durchschnittliche Polarisationswinkel des Lichts an einem bestimmten Pixel. Bei einem kleinen DoLP wird nur ein kleiner Anteil des Lichts polarisiert. In diesem Fall weisen die erhaltenen AoLP-Werte ein deutliches räumliches und zeitliches Rauschen auf. Dies entspricht einem Signal mit niedriger Intensität, das mit einer hohen Verstärkung verstärkt wird. Je höher der lineare Polarisationsgrad DoLP, desto geringer das Rauschen der Werte für den linearen Polarisationswinkel AoLP.