Ahorre tiempo y esfuerzo con la polarización en el sensor

¿Por qué utilizar la polarización en el sensor?

Muchos sistemas de visión tienen dificultades para superar los efectos de la luz, los reflejos, la neblina y el resplandor dinámicos o excesivos de las superficies brillantes como el vidrio, el plástico y el metal. Las cámaras de visión artificial Blackfly S con polarización en el sensor y funciones antideslumbrantes de Sony integradas en Spinnaker SDK brindan una solución fácil de implementar, liviana y fiable para abordar situaciones tan desafiantes. Con un control preciso y dinámico sobre la exposición, la ganancia, el balance de blancos y la corrección de color, las cámaras Blackfly S con polarización en el sensor capturan la luz desde cuatro ángulos en un solo fotograma, lo que reduce significativamente la complejidad del sistema y el diseño de la aplicación.

Los sistemas basados en varias cámaras y filtros detrás de un prisma divisor de haces, o en una sola cámara con un filtro rotativo o una rueda de filtros, son grandes, complicados y lentos. Al detectar simultáneamente el ángulo y la intensidad de toda la luz polarizada a través del sensor, las cámaras Blackfly S con sensores polarizados brindan mayor velocidad, menor tamaño, complejidad y consumo de energía en comparación con las soluciones existentes.

Modelos de cámara compatibles:

Cámaras Blackfly S GigE con polarización en el sensor

BFS-PGE-123S6P-C: 12,3 MP, 10 FPS, Sony IMX253MZR, polarizada

BFS-PGE-51S5P-C: 5.0 MP, 24 FPS, Sony IMX250MZR, Polar-Mono

BFS-PGE-51S5PC-C: 5.0 MP, 24 FPS, Sony IMX250MYR, Polar-RGB

Cámaras Blackfly S USB3 con polarización en el sensor

BFS-U3-51S5PC-C: 5.0 MP, 75 FPS, Sony IMX250MYR, Polar-RGB

BFS-U3-51S5P-C: 5.0 MP, 75 FPS, Sony IMX250MZR, Polar-Mono

Cuando la polarización en la cámara es útil:

Sistemas Ariel no tripulados (UAS)

Las aplicaciones como UAS o drones suelen operar al aire libre en condiciones de iluminación no controladas. El Blackfly S proporciona cuatro conjuntos de imágenes polarizadas, con ángulos de polarización de 90°, 45°, 135° y 0°, para compensar las condiciones cambiantes de iluminación y el movimiento relativo y la orientación del UAS. Al proporcionar a los ingenieros de aplicaciones 4 conjuntos de imágenes polarizadas por fotograma, el Blackfly S reduce la complejidad del sistema, el peso de la carga útil y los puntos de fallo al tiempo que mejora la calidad de la imagen y el tiempo de decisión en condiciones de iluminación desafiantes.

Sistemas inteligentes de tráfico (ITS)

El uso de una configuración de filtro polarizado es un desafío para las aplicaciones de ITS, como las infracciones de cinturones de seguridad o dispositivos móviles, las imágenes a través de parabrisas reflectantes, ya que las condiciones de iluminación exterior cambian a lo largo del día. Algunos sistemas superan esto con configuraciones de múltiples cámaras/filtros, lo que compromete significativamente la fiabilidad del sistema y aumenta los costes de hardware y mantenimiento. La polarización en la cámara puede capturar simultáneamente cuatro conjuntos de imágenes por fotograma; asegurándose de que al menos una de estas imágenes sea efectiva para eliminar reflejos no deseados. Los desarrolladores de aplicaciones tienen la flexibilidad de elegir una o varias imágenes polarizadas durante el procesamiento posterior, ahorrando tiempo y dinero en desarrollo, integración y mantenimiento.

Reflejos en un parabrisas bajo condiciones de iluminación exterior; con y sin polarización.

Detección e identificación

La polarimetría es ideal para detectar objetivos que, de otro modo, con imágenes térmicas o de visibilidad tradicional, serían difíciles de identificar. Los vehículos camuflados o las estructuras celulares microscópicas continúan reflejando la luz polarizada orientada paralela a la superficie; estos reflejos se destacan claramente en el modo AoLP (ángulo de polarización lineal), como se ilustra a continuación.

Un vehículo bien camuflado antes y después de utilizar la polarización en el sensor

Optimización del aprendizaje profundo (DL) para AUV y USV

La organización de imágenes mediante la eliminación de reflejos y destellos no deseados puede simplificar el trabajo de los sistemas de aprendizaje profundo. Esto es particularmente útil en los entornos de abundantes reflejos con los que se encuentran vehículos no tripulados y sumergibles marítimos (vehículos de superficie no tripulados, USV).

Otras aplicaciones

La alta resolución y el bajo ruido de lectura de las cámaras Blackfly S permiten analizar un amplio campo de visión con equipos de microscopía estándar (por ejemplo, las propiedades polarizantes y la actividad óptica de los compuestos biológicos pueden diferenciar tejidos sanos y enfermos). Varias otras aplicaciones, como la fabricación de semiconductores y productos electrónicos, la fabricación e inspección de pantallas planas (FPD), el envasado de alimentos, los cosméticos, el envasado de productos farmacéuticos, la logística, la microscopía y la inspección se ocupan de las áreas de superficie reflectante, donde la polarización en la cámara puede ser particularmente útil.

¿Qué hace que las cámaras Blackfly S con sensores polarizados de Sony sean diferentes?

Polarización en el sensor de Sony

Los sensores IMX253MZR e IMX250MZR de Sony se basan en sus populares sensores CMOS de obturador global IMX253 e IMX250 Pregius de doce y cinco megapíxeles. Cada píxel individual tiene su propio filtro polarizador: estos filtros están orientados a 0°, 45°, 90° y 135° y dispuestos en bloques repetidos de dos píxeles. Estos sensores tienen características que minimizan el impacto de la reducción de la eficiencia cuántica (QE) resultante de agregar filtros polarizadores a los píxeles. Por ejemplo, los filtros de polarización de IMX250MXR poseen una relación de extinción de 4 a 1, que es lo suficientemente alta como para ofrecer datos polarimétricos precisos sin bloquear la luz de polarización cruzada. Esto garantiza que incluso cuando la alineación del filtro deja pasar una cantidad mínima de luz, una cantidad suficiente de luz llegue al fotodiodo sensible al a luz para capturar imágenes útiles. Esto permite la captura de imágenes con poco ruido incluso en condiciones difíciles que requieren ganancia para compensar la QE reducida.

Spinnaker SDK con funciones de eliminación de reflejos y antideslumbramiento

Spinnaker SDK admite llamadas API para crear una imagen con menos reflejos a partir de las imágenes de origen eligiendo el píxel más oscuro de cada cuadrante de polarización. Usando mediciones polarimétricas, puede reducir dinámicamente los reflejos de superficies no metálicas, reduciendo así la complejidad del sistema y ahorrando tiempo de desarrollo de aplicaciones. Vea el ejemplo a continuación:

L - Imagen polarizada cruda | M - Imagen polarizada con tema de interés resaltado en rojo | R: imagen procesada con reducción antirreflejo habilitada

Velocidades de fotogramas más altas (con compresión sin pérdidas)

Las cámaras Blackfly S GigE con sensores de imagen CMOS polarizados de Sony permiten velocidades de fotograma más altas a alta resolución (por ejemplo, hasta 14 FPS a 12 MP) sin perder ningún dato de imagen al utilizar la compresión sin pérdidas integrada en el firmware de las cámaras. Esta mayor velocidad de procesamiento y alta resolución pueden ser particularmente útiles en aplicaciones industriales y orientadas a la investigación altamente exigentes.

Interpretación de los datos de polarización

La interpretación y caracterización de los parámetros de polarización de la luz requieren mediciones desde los cuatro ángulos de polarización. Para lograrlo en cada píxel del sensor, se requiere un proceso de interpolación donde se combinen los datos de los píxeles adyacentes. Esto es similar a la combinación de datos desde píxeles rojos, verdes y azules adyacentes en sensores de color para producir los valores RGB de cada píxel. Este proceso es compatible de forma nativa con el SDK de Spinnaker.

Combinando polarización y color

El sensor IMX250MYR añade una matriz de filtros de color al sensor debajo de los filtros de polarización. Este sensor utiliza un patrón cuádruple único de Bayer que prioriza la resolución espacial del dominio de polarización sobre la resolución espacial de la información de color.

Píxeles RGB reorganizados en “súper píxeles” 2x2. Cada súper píxel tiene un filtro polarizador por orientación y contiene toda la información necesaria para calcular los parámetros de Stokes en esa ubicación.

Captura de pantalla de la GUI del SDK de Spinnaker resaltando ‘súper píxeles 2x2’

Función de obturador global

Los sensores de imagen CMOS con obturador rodante no pueden identificar con precisión los objetos que se mueven rápidamente debido a la distorsión del plano focal. Las cámaras Blackfly S con los nuevos sensores polarizados en el sensor de Sony abordan este problema al proporcionar una memoria analógica dentro de cada píxel, lo que brinda una función de obturador global para permitir imágenes de alta calidad sin distorsión del plano focal.

Lectura adicional:

La luz es una onda electromagnética transversal. A medida que se propaga, oscila de manera perpendicular a su dirección de propagación. La mayoría de las fuentes de luz emiten luz no polarizada, con ondas que oscilan en ángulos aleatorios en su totalidad. Cuando la luz queda alineada para que la mayoría de las ondas oscilen en un ángulo común, se dice que está polarizada. También es posible lograr una polarización circular, aunque eso excede el alcance de esta guía.

Luz no polarizada que oscila en ángulos aleatorios frente a luz polarizada alineada en un ángulo

Filtros de polarización

Los filtros de polarización son la base de la mayoría de las tecnologías de luz polarizada. Al alinear una serie de cortes delgados, los filtros de polarización permiten el paso de luz que oscila de manera perpendicular a los cortes y bloquea la luz que oscilade forma paralela a ellos.

El filtro de polarización pasa el rayo amarillo que es paralelo al eje del polarizador (o perpendicular al ángulo de los cortes) y bloquea el rayo azul alineado perpendicularmente al eje de polarización (o paralelo al ángulo de los cortes).

Generalmente, las aplicaciones industriales utilizan un par de filtros de polarización: uno que crea una fuente de luz polarizada y otro que permite el paso solo de luz polarizada que está alineada en una orientación específica. Estos sistemas frecuentemente requieren filtros alineados con precisión y luz altamente controladas. Solo son sensibles a un único ángulo de luz polarizada.

A medida que se rota el filtro de polarización, la intensidad de la luz que pasa aumentará, ya que queda alineada; por el contrario, disminuirá a medida que se aleje del ángulo de alineación.

A medida que se rota un filtro de polarización que está alineado con el ángulo de la onda azul, comienza a bloquear la onda azul y a permitir el paso de la naranja.

Representado en un gráfico, el cambio de intensidad relativo a la orientación del polarizador es similar a una función de seno. La relación entre las intensidades más alta y más baja se denomina relación de extinción.

Debido a la naturaleza transversal de la luz, los ángulos de polarización no pueden superar los 180°. Como todos los cortes de un filtro de polarización están en paralelo, rotar 180° un filtro lo devolverá a su orientación original. Esto explica por qué la intensidad llega a su pico y decae dos veces cuando el filtro se rota 360°.

¿Cómo se polariza la luz?

La luz puede polarizarse cuando se emite directamente desde una fuente uniforme, pasa por un filtro de polarización o se refleja en una superficie no metálica. El ángulo de la luz polarizada que se refleja en el agua o en una superficie pulida está en paralelo a la superficie.

El ángulo de la luz polarizada puede cambiar a medida que pasa por ciertos materiales ópticamente activos, como moléculas biológicas y productos farmacéuticos.

Parámetros de Stokes

Los cuatro parámetros de Stokes son una forma conveniente de describir el estado de polarización de un haz de luz. Los parámetros de Stokes son la base de muchos cálculos y algoritmos de polarimetría. Los usuarios que desean adaptar técnicas existentes o crear las propias deberían familiarizarse con la forma de determinar los parámetros de Stokes en IMX250MZR.

S0 es la intensidad del haz de luz. En el IMX250MZR, esto se calcula sumando las intensidades de los píxeles polarizados vertical y horizontalmente.

S1 es la diferencia entre los componentes horizontales y verticales. Los valores positivos se polarizan linealmente de forma horizontal, mientras que los negativos se polarizan linealmente de forma vertical.

S2 es el componente 45°. Los valores positivos están polarizados linealmente a 45°. Los valores negativos son -45° o (135° si lo desea) polarizados linealmente.

S3 es el componente de polarización circular. Aunque IMX250MZR no mide este parámetro, con frecuencia puede estimarlo de manera precisa. En exteriores o en ambientes con iluminación pasiva, se asume que S3 es 0, ya que la luz solar no es polarizada, y el reflejo o la dispersión de la luz solar solo imparte una polarización lineal.

En ambientes con iluminación activa controlada, pueden eliminarse todas las fuentes de luz no polarizada para poder caracterizar el componente circular.

Los parámetros de Stokes S1, S2 y S3 se representan con frecuencia como un conjunto de coordenadas esféricas asignadas a una esfera de Poincaré. Esta nomenclatura es una manera sencilla de comprender la contribución relativa de cada uno de los componentes polarizados de un haz de luz a su estado de polarización total.

Esfera de Poincaré. Al aire libre, se puede suponer de forma fiable que el componente S3 es 0. La intensidad, Ip es igual a 1.

Los parámetros de Stokes se pueden utilizar para calcular parámetros polarimétricos y mejorar en gran medida las imágenes del espectro visible.

Grado de polarización lineal

El grado de polarización lineal (DoLP) es la forma más básica de interpretar los datos de polarización. DoLP es la proporción de luz que se polariza en un píxel determinado. Una fuente de luz perfectamente polarizada tendría un DoLP del 100%, mientras que la luz no polarizada tendría un DoLP de 0%.

Diferencia entre DoLP de 100 % vs. DoLP de 0 %

Ángulo de polarización lineal (AoLP)

El ángulo de polarización lineal (AoLP) es el ángulo de polarización promedio de la luz en un píxel dado. Si el DoLP es bajo, solo se polarizará una pequeña cantidad de luz. En este caso, los valores AoLP resultantes mostrarán un ruido espacial y temporal claro. Esto es similar a una señal de baja intensidad que se amplifica con alta ganancia. A medida que el DoLP aumenta, los valores de AoLP tendrán menos ruido.