Adjustable spatial resolution of compressive spectral images sensed by multispectral filter array-based sensors Translated title: Resolución espacial ajustable de imágenes espectrales comprimidas muestreadas por sensores basados en arreglos de filtros multiespectrales

Abstract

Spectral imaging systems capture spectral and spatial information from a scene to produce a spectral data cube. Technical progress has allowed developing multispectral filter array (MSFA)-based sensors in order to expand the reconstruction of more bands than RGB cameras. However, reconstructing the spectral image with traditional methods following a least squares or demosaicing approach is unfeasible. Some works in the literature implement multispectral demosaicing for reconstructing images with specific spatio-spectral resolution depending on the number of pixels in the detector and the filter mosaic. Recently, compressive sensing technique has been developed that allows reconstructing signals with fewer measurements than the traditional methods by using the sparse representation of a signal. The selection of neighborhoods pixels in the MSFA-based sensor to calculate the spectral response of a single pixel in the reconstructed spectral images could improve the reconstruction, based on exploiting the sparse representation of the spectral images. This paper proposes two models for spectral images reconstruction from the selection of MSFA-based sensor measurements neighborhoods using the principle of compressive sensing. The spatial resolution of the reconstructed spectral images is adjusted depending the size of the neighborhood. To verify the effectiveness of the reconstruction models simulated measurements for synthetic spectral images and real spectral images based on MSFA are used. Ensembles of random dichroic and random band pass filters are used. The two approaches with traditional scheme reconstructions of mosaic filters are compared. The proposed methods improve the quality (PSNR) of the image reconstruction up 7 dB for real spectral images.

Translated abstract

Los sistemas de adquisición de imágenes espectrales capturan la información espectral y espacial de una escena para producir un cubo de datos. El avance tecnológico ha permitido desarrollar sensores basados en arreglos de filtros multiespectrales (MSFA, de su sigla en inglés) con el propósito de expandir la reconstrucción de las cámaras RGB a más bandas. Sin embargo, reconstruir la imagen espectral con los métodos tradicionales siguiendo una aproximación de mínimos cuadrados es inviable. Algunos trabajos en la literatura implementan interpolaciones multiespectrales para reconstruir imágenes con resoluciones espectrales y espaciales específicas que dependen del número de pixeles en el detector y el mosaico de filtros. Recientemente ha surgido la técnica de muestreo compresivo que permite reconstruir señales con menor cantidad de medidas que los métodos tradicionales usando la representación dispersa de la señal subyacente. La selección de vecindarios de pixeles en el sensor basado en MSFA para calcular la respuesta espectral de un único pixel en la reconstrucción podría mejorar la reconstrucción, explotando las características de dispersión en las imágenes espectrales. En este trabajo se proponen dos modelos que usan el principio de muestreo compresivo, para la reconstrucción de imágenes espectrales, a partir de la selección de vecindarios de pixeles de sensores basados en MSFA. La resolución espacial de la reconstrucción se ajusta dependiendo del tamaño del vecindario. Para verificar la efectividad de los modelos de reconstrucción se usan medidas simuladas de imágenes espectrales sintéticas e imágenes espectrales reales. Para obtener las medidas se usan un conjunto aleatorio de filtros dicroicos y pasabanda. Se comparan los dos enfoques con las reconstrucciones del esquema tradicional de mosaicos de filtros. El método propuesto mejora la calidad (PSNR) de la imagen hasta en 7 dB para las pruebas con imágenes espectrales reales.