Las pipelines de tratamiento de datos se encuentran actualmente bajo desarrollo. Su misión será la de gestionar el enorme flujo de datos producido por las cámaras panorámicas y maximizar así los resultados científicos. En concreto, el software de gestión de datos almacenará automáticamente los datos adquiridos durante la noche por los telescopios, determinará si su calidad cumple con los requisitos científicos y técnicos, actualizará las bases de datos de los cartografiados y programará los objetivos de observación de los telescopios para las siguientes noches.

En el propio OAJ, tras la captación de las imágenes, éstas se convierten al formato FITS, constituyendo la entrada a las pipelines. Al mismo tiempo, las cabeceras de las imágenes se actualizan con información complementaria sobre los telescopios, los monitores, la estación meteorológica y la planificación de la operación.

Una vez que los datos en crudo están en el archivo principal de la UPAD son procesados automáticamente por la pipeline, proporcionando imágenes calibradas y catálogos astronómicos. Durante el tratamiento de los datos, la pipeline utiliza una base de datos de gestión para almacenar la información de procesado, los parámetros usados, así como indicadores de la calidad de la imagen.

La pipeline tiene tres partes principales:

• Generación de Imágenes de Calibración.
• Pipeline diaria.
• Tiling pipeline.

Figura 1. Flujo de datos durante el procesamiento de imágenes en el mismo apuntado (Tile)

La figura 1 muestra el flujo de datos durante procesado de las imágenes en el mismo apuntado (Tile). Se considera la adquisición de datos de las cuatro imágenes individuales de un Tile siguiendo lo dispuesto en la planificación de los cartografiados.

La parte relativa a las Imágenes de Calibración está destinada a generar y validar las imágenes de calibración maestras que se utilizarán sistemáticamente para corregir los sesgos instrumentales en las imágenes de ciencia. Las principales Imagenes de Calibración son:

• BIAS frames, generados a partir de imágenes de 0 segundos de exposición y utilizados junto con "overscan" y "prescan" para corregir cualquier patrón de lectura en las imágenes.
• FLATS frames, generados bien mediante la combinación de observaciones del cielo durante el crepúsculo o imágenes tomadas apuntando a la cúpula iluminada.
• Mapa de punto cero, utilizados para corregir la desviación de iluminaciones homogéneas durante la adquisición de los flatfileds.
• Superflats o Fringing frames, generados combinando las imágenes de ciencia y utilizados para eliminar los patrones de baja frecuencia en el cielo o patrones de interferencia ("fringing").

La frecuencia de generación de nuevos conjuntos de Imágenes de Calibración se definirá durante la fase de comisionado de los instrumentos dependiendo de su estabilidad. La pipeline proporciona acceso a la información sobre la evaluación de la calidad de las Imágenes de Calibración a través de un portal Web que muestra la información registrada en la base de datos de administración a nivel de archivo.

En el procesado diario, la pipeline corrige el sesgo instrumental utilizando las Imágenes de Calibración validadas y las máscaras de pixeles (rayos cósmicos, trazas de satélite) y calibra la astrometría y fotometría de las imágenes. Sobre las imágenes individuales se crea un primer conjunto de catálogos que se pondrán a disposición de la comunidad astronómica en un breve periodo de tiempo posterior a las observaciones. El flujo de trabajo de la pipeline diaria se puede observar en la figura 2.

Figura 2. Flujo de trabajo de la pipeline diaria.

En una segunda fase, la Tiling pipeline combinará las imágenes ya procesadas provenientes de una misma área de cielo (Tile), proporcionando finalmente una fotometría calibrada para la imagen combinada en cada filtro. Las imágenes combinadas para un Tile utilizando todo el conjunto de filtros conforman el Datacube. Esos Datacubes requerirán de revisión más detallada y únicamente se publicarán después de que se haya observado una parte significativa del cielo. Los catálogos de objetos se extraerán de los Tiles finales y los Datacubes y serán almacenados en un sistema de bases de datos. La figura 3 muestra las operaciones de computación realizadas y el flujo de trabajo de la Tiling pipeline.

Figura 3. Operaciones de computación realizadas y el flujo de trabajo de la Tiling pipeline.

Para almacenar los datos de J-PLUS se va a utilizar la base de datos relacional PosgreSQL basada en SQL y que goza de una alta popularidad.

Con el objetivo de proporcionar acceso a los datos de las Bases de datos Científicas, se ha desarrollado un portal web con la posibilidad de "navegar" a través de las imágenes y consultar las bases de datos (ver la sección Publicación de datos). Todos los servicios que proporciona este portal web también están accesibles a través de los protocolos VO del Observatorio virtual. El usuario puede realizar peticiones SIAP (Simple Image Access Protocol) para solicitar un Tile, una parte de un Tile, una "cone search" o una petición TAP (Table Access Protocol). Esto implica que se puede acceder a los datos y se pueden analizar utilizando las herramientas del Observatorio Virtual.