Arquitectura & metodología

Cómo construyo sistemas de datos

Dos sistemas reales de extremo a extremo: un pipeline de datos cloud-native con RAG, y un workflow de machine learning reproducible sobre HPC.

Pipeline RAG en producción · GCP

RAG · GCP

Findspo — de la literatura científica a respuestas clínicas

PubMed

Literatura científica como fuente

Ingestion

Extracción y parsing en Python

Cloud Storage

Zona de aterrizaje de datos crudos

BigQuery

Almacén estructurado y consultable

Embeddings + Vector search

Recuperación semántica (Vertex AI)

LLM Reranking

Reordenado por relevancia

Cloud Run API

Chatbot de respuesta clínica

Toda la infraestructura está provisionada con Terraform (Infraestructura como Código).

ML · HPC

CSIC-IBMB — predicción de edad biológica con scRNA-seq

Raw scRNA-seq

Datos de expresión single-cell

QC & preprocessing

Control de calidad con scanpy

Feature selection

Genes variables · correlación con edad

HPC training

Modelos entrenados vía SLURM

Evaluation

R² · métricas de clasificación

Interpretation

Importancia de features biológicas

Todas las cargas computacionales se ejecutan en el clúster HPC del IBMB mediante SLURM.

Infraestructura como código

Entornos reproducibles y versionados con Terraform y Docker.

Calidad de datos por diseño

Validación y monitorización integradas en cada etapa del pipeline.

Reproducibilidad

Workflows deterministas: mismos datos y código, mismos resultados.

Escala

Del prototipo local a cargas distribuidas en cloud y HPC.