Integración y sincronización
Conectores a escala
Sincronización de muchos orígenes contra un mismo destino, con colas, reintentos y observabilidad: para saber siempre qué entró, qué falló y por qué.
Para quién es Marketplaces, redes de sucursales y plataformas que integran a decenas de proveedores o sucursales a la vez.
El problema
Una integración punto a punto se puede monitorear a ojo. Veinte, no. Cuando cada proveedor tiene su propio ERP, su propia calidad de datos y su propio horario de carga, los errores dejan de ser incidentes y pasan a ser ruido de fondo.
Sin una cola por origen y un tablero que la mire, la pregunta “¿por qué este catálogo no se publicó?” tarda horas en responderse, y la respuesta suele llegar después de que el cliente ya se quejó.
Cómo lo resuelvo
01Una cola por origen
Cada proveedor escribe en su propia cola. Un worker la consume por lotes cada pocos segundos y publica en el destino. Si un origen se cae o manda basura, el problema queda contenido en su cola y no arrastra a los demás.
02Operaciones explícitas y batch
Alta, actualización y baja son operaciones distintas y declaradas, procesadas en lotes. Eso permite reprocesar solo lo que falló en lugar de volver a empujar el catálogo entero, y deja el rastro de qué se hizo con cada registro.
03Diagnóstico de la calidad del dato
La mayoría de los rechazos no son bugs del conector: son datos mal formados del origen. El sistema los clasifica y los reporta con nombre y apellido —códigos duplicados, codificación mal declarada, campos obligatorios vacíos— para que el proveedor pueda corregirlos.
04Un tablero que mira las colas
Un dashboard de monitoreo muestra volumen, tasa de error y latencia por origen. La pregunta “¿qué está pasando con este proveedor?” se responde mirando una pantalla, no leyendo logs.
05Entorno de staging propio
Los orígenes nuevos se prueban contra una base de staging antes de tocar producción. El proveedor valida su integración sin riesgo de ensuciar el catálogo real.
Lo que ya construí
- 40.367 operaciones procesadas con cero errores en una de las librerías integradas a un marketplace editorial.
- 5.020 ofertas de un proveedor mayorista publicadas y sincronizándose por cron contra el catálogo maestro.
- Diagnóstico que identificó un 57% de rechazos en otro origen por uso incorrecto de alta/actualización, y 1.226 códigos afectados por una codificación de caracteres mal declarada.