Ingeniería de datos y migración

Mover datos entre sistemas sin perder nada de ellos

Cada migración es una negociación con datos que es peor de lo que nadie recuerda. Registros duplicados que nadie reconciliaba, fechas en tres formatos, un campo de texto libre que llevaba un significado que se suponía que era un menú desplegable y una clave que era única hasta 2019. La parte técnica de mover datos rara vez es la parte difícil. La parte difícil es decidir qué significan los datos y hacer que alguien sea el propietario de esa decisión antes del corte en lugar de durante él.

Qué implica el trabajo

• Perfil de los datos de origen honestamente antes de comprometerse con un plan, incluyendo las partes que nadie quiere ver
• Diseño de esquema para las consultas que se ejecutarán realmente, en lugar de una transliteración de la antigua estructura
• Migraciones bajo control de versiones y ensayadas contra una copia de producción, repetidamente
• Reconciliación que demuestra que los recuentos de filas y los totales coinciden, en lugar de asumir
• Un plan de reversión que ha sido probado, no solo escrito
• Secuenciación de cortes diseñada para el negocio, no para la comodidad de los ingenieros

Por qué somos creíbles en esto

Hemos migrado nuestra propia plataforma de producción entre motores SQL distribuidos con datos en vivo, y sabemos por experiencia que en una base de datos distribuida una transacción ve una única instantánea durante toda su vida, incluso en modo de lectura-commit, lo que invalida silenciosamente el código que era correcto en un solo nodo.

Lo que mueve el precio

Cotizamos después del descubrimiento y el número se fija antes de que comience cualquier cosa.Estas son las cosas que lo mueven, por lo que puede ver aproximadamente dónde se encuentra su proyecto antes de hablar con nosotros.

• Qué tan limpios son los datos de origen: esto domina todo lo demás, generalmente por un amplio margen
• Si los sistemas antiguos y nuevos deben funcionar en paralelo, y durante cuánto tiempo
• Tiempo de inactividad aceptable en el corte, ya que el tiempo de inactividad casi cero es un diseño diferente y más costoso
• Si los datos históricos deben conservarse exactamente o pueden resumirse

Preguntas que nos hacen

Cuéntanos lo que estás tratando de hacer

Una breve conversación suele ser suficiente para saber si somos las personas adecuadas, si no lo somos, lo diremos y le indicaremos un lugar mejor.