Utilización

Para poder hacer uso de la función migration-task-processor en el entorno de Google Cloud Platform, es necesario seguir los siguientes pasos:

1. Desplegar la función migration-task-processor del repositorio de GitLab como una nueva Cloud Function identificada como migrationtaskprocessor.

2. Recibir mediante método POST a la Cloud Function migrationtaskprocessor un JSON con los siguientes parámetros para comprobar el correcto funcionamiento:

   {
     "source_table": "incidentesHistoricos",
     "dest_table": "incidentes_hist",
     "filter_column": "fechaGPS",
     "start_date": "2021-06-02T03:00:00",
     "end_date": "2021-06-03T03:00:00",
     "table_schema": [
       {
         "Field": "id",
         "Type": "int"
       },
       ...
     ]
   }

3. La función migration-task-processor, en base a los parámetros recibidos, realiza las validaciones correspondientes respecto a las tablas y columnas, fechas de inicio y fin, verificar que no se hayan migrado registros con anterioridad en las fechas recibidas por parámetro, y en caso de ser asi registrar dicha fecha en Redis y desestimar la ejecución de la migración. Luego procede a migrar los registros desde la base de datos MySQL hacia la base de datos BigQuery. Se puede visualizar el estado de cada ejecución en los logs de la consola de Cloud Functions para esta función.

   

4. Visualizar en Google BigQuery que los registros se han migrado correctamente en las tablas correspondientes.

   

Flujo de Trabajo

En resumen, el flujo de trabajo completo consiste en:

1. Desplegar la función migration-task-processor como una nueva Cloud Function.
2. La función migration-task-processor recibe por parámetros los payloads creados en las tareas encoladas por la Cloud Function migration-mysql-to-store, realiza las validaciones correspondientes y comienza a migrar los registros desde la base de datos MySQL hacia la base de datos BigQuery, siempre asegurando la consistencia e integridad de los datos en las tablas correspondientes.
3. Se puede visualizar el estado de cada migración por tarea ejecutada en los logs de la función migration-task-processor en la consola de la misma.
4. Visualizar en BigQuery que los registros se han migrado correctamente en las tablas correspondientes.