Sesión 08 — Abr 06

• DataOps para el Chief Data Officer –12–

• DataOps para el Data Engineer y el Data Scientist –13–

• DataOps para calidad de datos –06–

• Estructura organizacional para DataOps –09–

Paso 0 — Escriba código de nivel industrial

• Módulos

• Clases

• Ambientes virtuales y paquetes

• Orquestación de tareas con Luigi

• Desarrollo de paquetes: https://github.com/jdvelasq/package_demo

• Contenedores de desarrollo en VS Code: https://code.visualstudio.com/docs/remote/containers

Paso 1 — Adicione pruebas de lógica y datos

• Generación de datos de prueba con faker

• Tests de documentacion con doctest

• Tests de código con unittest

• Tests de código con pytest

• Tests de datos con datatest

Paso 2 — Use un sistema de control de versiones

Paso 3 — Bifurque y fusione

• Fundamentos de Git

• Fundamentos de GitHub

• Versionado de datos con DVC

Paso 4 — Use multiples ambientes

Paso 5 — Reuse y contenerize

• Vagrant

Paso 6 — Parametrice el proceso

Charlas

• Measurement and Feedback –15–

Finalización del curso