Reproducible Data Pipelines: Idempotency, Lineage, and Backfills

Une session pratique de deux heures sur les pipelines de données reproductibles, axée sur l'idempotence, la lignée (lineage) et les backfills. Les participants exploreront des compromis d'ingénierie concrets, examineront des exemples et repartiront avec une liste de contrôle applicable à leurs projets d'équipe réels.

Public cible : développeurs débutants et intermédiaires souhaitant une session d'ingénierie pratique, et non une présentation de langage.

Objectifs :

• Expliquer les limites pratiques des pipelines de données reproductibles
• Appliquer l'idempotence dans un petit exemple concret
• Appliquer la lignée dans un petit exemple concret
• Appliquer les backfills dans un petit exemple concret

Format : deux heures comprenant une courte présentation, un exemple concret, une discussion sur les compromis et une liste de contrôle finale pour la mise en pratique.