Apache Airflow

O Apache Airflow é uma ferramenta open source de orquestração para pipelines de dados que teve seu início como uma ferramenta desenvolvida pelo Airbnb. A ferramenta foi desenvolvida em python e a criação dos workflows é via python scripts.

O orquestrador de workflow Apache Airflow é uma ferramenta que tem recebido muita aceitação nos últimos anos pela comunidade de engenheiros de dados. A ferramenta possui mecanismos que permitem a implementação de distintas abordagens de tratamento de dados. Neste artigo abordamos duas dessas variantes e levantamos alguns pontos a serem considerados para a implementação.