+
Dans ce tutoriel, nous allons combiner les puissances de deux technologies de messagerie populaire, RabbitMQ et Airflow, pour créer une solution de gestion des flux de travail efficace et évolutive. Ce tutoriel s’adresse aux développeurs et aux administrateurs système qui souhaitent utiliser ces technologies pour automatiser et optimiser les flux de travail de leur entreprise. Il est important de noter que ce tutoriel suppose que vous avez déjà une certaine familiarité avec les concepts de base de RabbitMQ et Airflow, car il existe déjà des tutoriels sur les deux technologies. Dans ce tutoriel, nous allons décrire comment combiner ces technologies pour créer une solution de gestion des flux de travail efficace et évolutive.
Rappel:
Afin de suivre ce tutoriel, veuillez vous assurer d’avoir correctement installé RabbitMQ et Airflow, ainsi que toutes les dépendances nécessaires sur votre environnement. Si vous ne l’avez pas encore fait, veuillez vous référer aux tutoriels sur l’installation de RabbitMQ (ici) et sur l’installation d’Airflow (ici) avant de poursuivre.
Pré-requis:
- 1 serveur CentOs 192.168.0.0 (airflow master)
- 2 serveurs CentOs (192.168.0.1, 192.168.0.2) (airflow nodes)
- 1 serveur CentOs (192.168.0.3)
Sommaires:
- RabbitMQ Configuration
- Airflow Master Configuration
- Airflow Nodes Configuration
- Test
# RabbitMQ Configuration
# Airflow Master Configuration
L’exécuteur de base d’Airflow est l’exécuteur SequentialExecutor. Il exécute les tâches dans l’ordre dans lequel elles ont été définies, en série, sur le même nœud qui exécute le scheduler d’Airflow. Cependant, pour une utilisation en production, il est généralement recommandé d’utiliser un exécuteur distribué, comme l’exécuteur CeleryExecutor, qui permet de paralléliser les tâches sur plusieurs nœuds. Et c’est justement CeleryExecutor nous allons utilisez dans cet tutoriel.
0 Comments