Calculer Girl
  1. Calculer Girl
  3. Comment tester les tâches Apache Airflow qui utilisent XCom
Intereting Posts
Options X-Frame avec un site intranet Linux Crypto API et linux / crypto.h – Documentation utiliser le contenu d’un fichier comme sujet avec mailx in informatica PC ZeroMQ: réponse de commande et rappels de statut entre UI, serveurs et travailleurs hétérogènes Existe-t-il un préprocesseur source C ++ autonome? Nginx script init.d Exemple de demande d’access administrateur dans le fichier Windows CMD Comment utiliser le sox dans les fenêtres Comment puis-je obtenir bc (1) pour imprimer le premier zéro? Que fait cd * en bash? Désactiver les en-têtes de vernis (et autres en-têtes)? Comment installer Hadoop sur Ubuntu Le filtre d’adresse à distance Tomcat ne fonctionne pas Qu’est-ce qu’une commande Unix pour supprimer les N premiers caractères d’une ligne? Pourquoi malloc () et printf () sont-ils considérés comme non réentrants?

Comment tester les tâches Apache Airflow qui utilisent XCom

J’essaie de trouver un moyen de tester un DAG dans lequel j’ai deux tâches à communiquer en utilisant XCom.

Étant donné que la commande console ne me permet d’exécuter que des tâches à partir d’un DAG, existe-t-il un moyen de tester la communication sans avoir à exécuter le DAG via l’interface utilisateur?

Merci

Voilà un moyen qui a fonctionné pour moi.

Même si la page Web Airflow indique que la commande de test ne génère pas ou ne conserve aucun état, l’exécution de la commande de test de stream d’air en séquence a fonctionné.

Fondamentalement, vous faites: 

Airflow test my_dag task1 date Airflow test my_dag task2 date

où task1 renvoie la valeur ou utilise la méthode xcom_push pour envoyer la valeur, puis task2 exécute xcom_pull pour obtenir la valeur et continuer.

Cela a fonctionné pour moi. S’il vous plaît commenter si vous avez différentes approches ou d’autres questions.