Home [Airflow] Python 스크립트 BashOperator로 실행
Post
Cancel

[Airflow] Python 스크립트 BashOperator로 실행

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
version: '3'
x-airflow-common:
  &airflow-common
  image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.1.0}
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__RESULT_BACKEND: db+postgresql://airflow:airflow@postgres/airflow
    AIRFLOW__CELERY__BROKER_URL: redis://:@redis:6379/0
    AIRFLOW__CORE__FERNET_KEY: ''
    AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: 'true'
    AIRFLOW__CORE__LOAD_EXAMPLES: 'true'
    AIRFLOW__API__AUTH_BACKEND: 'airflow.api.auth.backend.basic_auth'
  volumes:
    - ./dags:/opt/airflow/dags
    - ./logs:/opt/airflow/logs
    - ./plugins:/opt/airflow/plugins
    - ../forkrane:/forkrane #여기서 마운트

docker-compose.yaml의 파일에서 volumes에 내 프로젝트를 마운트 한뒤에 airflow worker의 컨테이너에 attatch 하고, 파이썬 실행해보면 동작함

This post is licensed under CC BY 4.0 by the author.

[Airflow] bashOperator 사용시에 jinja2.exceptions.TemplateNotFound

[Airflow] 에러 발생시 Slack으로 알림 주기