[Airflow] - 1. Airflow 설치

 

Docker설치에 이어서 AIrflow를 설치하는 방법을 알아보겠습니다.

https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 을 참고하였습니다.

 

1. fetch docker-compose.yaml.

---

$ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.3.2/docker-compose.yaml'

 

2. Setting the right Airflow user

---

환경 변수 설정하여 주는 부분입니다.

default 값이 50000이라고 합니다.

$ mkdir -p ./dags ./logs ./plugins
$ echo -e "AIRFLOW_UID=$(id -u)" > .env

 

3. Comman env setting

---

이때 로컬에서 5432(postgres), 6379(redis), 8080(webserver) 포트가 충돌 나지 않도록 미리 종료해야 합니다.

$ docker-compose up airflow-init

4. Running Airflow

---

이제 airflow service들을 시작할 것입니다.

이 때 -d 옵션(detached모드)을 사용해야 합니다. Why? 명령이 실행된 터미널이 종료되거나 키보드에 Ctrl+C 가 입력되는 경우 airflow 관련 컨테이너가 모두 종료합니다.

$ docker-compose up -d

5. Running the CLI

---

$ docker-compose run airflow-worker airflow info

크롬창을 킨 뒤 http://localhost:8080/home 을 접속하여 아래와 같은 그림이 나오면 완료된다.

 

 

에러 해결

중간에 Container가 동작하지 않는 상황 발생 시 아래 코드를 통하여 컨테이너를 종료하여 주었다.

docker rm $(docker ps --filter status=exited -q)