코딩개발 코딩개발

개발/Airflow

• [Airflow] Why Apache Airflow?

  개발/Airflow 2022. 7. 6. 23:39

  Apache Airflow? Airflow is a platform to programmatically author, schedule and monitor workflows. -> airflow는 workflow를 구축 및 실행할 수 있는 플랫폼입니다. Apache Airflow를 왜 사용하는 이유 Data engineering에서는 ETL(Extract/Transform/Load) 과정을 통해 Data 가공, 적재 ML에서도 학습 데이터 전처리,Train,Prediction 시 사용 위와 같이 Sequential한 로직(Output->Input으로 동작)들을 한번에 관리 할 경우 Apache Airflow 장점 Python 기반으로 만들어졌기 때문에 접근하기 쉽다. Airflow console이 별도로..

  Read More
• [Airflow] 2. Vscode로 Dags 관리

  개발/Airflow 2022. 7. 3. 18:01

  매번 Linux Vi 로 Code를 관리하기에 번거로움이 있어 Vscode로 접속하여 코드를 작성하는 방법을 공유드리려고 합니다. 1. wsl에서 아래와 같은 명령어를 칩니다. explorer.exe . 2. 아래 해당되는 위치가 Dags를 넣는 위치임으로 Vscode에서 아래 경로로 열어주어 코드를 작성하면 됩니다. 3. Permission Denied가 발생 시 권한을 변경하여 관리할 수 있도록 하여 줍니다. $ sudo chown -R User File_name #Example $ sudo chown -R kimuksung2 test.py

  Read More
• [Airflow] - 1. Airflow 설치

  개발/Airflow 2022. 7. 3. 15:11

  Docker설치에 이어서 AIrflow를 설치하는 방법을 알아보겠습니다. https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 을 참고하였습니다. 1. fetch docker-compose.yaml. $ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.3.2/docker-compose.yaml' 2. Setting the right Airflow user 환경 변수 설정하여 주는 부분입니다. default 값이 50000이라고 합니다. $ mkdir -p ./dags ./logs ./plugins $ echo -e "AIRFLOW_UID=$(id -u)" > .env 3...

  Read More
• [Airflow] - Error : driver failed programming external connectivity on endpoint webserver

  개발/Airflow 2022. 6. 27. 23:09

  Docker 내부에 Airflow를 사용하다가 뜨는 에러에 대해서 정리하여 본다. Airflow에 Flower를 통해 URL을 접근하면 보이게 되는데, 계속 하여 아래와 같은 Error가 발생하였다. docker run -d -p 80:80 --name webserver test -> driver failed programming external connectivity on endpoint webserver Docker 내부에서 Healthcheck를 해보아도 원인을 모르던 중에 알게 된 내용이다. EADDRINUSE indicates port 80 is already in use on either the docker VM or possibly directly on your laptop. 해당되는 Por..

  Read More