EDA
-
[Airflow] Why Apache Airflow?개발/Airflow 2022. 7. 6. 23:39
Apache Airflow? Airflow is a platform to programmatically author, schedule and monitor workflows. -> airflow는 workflow를 구축 및 실행할 수 있는 플랫폼입니다. Apache Airflow를 왜 사용하는 이유 Data engineering에서는 ETL(Extract/Transform/Load) 과정을 통해 Data 가공, 적재 ML에서도 학습 데이터 전처리,Train,Prediction 시 사용 위와 같이 Sequential한 로직(Output->Input으로 동작)들을 한번에 관리 할 경우 Apache Airflow 장점 Python 기반으로 만들어졌기 때문에 접근하기 쉽다. Airflow console이 별도로..