postgres
-
[Airflow] - 7. Operator & Xcoms개발/Airflow 2022. 7. 20. 16:43
현재까지 Docker 위에 Airflow + Postgres를 이용하여 연동시켜 DB(Postgres) 적용시켜 보았습니다. 이제는 더 나아가 업비트 Api를 호출하여 비트코인 Postgres에 데이터를 수집하려고 합니다. 각 Task는 1. Table 생성 2. Call Api 3. Store DB 순으로 생각하여 만들었습니다. Airflow Operator는 Python Operator와 Postgres Operator를 두개를 사용하였습니다. 1. What is Xcoms? 들어가기 앞서, Xcoms에 대해 먼저 설명하려고 합니다. a mechanism that let Tasks talk to each other, as by default Tasks are entirely isolated and m..
-
[Airflow] - 6. Connect Postgresql개발/Airflow 2022. 7. 19. 15:14
지금까지 Psql 관련하여 Volume 설정 및 간단한 쿼리문을 알아보았습니다. 이제 부터는 Airflow를 통해 Postgresql에 DB에 반영하기 위해 Connect 및 DB생성 및 Data Insert 까지 하는 과정을 공유드리려고 합니다. 금일 보여드릴 부분은 DB Cluster 관련된 부분은 반영하지 않습니다. 1. Airflow Setting ( docker-compose.yaml ) docker-compose.yaml docker-compose.yaml 을 열어 아래 부분을 편집하여 줍니다. 1. 먼저 연결할 DB를 설정하여 줍니다. Airflow가 연결된 DB가 SQLite와 같이 Postgresql이 아니라면 아래와 같이 변경하여 줍니다. AIRFLOW__CORE__SQL_ALCHEMY..