개발
-
[Airflow] 2. Vscode로 Dags 관리개발/Airflow 2022. 7. 3. 18:01
매번 Linux Vi 로 Code를 관리하기에 번거로움이 있어 Vscode로 접속하여 코드를 작성하는 방법을 공유드리려고 합니다. 1. wsl에서 아래와 같은 명령어를 칩니다. explorer.exe . 2. 아래 해당되는 위치가 Dags를 넣는 위치임으로 Vscode에서 아래 경로로 열어주어 코드를 작성하면 됩니다. 3. Permission Denied가 발생 시 권한을 변경하여 관리할 수 있도록 하여 줍니다. $ sudo chown -R User File_name #Example $ sudo chown -R kimuksung2 test.py
-
[Airflow] - 1. Airflow 설치개발/Airflow 2022. 7. 3. 15:11
Docker설치에 이어서 AIrflow를 설치하는 방법을 알아보겠습니다. https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html 을 참고하였습니다. 1. fetch docker-compose.yaml. $ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.3.2/docker-compose.yaml' 2. Setting the right Airflow user 환경 변수 설정하여 주는 부분입니다. default 값이 50000이라고 합니다. $ mkdir -p ./dags ./logs ./plugins $ echo -e "AIRFLOW_UID=$(id -u)" > .env 3...
-
[Docker] 2. Docker 설치 & Docker-compose개발/Docker 2022. 7. 3. 14:18
Docker를 설치할 예정입니다. 설치하기 전에 WSL2를 무조건 설치해야 합니다. ( WSL2설치 ) 1. 아래 사이트를 들어가 다운로드 하여 줍니다. https://docs.docker.com/desktop/windows/install/ 2. 다운로드 받은 파일을 실행시켜 줍니다. 3. 아래와 같이 뜨면 Docker 설치 완료입니다. 4. Docker-compose ( Airflow setting ) 이후 부터는 Airflow를 설치를 위함임으로 진행하실 분만 보시면 됩니다. Docker의 버전이 낮은 경우에는 Airflow가 동작하지 않을 수 있어 아래 Command를 쳐 재설치하여야 합니다. #delete docker $ rm -rf /usr/local/bin/docker-compose #inst..
-
[Docker] - 1. WSL 기본 설치개발/Docker 2022. 7. 3. 13:49
Docker는 WSL기반으로 동작하기 때문에 WSL을 설치하는 방법을 알아보겠습니다. 1.WSL2 설치 Powershell을 관리자 모드로 켜줍니다. 아래 명령어를 cmd창에 치면 됩니다. dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart 2. WSL2 Default 설정 PC를 재부팅 합니다. WSL2 를 설치하여 줍니다. Powershell을 관리자모드로 켜 아래 코드를 쳐줍니다. Microsoft Store에 들어가 Linux를 ..
-
[Airflow] - Error : driver failed programming external connectivity on endpoint webserver개발/Airflow 2022. 6. 27. 23:09
Docker 내부에 Airflow를 사용하다가 뜨는 에러에 대해서 정리하여 본다. Airflow에 Flower를 통해 URL을 접근하면 보이게 되는데, 계속 하여 아래와 같은 Error가 발생하였다. docker run -d -p 80:80 --name webserver test -> driver failed programming external connectivity on endpoint webserver Docker 내부에서 Healthcheck를 해보아도 원인을 모르던 중에 알게 된 내용이다. EADDRINUSE indicates port 80 is already in use on either the docker VM or possibly directly on your laptop. 해당되는 Por..
-
Linux Github Clone -> Push개발/Git 2022. 6. 2. 16:47
VM 환경에서 Linux를 사용 후에 Xv6 관련 내용을 Github에 넣는 방법을 알아보겠습니다. 1. Xv6 공식 코드를 컴퓨터로 가져오기 git clone git://github.com/mit-pdos/xv6-public.git 2. 연결된 github 주소 확인 git remote -v //결과 origin https://github.com/mit-pdos/xv6-public.git (fetch) origin https://github.com/mit-pdos/xv6-public.git (push) 3. 자신의 github 주소로 변경 #remote url 삭제 git remote remove origin #자신의 URL 추가 #아래는 예시입니다. git remote add origin https:..
-
Kubernetes개발/K83 2022. 2. 20. 16:49
시작에 앞서, Terraform / AWK_EKS Terraform 설치 SCRIPT를 제공해주어 Module들을 사용할 수 있도록 지원 IAC 표준 , Cloud 업체에서 관리해서 사용 할 수 있도록 잘 되어 있다. User는 Script의 module name , version 만 설정하면 구축 가능 AWS_EKS Amazon Elastic Kubernetes Service(Amazon EKS)는 Kubernetes를 실행하는 데 사용할 수 있는 관리형 서비스 제어 플레인 또는 노드를 설치, 작동 및 유지 관리할 필요 X Kubernetes는 컨테이너화된 애플리케이션의 배포, 조정 및 관리 자동화를 위한 오픈 소스 시스템 K8S ( Kubernetes ) Docker의 Container의 개념을 사용..