지식 저장소

Airflow 란?Airflow는 2014년 에어비앤비에서 만든 워크플로우 관리 솔루션으로, 파이썬을 이용해 워크플로우를 만들고 관리할 수 있는 오픈소스 기반 워크플로우 관리 도구Airflow의 주요 개념DAG (Directed Acyclic Graph): DAG는 Task(작업)을 연결해서 작업 순서를 정의하는 그래프 (❗중요❗: Task는 순환하지 않고 한 방향으로만 진행)Task: DAG 안에 포함된 개별 작업으로 DAG안에는 1개 이상의 Task가 존재Operator: Task를 정의할 때 사용하는 템플릿Scheduler: Cron 기반 DAG의 실행 일정을 관리0. 설치 순서'docker-compose.yaml' 파일 다운로드 ➜ 2. 작업 디렉토리 설정 ➜ 3. Airflow 설치1. 'doc..

Docker 란?Docker는 애플리케이션을 실행할 때 필요한 모든 환경을 하나의 패키지(컨테이너)로 만들어주는 도구 (출처: 챗GPT)가상화 서버(VM) 대비 Guest OS가 없어 경량화된 가상화 서버로 볼 수 있으며, 어플리케이션을 독립적 환경에서 실행시킴으로써 안정성을 높여준다.Docker의 주요 개념이미지(Image): 애플리케이션과 그 실행에 필요한 모든 것을 포함한 '템플릿'. 이 이미지를 기반으로 컨테이너를 제작컨테이너(Container): 이미지를 실행한 상태, 즉 실제로 돌아가는 애플리케이션. 애플리케이션이 필요로 하는 모든 것(코드, 라이브러리, 설정 등)을 포함하고 있어서, 어디에서나 동일하게 실행될 수 있으며, 동시에 여러 개의 컨테이너 실행도 가능Airflow와 무슨 상관?Air..

WSL 이란?Windows Subsystem for Linux의 약자로, 윈도우에서 리눅스 환경을 제공하는 윈도우 확장 기능0. 설치 순서WSL install ➜ 2. Version Check ➜ 3. WSL 실행 확인1. WSL install1) 구글에 "wsl install" 검색👉 첫번째 공식 링크를 클릭이제 위 페이지를 따라 설치하면 된다.(중간에 막힌다면 공식페이지에 더 자세히 설명이 되어 있으니 참고해서 진행)2) 설치 전 필수 조건 확인WSL이 설치되기 위해서는 Windows 10 버전 2004 이상(빌드 19041 이상) 또는 Windows 11의 PC여야 합니다.👉 2004년 이후로 업데이트가 안된 오래된 컴퓨터가 아니라면 대부분 가능(시작버튼 ➡ 시스템 정보에서 확인 가능)3) po..