공부하는 존버맨

  • 홈
  • 태그
  • 방명록

Task 1

[Airflow] DAG 실행과 스케줄링

1. DAG 파일 로드 및 파싱Airflow에서 모든 워크플로는 DAG(Directed Acyclic Graph) 형태로 정의됩니다. 이 DAG은 Python 코드로 작성되며, 작업의 순서와 의존성을 설정하는 방향성 비순환 그래프입니다. Airflow의 스케줄러(Scheduler)는 설정된 디렉토리를 주기적으로 확인하여 새로 생성되거나 수정된 DAG 파일이 있는지 감지합니다.(이로 인해 코드를 작성할 때 메모리 효율적으로 작성을 해야 함)스케줄러는 DAG 파일을 로드하고 파싱하여 DAG 객체를 생성하며, 이를 메타데이터 데이터베이스에 저장합니다. 이때 DAG에 정의된 모든 작업(Task)과 그 의존 관계도 함께 등록됩니다. 덕분에 Airflow는 DAG의 실행 시점을 정확히 파악하고 DAG이 완료될 때까..

MLOps/Airflow 2024.11.13
이전
1
다음
더보기
프로필사진

공부하는 존버맨

개발 및 경제 블로그입니다. 부자가 되고 싶어요.

  • 분류 전체보기 (112)
    • 주식 (30)
      • 투자 (1)
      • 기업분석 (19)
      • 비트코인 (9)
    • 거시경제 (2)
      • 트럼프 (2)
    • Programming Language (8)
      • JS & TS (7)
      • Python (1)
    • FE (12)
      • Angular (11)
    • 백준 코딩테스트 (25)
      • 그리디(Greedy) (14)
      • 구현 (3)
      • 완전탐색(Brute force) (2)
      • DFS, BFS (6)
    • MLOps (23)
      • Airflow (23)
    • ETC (3)
      • 정보처리기사 (2)
    • Projects (7)
      • ClimaML (5)

Tag

전기차, 전기차 충전소, 티스토리챌린지, evgo, LUNR, 달, 일드맥스, 가상화폐, 트럼프, Python, 비트코인, 인튜이티브 머신스, 로보택시, 암호화폐, ETL, 주식, 오블완, Dag, angular, airflow,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/11   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바