공부하는 존버맨

  • 홈
  • 태그
  • 방명록

xcom_pull 1

[Airflow] XCom 사용하기

Airflow에서는 DAG 내의 여러 Task 간에 데이터를 주고받을 수 있도록 XCom(Cross Communication) 기능을 제공합니다. XCom은 작은 크기의 데이터를 공유하기 위한 용도로 설계되었으며, Task 간에 값을 전달하거나 처리 결과를 공유하는 데 유용합니다. 주로 1GB 미만의 데이터에 적합하며, 대용량 데이터는 AWS S3, HDFS 등의 외부 솔루션을 통해 관리하는 것이 좋습니다.XCom이란?XCom은 DAG 내에서 Task 간에 데이터를 주고받기 위한 기술로, Task의 중간 결과를 다른 Task의 입력으로 사용할 수 있게 해줍니다. XCom에 저장된 데이터는 Airflow의 메타DB의 xcom 테이블에 저장되며, 이를 통해 여러 Task 간에 값을 전달할 수 있습니다.XCo..

MLOps/Airflow 2024.11.03
이전
1
다음
더보기
프로필사진

공부하는 존버맨

개발 및 경제 블로그입니다. 부자가 되고 싶어요.

  • 분류 전체보기 (112)
    • 주식 (30)
      • 투자 (1)
      • 기업분석 (19)
      • 비트코인 (9)
    • 거시경제 (2)
      • 트럼프 (2)
    • Programming Language (8)
      • JS & TS (7)
      • Python (1)
    • FE (12)
      • Angular (11)
    • 백준 코딩테스트 (25)
      • 그리디(Greedy) (14)
      • 구현 (3)
      • 완전탐색(Brute force) (2)
      • DFS, BFS (6)
    • MLOps (23)
      • Airflow (23)
    • ETC (3)
      • 정보처리기사 (2)
    • Projects (7)
      • ClimaML (5)

Tag

암호화폐, 트럼프, 가상화폐, 티스토리챌린지, angular, Python, 달, 전기차 충전소, 전기차, 주식, 일드맥스, 오블완, Dag, airflow, 비트코인, evgo, 인튜이티브 머신스, ETL, 로보택시, LUNR,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/11   »
일 월 화 수 목 금 토
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바