Airflow에서 사용 가능한 Providers는 UI의 "Connections" 섹션에서 확인할 수 있습니다. 만약 필요한 Provider가 없다면 설치해야 합니다.
설치 방법
1. 도커 파일 생성
Base Image로 사용중이던 airflow version의 이미지를 입력합니다.
원하는 provider 패키지를 입력해줍니다.
2. 도커 이미지 빌드
sudo docker build -t airflow_custom .
3. docker-compose.yaml 수정
airflow 서비스의 이미지를 airflow_custom으로 변경합니다.
4. 컨테이너 재실행
docker-compose down
docker-compose up
5. Provider 확인
Airflow UI의 Admin > Providers에서 설치된 Provider를 확인합니다.
'MLOps > Airflow' 카테고리의 다른 글
[Airflow] File Sensor에 대하여 (1) | 2024.11.21 |
---|---|
[Airflow] Sensor에 대해 알아보자 (0) | 2024.11.19 |
[Airflow] PostgreSQL 연동 - Docker Compose를 활용한 설정과 Custom Hook 사용 (0) | 2024.11.16 |
[Airflow] Docker Compose 파일 해석 (1) | 2024.11.14 |
[Airflow] DAG 실행과 스케줄링 (2) | 2024.11.13 |