MLOps/Airflow

[Airflow] Provider 패키지 설치

monkeykim 2024. 11. 17. 00:46

Airflow에서 사용 가능한 Providers는 UI의 "Connections" 섹션에서 확인할 수 있습니다. 만약 필요한 Provider가 없다면 설치해야 합니다.

설치 방법

1. 도커 파일 생성

Base Image로 사용중이던 airflow version의 이미지를 입력합니다.

원하는 provider 패키지를 입력해줍니다.

 

2. 도커 이미지 빌드

sudo docker build -t airflow_custom .

 

3. docker-compose.yaml 수정 

airflow 서비스의 이미지를 airflow_custom으로 변경합니다.

 

4. 컨테이너 재실행

docker-compose down
docker-compose up

 

5. Provider 확인

Airflow UI의 Admin > Providers에서 설치된 Provider를 확인합니다.