Airflow

Airflow (2) - DAG workflow 작성 및 실행

1. Workflow(DAG) 작성 및 실행 이제부터 직접 python을 통해 workflow를 DAG형태로 만들어보고 해당 workflow를 airflow에서 실행하고 이해해봅시다. airflow안에서 yolov5 model으로 inference하는 것을 목적으로 하겠습니다. 따라오시죠! 1.1 실행 환경 준비 실행 환경을 다음과 같이 셋팅합니다. airflow webserver 실행 (localhost의 8080포트로 연결) airflow webserver -p 8080 airflow scheduler 실행 airflow scheduler DAG file을 생성할 저장소 생성 (맥북 기준) cd ~/airflow/ mkdir dags 참고로 airflow.cfg 는 Airflow 관련 설정에 대한 파..

Airflow (1) - Airflow 이해 및 설치

0. Machine Learning pipelining (ML pipelining 필요성 및 동기에 대한 밑의 단락입니다 읽어보세용!) 기업에서 ML model을 서비스할 경우 정제되어 있는 데이터셋은 없으며, 주기적으로 라벨이 수정되거나 새로운 데이터가 끊임 없이 계속 쌓이거나 바뀌게 됩니다. 그때마다 새로 training dataeset을 구성해야 하며, validation set 또한 주기적으로 업데이트해야 할 것입니다. 또한, 좀 더 유저 경험을 고려한 새로운 evaluation metrics를 개발해야 하며 model serving이나 monitoring, data와 model의 버전 컨트롤까지 고려해야합니다. 그래서 data가 업데이트될 때마다, model이 변경될 때마다, error가 발생하..