cd airflow
# airflow 설치를 위해 postgresql, redis 등 실행
docker compose up airflow-init
# airflow 실행
docker compose up
- 8088 포트로 접속
- Dags
- gcs_to_mongo_v1 : raw 데이터를 1차 가공하여 저장한 후, 통계 데이터를 산출하여 mongodb에 주기적으로 적재
- bigquery_full_refresh_v1 : GCS에 1차 가공된 데이터를 bigquery로 적재
- delete_gcs_object_v1 : 일주일에 한번씩 raw데이터 삭제
- spark 스크립트, spark 스크립트에서 사용되는 schema가 저장되어 있음
- 변경사항이 있다면 gnimty_bucekt의 pyspark, schema에 업데이트