1. 개요

노인일자리 사업 데이터 파이프라인 개발 및 분석

본 프로젝트는 65세 이상 노인들의 경제적 자립과 사회 참여를 지원하기 위한 정부 복지사업을 분석을 위한 데이터 파이프라인을 개발하는 프로젝트 입니다. 최근 3년간의 노인일자리 공고와 사업 정보를 수집,변환 및 적재를 자동화 하였습니다. 추가로, 노인 일자리 채용 현황과 고용 지속성을 분석하고, 정부 정책의 효과성을 평가할 수 있는 대시보드를 개발했습니다.

팀 내 역할: Airflow를 이용한 ETL 파이프라인 구축

참고자료: 노인 일자리 분석 보고서

2. Data flow

주요 내용

1. 데이터 추출
   • 여러 API에서 데이터를 수집하여 jobs.csv와 projects.csv 파일로 저장합니다.
2. 데이터 처리 및 적재
   • 여러 라이브러리(pandas, oauth2client 등)를 사용해 데이터를 처리하고, BigQuery로 전송되어 Raw Dataset으로 저장됩니다.
3. 자동화 및 알림
   • Airflow가 ETL 작업을 스케줄링하고 Slack을 통해 알림을 보냅니다.

Airflow를 활용한 ETL 자동화

projects_crawling.py와 job_crawling.py를 통해 각각 사업 목록과 일자리 데이터를 크롤링하여 Google Sheets와 BigQuery에 적재하는 데이터 파이프라인을 개발하였습니다.