요약

• 프로젝트 개요
  • 웹 게임을 개발해 사용자 데이터를 수집하고, 이를 기반으로 데이터 파이프라인과 모니터링 시스템을 구축했습니다.
    • React와 Express.js로 게임 구현, Docker로 배포 환경 구성
    • GitHub Actions를 활용한 CI/CD 구축
    • Prometheus와 Grafana로 실시간 모니터링
    • AWS OpenSearch, S3, Lambda, Glue Crawler로 ETL 파이프라인 설계
    • 병렬 처리와 메시지 큐를 통해 확장성과 안정성 확보
    • AWS 프리티어를 활용한 비용 효율적인 인프라 구성
• 참고 링크
  • 세부 내용: 웹게임 상태 모니터링 시스템 및 로그 데이터 ETL 파이프라인 개발
  • 웹 게임 사이트
  • Github: namuna309/square-blitz: web game SquareBlitz
• 기술 스택 및 구성
  • 기술: AWS, Python, JavaScript, HTML, CSS
  • 팀 구성: 개인

주제 선정

• 문제의식
  • 데이터 파이프라인을 개발하려는 입문자에게 가장 큰 진입 장벽은 "어디서 데이터를 수집할 것인가?"라는 고민입니다.
  • 많은 초보 데이터 엔지니어들은 공공데이터 포털을 활용하여 Raw 데이터를 수집합니다.
• 기존 방식의 한계
  • 공공데이터 포털은 방대한 양의 데이터를 무료로 제공하지만, 지나치게 정제되어 있어 실무에서 발생할 수 있는 다양한 문제를 경험하기 어렵습니다.
  • 데이터 제공 기관에 대한 의존성, 그리고 이미 많은 프로젝트에 활용되었다는 점도 단점으로 작용합니다.
• 해결 방향
  • 이러한 한계를 극복하기 위해 데이터를 직접 생산하고, 해당 데이터를 활용한 파이프라인을 구축하는 방법을 고민하게 되었습니다.
  • 그 결과, 직접 웹 페이지를 개발하고 사용자 활동에서 생성된 데이터를 수집하여 파이프라인을 구축하는 방식을 채택하게 되었습니다.

웹 게임 개발

왜 ‘웹 게임’인가?

• 기존 방식의 한계
  • 정보 제공 위주의 일반 웹 페이지는 사용자 유입이 적고, 자연스러운 데이터 수집이 어렵습니다.
• 주제 전환 배경
  • 단순한 웹 페이지보다 사용자 방문률을 높일 수 있는 콘텐츠가 필요하다고 판단했습니다.
  • 많은 사용자들이 이미 즐기고 있는 웹 게임 장르는 검증된 트래픽 유도 수단이므로
  • 웹 게임을 통해 사용자 행동 데이터를 자연스럽게 수집하고, 이를 기반으로 파이프라인을 구축하는 것이 더 효과적이라고 판단했습니다.