[1주차] BDAI 선택 이유 + 데이터 핸들링·자동화 수업에서 얻고 싶은 것
— FDS 프로젝트 이후 데이터 엔지니어링 역량의 필요성을 느끼며
BDAI 금융 데이터 분석 심화 과정에서 진행한 온라인 결제 이상거래 탐지(FDS) 프로젝트를 통해, 분석 모델보다 먼저 해결해야 할 과제가 데이터 처리 구조라는 점을 체감했다. 거래 로그, 고객 이력, 카드 사용 패턴과 같은 다양한 데이터를 결합하고 시간 흐름에 맞게 가공하는 과정에서 데이터 핸들링 방식 자체가 성능과 개발 속도에 직접적인 영향을 준다는 경험을 했다.
이러한 문제의식을 바탕으로 BDAI학회 12기 데이터 분석 실전반(데이터 핸들링과 자동화)에 참여하게 되었다. 빅데이터 분석 학회 활동을 통해 데이터 분석 기술뿐 아니라, 데이터를 효율적으로 처리하고 관리하는 구조를 이해하는 것이 목적이다.
FDS 프로젝트에서 느낀 기술적 한계
- 대용량 데이터 처리 성능 문제
거래 데이터를 시간 기준으로 정렬하고 고객·카드 단위 통계 변수를 생성하는 과정에서 처리 시간이 크게 증가했다. 단순 반복 연산으로는 한계가 있었고, 데이터 분할, 컬럼 기반 저장 방식, 처리 효율을 고려한 구조 설계가 필요했다. - 실시간 탐지 구조를 고려한 데이터 접근 방식의 중요성
이상거래 탐지는 거래 발생 직후 위험도를 판단해야 하므로, 과거 거래 이력을 빠르게 조회할 수 있는 데이터 구조가 필요했다. 실시간 처리와 배치 처리의 역할을 구분하고, 지연 시간을 줄이는 데이터 흐름 설계가 중요하다는 점을 경험했다. - 전처리 반복 작업에 따른 개발 비효율
변수 생성 방식이나 데이터셋 구성이 바뀔 때마다 전처리 과정을 다시 수행해야 했다. 이 과정에서 자동화된 데이터 처리 파이프라인과 재사용 가능한 코드 구조의 필요성을 느꼈다. - 데이터 품질 관리 문제
거래 데이터의 누락이나 이상값 처리 방식에 따라 모델 성능이 크게 달라졌고, 데이터 정합성을 유지하는 관리 체계가 필요했다.
BDAI 수업에서 얻고 싶은 부분
- 데이터 수집·적재·가공 흐름에 대한 구조적 이해
- 반복 데이터 처리 작업의 자동화 경험
- 효율적인 데이터 저장 및 처리 방식 학습
- 프로젝트 기반 데이터 협업 경험
FDS 프로젝트에서 드러난 데이터 처리상의 한계를 보완하고, 분석 이전 단계에서 필요한 데이터 엔지니어링 관점을 강화하는 것이 이번 활동의 목적이다.