3 - 데이터 분석 기획의 이해
adp
분석 과제 발굴
- 풀어야 할 다양한 문제를 데이터 분석 문제로 변환 후, 프로젝트를 수행할 수 있는
과제 정의서 형태
로 도출
최적의 의사결정은 두 접근 방식이 상호 보완 관계에 있을 때 가능하다.
1. 하향식 접근법
- 사물을
why
관점에서 보는 방식
문제 탐색
: 문제를 해결함으로써 발생하는 가치에 중점- 비즈니스 모델기반
- 분석 기회 발굴의 범위 확장
- 외부참조 모델 기반
- 분석 유즈 케이스
문제 정의
: 식별된 비즈니스 문제를 데이터의 문제로 변환해결방안 탐색
: 분석 역량과, 분석 기법 및 시스템 존재 여부를 고려한다.타당성 검토
- 경제적 타당성: 비용대비 편익 분석 관점의 접근
- 데이터 및 기술적 타당성
2. 상향식 접근법
- 사물을
what
관점에서 보는 방식
- 비지도 학습
- 지도 학습
- 프로토타이핑 접근법
분석 기획 방향성 도출
1. 분석기획의 특징
과제를 발굴, 정의
하고 의도했던결과를 도출
할 수 있도록 적절하게관리
할 수 있는 방안을사전에 계획
하는 일련의 작업 (말 그대로 기획)
3. 목표 시점 별 분석 기획 방안
4. 분석 기획시 고려사항
- 가용 데이터
- 적절한 활용방안과 유즈케이스
- 장애요소들에 대한 사전계획 수립
분석 방법론
- 방법론은
절차
,방법
,도구와 기법
,템플릿과 산출물
로 구성된다.
- 폭포수 모델
- 프로토타입 모델
- 나선형 모델
1. KDD 분석 방법론
비즈니스 도메인에 대한 이해
,프로젝트 목표 설정
- 데이터셋 선택
- 데이터 전처리: 잡음, 이상치, 결측치 처리. 추가로 요구되는 데이터 셋이 필요한 경우, 데이터 선택 프로세스로 돌아감
- 데이터 변환: 데이터 차원 축소, 학습용 데이터, 시험용 데이터 분리
- 데이터 마이닝
- 데이터 마이닝 결과 평가
2. CRISP-DM 분석 방법론
Generic Tasks 예시: 데이터 정제
Specialized Tass 예시: 범주형 데이터 정제, 연속형 데이터 정제
- 업무 이해
- 데이터 이해: 데이터셋 선택, 데이터 전처리
- 데이터 준비: 데이터 변환
- 모델링:
모델 평가
- 평가:
모델 적용성 평가
- 전개
3. 빅데이터 분석 방법론
- 분석 기획
- 비즈니스 이해 및 범위 설정
- 프로젝트 정의 및 계획 수립 → SOW
- 프로젝트 위험 계획 수립 → 회피, 전이, 완화, 수용
- 데이터 준비
- 필요 데이터 정의
- 데이터 스토어 설계
- 데이터 수집 및 정합성 점검
- 데이터 분석
- 분석 데이터 준비
- 텍스트 분석
- 탐색적 분석
- 모델링 → 훈련용, 테스트용 데이터 분리
- 모델 평가
- 시스템 구현
- 평가 및 전개
분석 프로젝트 관리 방안
1. 분석과제 관리를 위한 5가지 주요 영역
Data Size
Data Complexity
Speed
: 분석 모델의 성능 및 속도를 고려해야한다.Analytic Complexity
: 분석 모델의 정확도를 높이면서 해석이 가능하도록 최적 모델을 찾아야 한다.Accurancy & Precision
: 정확도, 정밀도
3. 분석 프로젝트 관리방안
- 범위
- 시간
- 원가
- 품질
- 통합
- 조달
- 자원
- 리스크
- 의사소통
- 이해관계자