| 8. 운영 평가 / 모니터링 |
| 데이터 워크플로우 절차에 따라 해당 시스템에 적용되는 경우 신뢰성 있는 분석(예측)결과를 안정적으로 운영 할 수 있는 운영계획을 수립합니다. 분석 모델의 경우 새로운 데이터 유입에 따른 안정적인 분석(예측)결과가 보장되어야 하며 이는 대상 모델 모니터링 지표 값에 기준으로 상태 값의 변동성을 확인합니다.
분석모델 개발 과정에서 반복적인 분석모델 학습-검증-평가 및 정교화 과정을 통해 최종 모델의 신뢰성과 안정성이 확보되었지만 입력데이터와 분석모델 특성을 반영한 일정한 “학습-검증-평가” 주기를 설정하여 정기적인 분석모델 학습 과정을 수행합니다. 또한 새로운 알고리즘이나 기법을 활용하여 기존 분석모델을 업데이트 하는 과정은 운영 시스템에 영향을 주지 않는 분석모델 학습 환경을 구성 비 정기적인 “학습-검증-평가”를 진행한 후 기존 분석모델과의 비교를 통해 향상된 결과를 얻을 수 있습니다. <블록 체크리스트> · 데이터 워크플로우를 통해 적용 된 시스템의 운영 평가 및 주기적인 품질 체크 방안을 수립 · 모형 평가 기준 정립 Bias vs Variance, Overfitting, 연속형 종속변수(Y) 평가 기준, 범주형 종속변수(Y) 기준 |
|
| 운영 평가 / 모니터링 블록 활용법 | |
분석 모델 관리
최종 분석 모델이 작동하는 주기, 사용한 Input data, Output data, Parameter 정보 등을 관리하는 체계를 정립 합니다.
모델 성능 모니터링
분석 모델의 성능을 측정하는 평가 지표의 허용 기준 범위 등에 대한 운영 정보와 성능을 모니터링하기 위한 지표값, 상태 기준
값 등을 정의하고 관리 합니다.
정기/비정기 학습 관리
분석 모델에 대한 정기적인 업데이트정보와 신규 데이터가 입수되었을 경우, 그에 따른 분석 모델 업데이트 방법 및 적용 주기
등을 정의하고 관리 합니다.
분석 결과 신뢰 수준
분석 결과 값의 신뢰수준을 규정하고 그에 따른 모니터링 체계에 대해 정리 합니다.
출처) Citizen Data Scientist를 위한 데이터 사이언스 캔버스
지은이 ㈜ 베가스 R&D Center
