DA 가이드

DA, SQL, DB보안 등 실무자를 위한 위한 DB기술 바이블!

데이터 흐름 관리

데이터 품질관리 이해
데이터 관리 프로세스 이해
데이터 흐름 관리
작성자
admin
작성일
2021-02-10 16:48
조회
8279

정의 및 관리 목적

데이터 흐름 관리란 소스 데이터(문서, Text, DB 등)를 수기로 생성하거나 추출, 변환, 적재를 통 해 생성하여 타깃 데이터베이스에 저장·가공하는 것을 관리하는 절차를 말한다. 각 기관이 관리하 고 있는 데이터가 생성, 변경되고 활용되는 생명주기를 관리함으로써 전사 데이터에 대한 현황 파악 및 최적화된 형태로 활용되고 있는지를 확인할 수 있다.

개념 데이터 모델을 관리함으로써 논리, 물리 데이터 모델의 연관 관계 분석을 통한 전사 데이터 구조에 대한 파악이 가능하다. 또한 물리 데이터 모델과 데이터베이스 간의 상관 관계 분석을 통해 현재 운영 중인 데이터베이스와 동일한 모델 확보를 통해 유지 보수 및 체계적인 전사 데이터베이스 관리가 가능하다. 이외에도 데이터 참조 모델을 활용함으로써 일정 수준 이상의 데이터 모델 및 고품 질의 데이터 서비스가 가능하다. 개념 데이터 모델, 논리 데이터 모델, 물리 데이터 모델을 관리하기 위해서는 모델링 도구를 활용하는 것이 효과적이다. 또한 업무 영역별 개별 관리 방식보다는 데이터 의 중복 및 불필요한 인터페이스를 확인하고 조정이 가능한 전사적 통합 관리 방식을 권장한다.


세부 관리 대상

세부 관리 대상으로 개념 데이터 모델, 데이터 참조 모델, 논리 데이터 모델, 물리 데이터 모델이 있으며, 해당 데이터 모델과 관련된 내용은 앞서 2장 데이터 구조 이해에서 다루었으므로 여기서는 생략한다.


데이터 흐름 관리 프로세스

데이터 흐름 관리 프로세스

[그림 6-3-11] 데이터 흐름 관리 프로세스


DQ5.1.1 데이터 추출(변환) 요건 검토

[그림 6-3-11]의 DQ5.1.1 데이터 추출(변환) 요건 검토는 현업 업무를 위해 사용자로부터 접수한 요구 사항 중에서 데이터를 추출(변환)하여 해당 데이터베이스에 적재해야 하는 요건을 검토한다. 데이터베이스 관리자는 해당 요건 검토 시 전사아키텍처 뷰에서 데이터 정책/표준을 기준으로 요 건 반영 여부 및 방법에 대한 내용을 검토한다.


DQ5.1.2 소스 데이터 분석

[그림 6-3-11]의 DQ5.1.2 소스 데이터 분석을 위해 모델러는 소스 데이터를 추출(변환)하여 해당 데이터베이스에 적재하기로 결정된 요건에 대해 소스 데이터 관점에서 해당 테이블 및 칼럼에 대 한 내용을 분석한다. 칼럼 분석 시에는 칼럼에 대한 속성(데이터 타입 및 건수 등을) 중심으로 분석 하여 해당 요건을 지원할 수 있는 소스 데이터를 식별해 소스 데이터 분석서를 작성한다. [그림 6- 3-12]와 같은 형식으로 작성할 수 있다.

[그림 6-3-12] 소스 데이터 분석서 예


DQ5.1.3 소스 데이터 추출(변환) 설계

[그림 6-3-11]의 DQ5.1.3 소스 데이터 추출(변환) 설계를 위해 모델러는 소스 데이터의 변환 로 직 및 적재 로직을 설계한다. 설계 시 고려할 사항은 타깃 데이터베이스의 테이블 및 칼럼을 식별 하여 매핑 로직 분석서를 작성하며, [그림 6-3-13]과 같은 형식으로 작성할 수 있다.

[그림 6-3-13] 매핑 로직 분석서 예


DQ5.1.4 소스 데이터 추출(변환) 테스트

[그림 6-3-11]의 DQ5.1.4 소스 데이터 추출(변환) 테스트를 위해 모델러는 추출(변환) 설계에 따 라 소스 데이터를 테스트 형식으로 타깃 데이터베이스에 적재한다. 테스트를 통해 적재(가공)된 데 이터의 정확성을 사전 정의된 소스 대 타깃 대상 검증 항목을 기준으로 대상 검증 분석서를 작성한 다. [그림 6-3-14]와 같은 형식으로 작성할 수 있다.

[그림 6-3-14] 소스 대 타깃 대상 검증 분석서 예


DQ5.1.5 소스 데이터 추출(변환) 검증

[그림 6-3-11]의 DQ5.1.5 소스 데이터 추출(변환) 검증을 위해 사용자는 소스 데이터 추출(변환) 테스트에서 작성된 대상 내용을 바탕으로 해당 요건이 타깃 데이터베이스에 정확하게 반영되어 데 이터가 적재되었는지를 확인한다. 해당 요건에 따라 타깃 데이터베이스로 데이터가 정확하게 적재 되지 않았을 경우에는 소스 데이터 분석을 다시 하도록 한다. 소스 데이터는 정확하게 타깃 데이터 베이스로 적재(가공)되었지만 테스트를 통해 확인된 내용이 해당 업무를 지원하지 못할 경우에는 사용자 요구 사항을 재정의한다.


DQ5.1.6 소스 데이터 추출(변환) 모듈 반영

[그림 6-3-11]의 DQ5.1.6 소스 데이터 추출(변환) 모듈 반영을 위해 데이터베이스 관리자는 사용 자의 검증이 완료된 소스 데이터 추출(변환) 변화를 운영 환경으로 적용한다. 해당 모듈을 운영 환 경으로 적용하면서 데이터베이스 관리자는 다른 시스템 및 프로그램에 영향을 주거나 성능을 저해 하는 사항이 없는지를 확인한 후 반영한다.


DQ5.1.7 소스 데이터 추출(변환) 모니터링

[그림 6-3-11]의 DQ5.1.7 소스 데이터 추출(변환) 모니터링을 위해 모델러는 운영 환경에 적용된 소스 데이터 추출(변환) 모듈을 정해진 규칙에 따라 주기적으로 모니터링하여 그 결과를 데이터 관 리자에게 보고한다. [그림 6-3-15]와 같은 형식으로 작성할 수 있다.

[그림 6-3-15] 소스 데이터 추출(변환) 모니터링 결과 보고서 예


데이터 흐름 개선 프로세스

[그림 6-3-16] 데이터 흐름 개선 프로세스


DQ5.2.1 데이터 흐름 점검 기준 도출

[그림 6-3-16]의 DQ5.2.1 데이터 흐름 점검 기준 도출은 데이터 오류를 최소화하기 위해 지속적 으로 품질 점검을 통해 관리되어야 할 기준을 도출하는 과정이다. 예로는 데이터 구조적 측면의 흐 름 점검 기준, 데이터 정합성 유지 방안 등을 들 수 있다. 사용자가 설정한 품질 지표별로 데이터 이동에 대한 규칙들을 구체적인 기준들로 생성하여 관리할 수 있다.


DQ5.2.2 데이터 흐름 점검 지표 도출

[그림 6-3-16]의 DQ5.2.2 데이터 흐름 점검 지표 생성은 앞선 데이터 흐름 점검 기준별로 구체적 인 데이터 흐름의 정합성을 체크할 수 있는 지표들을 도출한다. 각각의 지표들은 데이터 흐름에 대 한 정합성을 체크할 수 있는 구체적인 데이터 이동으로 체크될 수 있는 형태로 도출되어야 한다.


DQ5.2.3 데이터 정합성 체크

[그림 6-3-16]의 DQ5.2.3 데이터 정합성 체크는 앞선 지표에 따른 구체적인 체크 모듈을 실행하여 정합성을 체크하는 과정이다.


DQ5.2.4 오류 데이터 분석

[그림 6-3-16]의 DQ5.2.4 오류 데이터 분석은 데이터 정합성 검증을 통하여 추출된 오류 데이터 에 대한 분석을 수행한다. 오류의 원인 분석에 따라 데이터 관리의 각 요소에 적절한 조치를 수행 하게 된다.


DQ5.2.5 변경 영향 분석

[그림 6-3-16]의 DQ5.2.5 변경 영향 분석은 앞선 체크 과정에서 오류 데이터의 원인에 대한 분석 을 통하여 구체적으로는 데이터 표준을 변경할 때의 영향, 데이터 모델을 변경할 때의 영향, 데이 터베이스 객체를 변경했을 때의 영향 등을 분석하는 과정이다.


DQ5.2.6 데이터 정제

[그림 6-3-16]의 DQ5.2.6 데이터 정제는 데이터 정합성을 지키지 않은 오류 데이터의 원인 분석 결과에 따라 데이터 관리의 각 요소에 적절한 조치를 수행하고, 데이터 값을 수정하는 과정을 말한다.