방세중/넷시큐어테크놀러지 책임연구원

다른 분야와 마찬가지로 침입탐지시스템에 대한 연구도 침입탐지시스템이 가지고 있는 한계에서 출발했다. 이와 관련해 앞으로 해결되어야 할 기술적인 논점뿐만 아니라 최근의 해킹 및 사이버 공격에 대한 네트워크 보안 기술의 근본적인 한계점으로 생각할 수 있는 것들은 다음과 같다.

△정상 사용자의 행위를 침입으로 판단하는 오탐지를 일으킬 수 있다(False Positive의 발생).
△침입자는 자유롭게 네트워크를 이용할 수 있으며 동일 시스템에 대한 추가적인 공격과 다른 도메인에 존재하는 다른 시스템에 대한 추가적인 공격이 가능하다.
△보안 환경 변화에 적응성이 떨어진다. 즉, 새로운 공격 패턴에 대해 해당 DB를 갱신하고 있으나 탐지는 알려진 기술이나 기법에 한정된 것이다(False Negative의 발생).
△침입자 대응에 있어 협력 기능이 부족하다. 동일한 공격에 대해 전체 네트워크의 다른 부분에서 인식하게 되는 정보와 전체 네트워크 차원에서 해당 데이터를 상호 결합하는 기능이 부족하고, 침입자에 대한 대응에 있어서도 각 도메인간의 협력이 없는 상태다.

이러한 문제점들을 해결하기 위해 침입탐지시스템이 설치될 네트워크 특성에 맞게 정책설정을 최적화함으로써 오탐지를 줄이고 침입탐지 패턴의 라이브 업데이트를 통한 최신 공격유형에 적극적으로 대응을 하는 등 실질적인 방안들이 다양하게 제안되고 있다. 이중 침입자 대응에 대해 살펴보기로 하자.

실시간 대응 가능한 능동형 보안솔루션 필요

침입 대응 기술은 사용자나 시스템관리자에 의해 실행되거나 자동화된 대응 시스템을 통해 실행된다. 보통 해커의 공격은 자동화된 도구를 사용하는 경우가 많으므로 이러한 공격에 대해 효과적으로 대응이 가능한 자동화된 실시간 대응 방법과 복구 시스템이 필요하다.

실시간 침입 대응 기술은 침입자에 대한 반격, 환경의 수정, 침입정보 수집 등으로 나누어진다. 침입자에 대한 반격은 침입으로 판단된 접속에 대한 접속정보를 역추적해 침입의 근원점에 대한 공격을 행하거나 네트워크 접속을 차단하는 것이 대표적인 방법이다. 이러한 방법들은 효과적으로 침입자를 차단할 수 있지만 침입의 근원으로 판단했던 호스트가 침입자가 경유한 호스트일수도 있고, 역공격을 당한 침입자에게 더욱 심각한 피해를 초래하는 부작용을 가져올 수 있다.

환경을 수정하는 대응 방법은 침입에 사용된 취약점을 식별하고 해당 취약점을 보완하거나 제공되는 서비스의 제한 또는 재개 등 시스템의 환경을 보완하는 방법이다. 이 방법은 대응 방법들 중에서 가장 최적의 대응을 행할 수 있는 방법이기도 하다. 정리해 보면 침입대응은 사용자나 시스템관리자에 의해 실행되거나 자동화된 대응 도구를 이용해 수행하며, 해커의 자동화된 도구를 사용하는 공격에 대해 효과적으로 대응이 가능한 자동화된 실시간 대응 방법 및 복구 시스템이 필요하다.

침입탐지시스템에서의 대응 기술에는 크게 수동적 대응과 능동적 대응으로 나눌 수 있다. 수동적 대응에는 경보(통지), 로깅 등이 있으며 능동적 대응에는 네트워크 기반으로는 차단·종료, 침입차단시스템·라우터·스위치 연동과 호스트 기반으로는 사용자 강제 종료 및 접근 차단, 응용프로그램 또는 시스템의 종료 및 재시동, 취약성 수정 등이 있다.

현재 상용화된 침입탐지시스템의 대응 방법은 기본적으로 수동적 대응 기능을 갖고 있으며 제한적이지만 능동적 대응으로 해당 세션을 강제로 종료시키거나 같은 네트워크 상에 있는 침입차단시스템 및 라우터 등과 연동해 의심스러운 호스트나 서비스 요청을 원천적으로 막아낸다. 그러나 이러한 대응기술을 포함한 연구는 원천적인 대안이라고 할 수는 없다.

이와 같은 기술적 한계를 극복하기 위해서는 보다 능동적이며 공격적인 대응을 하고 새로운 공격에 대해 탐지 및 대응을 쉽게 받아들이는 적합성을 가지는 형태의 연구가 필요하다. 이의 대표적인 연구 형태가 능동형 보안 시스템일 것이다.

현재 침입자의 실제 위치를 추적해 침입자 근처에서 해당 트래픽을 차단함으로써 침입자를 네트워크로부터 연결성을 단절하고자 하는 연구가 진행되고 있다. DARPA(Defense Advanced Research Projects) 프로젝트는 크게 프로토콜을 개발하거나 능동 네트워크 기술을 적용하는 방안과 학계를 중심으로 기존 네트워크 기술이나 이동형 에이전트 기술을 이용해 침입자를 탐지하거나 위치를 추적하는 방안에 대한 연구로 나누어진다.

<그림1> IDIP의 네트워크 구조

침입방지시스템·플로우 기반 IDS로 발전

그렇지만 이러한 연구는 아직 활발하지 않은 초기 단계로 상용화된 제품이 나오는 데는 해결해야 할 문제가 많다. 이와는 대조적으로 실용적인 개념이 소개된 바 있는데 대표적인 두 가지로 침입방지시스템과 플로우(Flow) 기반의 침입탐지시스템을 들 수 있다.

새로운 개념을 소개하기에 앞서 일반적인 침입 시도 순서를 살펴보자. 침입(해킹) 시도 순서는 1단계로 네트워크 상에 어떤 종류의 컴퓨터가 있고, 이것들의 운영체제와 네트워크 애플리케이션 중 서버는 무엇이며 이것들의 IP 주소와 열린 포트번호를 결정하기 위해 네트워크를 탐색한다. 이런 일련의 과정을 네트워크 매핑이라 한다. 2단계에서는 1단계에 의해 모아진 데이터에 기반을 두고 취약한 컴퓨터로 접근하기 위한 루틴을 적용한다. 3단계에서는 침입자의 목적, 즉 재정과 관련된 서버로부터 민감한 자료를 내려 받는 등의 행위가 이루어진다.

여기서 상용화되어 있는 대부분의 침입탐지시스템은 침입탐지 패턴(시그니처)을 기반으로 오남용 탐지를 주로 하고 있다. 이것은 침입 시도 순서에서 두 번째 단계에 해당하는 행위를 탐지하는 것이다. 따라서 네트워크 또는 호스트의 사용이 증가할수록 시그니처 기반의 침입탐지시스템은 부하가 가중되는 것이다. 이를 극복하는 방안으로, 특히 네트워크의 고속화에 따른 고속처리를 구현하기 위한 고속처리하드웨어의 채택 및 대상 시스템과 운영체제와의 최적화와 함께 운영체제가 포함된 시스템의 하드웨어 일체화가 연구되고 있다.

이와함께 침입방지시스템(Intrusion Prevention System)은 공격에 대한 탐지만이 아니라 공격 시그니처를 찾아내며, 서버에서 수상한 활동이 이뤄지는지를 감시한다. 또 서버가 비정상적인 행동을 실행하고자 하는 경우 자동으로 조치를 취함으로써 그것을 중단시킨다. 침입방지시스템의 이러한 개념은 False Positive와 False Negative를 제거하며 침입이 탐지되었을 때 능동적 대응을 제공하는 개념이다. 그러니까 ‘정상’을 정의하고 그 이외의 것은 직접 차단하는 개념이다. 이는 네트워크에서 무엇을 ‘정상행위’로 정의할 것인가와 수동소자뿐만 아니라 능동소자로서의 역할에 대한 실효성 논란이 있으나 침입탐지시스템 연구의 또 다른 접근 방법으로 볼 수 있다.

또 하나의 접근법인 플로우(Flow) 기반의 침입탐지시스템(Flow-based IDS)은 플로우, 관계지수, 서비스 목록으로 이야기할 수 있다. 기존의 침입탐지시스템이 침입 시도 2단계에 관심을 두었다면 이 개념은 1, 3단계에서 침입탐지를 수행하는 방법을 채택했다. 이는 각각의 독립적인 패킷에 대한 것이 아니라 합법적인 연결인지, 의심스러운 연결인지에 대해 플로우를 대상으로 유효한 연결인지를 탐지한다. 또 스캔 시도인지에 대해 관계지수를 통해 판단하고 합법적으로 보이는 네트워크 연결이 보고되었는가와 이미 알려진 공격인지를 서비스 목록을 통해 확인하게 되는 방식이다. 이런 방법도 관계지수를 설정하고 서비스 목록을 구축하는 방법에서 논란이 있을 수 있으나 침입탐지시스템이 현재 안고있는 문제점을 해결하ass=Sub1>다른 보안솔루션과의 연동 필수

한편 현재 네트워크 구조를 기반으로 상호 운용성과 각각의 획득 정보에 대한 상호 결합 그리고 시스템 수행기능의 상호 협력을 강화하려는 움직임도 있다.

물론 이것은 좁은 의미에서 침입탐지시스템의 능동적 대응 기술과 맥락을 같이 하지만 다양한 업체 제품 간의 상호결합을 통해 보안성을 강화하려는 것이다. 이것은 상호 운영성을 제공하기 위해 표준화된 인터페이스를 정의하고 공통 API(Application Program Interface)를 정의하며 이벤트 또는 로그 관리를 이용해 중앙에서 보안 관리를 적용하는 방법으로 나눌 수 있다. 이는 체크포인트의 OPSEC(Open Platform for Secure Enterprise Connectivity)와 NAI의 액티브 시큐리티가 대표적이며 국내에서는 ISTF(Internet Security Tech-nology Forum)에서 해당 국내표준을 발표하거나 준비하고 있다.

침입탐지시스템은 만능이 아니다. 침입탐지시스템은 침입 또는 침입시도에 대한 탐지와 침입 탐지에 따르는 대응을 목적으로 하고 있다. 그럼에도 불구하고 침입탐지시스템이 침입차단시스템과 독립적인 보안 솔루션으로 인식되는 경우가 있다. 실제 침입탐지시스템은 서비스 거부 공격에 대해서는 무방비 상태라 할 수 있다. 물론 이러한 공격에 능동적으로 대응하는 개념이 소개되었지만 침입탐지시스템이라는 것은 침입 탐지 및 대응(경고)에 대한 책임이 1차적이다. 특히 요즘 유행하고 있는 웜 바이러스에 대해서는 실제로는 자체적 방어가 불가능하다. 이러한 단점을 보완하기 위한 해법은 침입탐지시스템 및 라우터와의 연동과 네트워크 노드와의 능동적 대응이다. 이러한 분업은 침입탐지시스템에서는 탐지를 하고 침입차단시스템에서는 방어를 하는 형태를 띠고 있다.

분산 서비스 거부 공격에 대한 방어는 침입차단시스템과 침입탐지시스템의 연동을 넘어서 백본(Back Bone)망을 책임지고 있는 ISP 업체와 네트워크 장비업체, 침입차단·탐지시스템 업체 모두가 유기적인 관계를 통해 대응해야 할 문제이다. 그리고 이것은 해외의 능동형 보안 시스템 연구뿐만 아니라 ETRI를 중심으로 차세대 능동형 네트워크 정보보호시스템 개발과제 등으로 그 모습이 구체화되고 있다.

<그림> AN-IDR의 네트워크 구조

제공 : DB포탈사이트 DBguide.net