침입탐지시스템의 운용 및 정책설정

방세중/넷시큐어테크놀러지 책임연구원

침입탐지시스템은 데이터베이스화한 해킹방법을 기반으로 해커의 침입을 탐지함으로써 신기술 적용이 빠르고, 외부뿐만 아니라 내부 사용자의 해킹도 차단할 수 있으며, 해킹 사실을 인지하면 즉시 그 내용을 관리자에게 알려줌으로써 시스템 보안을 유지할 수 있도록 해준다.

그리고 일반적으로 네트워크 기반 침입탐지시스템은 실시간으로 네트워크를 모니터링하고 사용자가 정의한 보안정책을 적용해 불법적인 침입에 대응할 수 있지만 실시간으로 패킷을 분석하기 위한 처리 능력과 저장의 한계를 극복해야 하고, 네트워크 트래픽 증가에 따른 별도의 하드웨어 및 소프트웨어가 필요하다. 또한 호스트 기반 침입탐지시스템은 별도의 하드웨어 없이 시스템을 감시할 수는 있지만 서버마다 소프트웨어를 설치해야 하고, 서버의 리소스 부하를 증가시켜 성능 저하를 가져올 수 있는 단점이 있다. 현재 침입탐지시스템에 대한 많은 연구들이 비정상적인 탐지기술을 중심으로 이루어지고 있으나 아직 많은 솔루션들은 단순한 오·남용(Misuse) 등의 비정상 행위들에 대한 탐지를 주로 사용하고 있다. 즉 개별적인 사용에 대한 탐지보다는 일반적인 사용시간, 네트워크 접속 수, 인증 실패 회수 등이 탐지를 위한 척도로 사용되는 제한이 있다.

침입탐지시스템의 운용

따라서 이 같은 사항들을 극복하기 위해서는 △false positive의 제거 △false negative의 제거 △보안 관련 이벤트는 정의와 보고방법 △침입탐지시스템의 테스트 방법의 고안 △탐지된 공격의 피해 정도의 결정과 피해의 최소화 방법 제공 △네트워크에서 요구하는 크기에 변화할 수 있는 시스템 등과 같은 기술적인 논점들이 해결되어야 한다.

현실적으로 이 같은 논점은 기술적으로만 극복되는 것은 아니다. 침입탐지시스템을 도입하려는 사용자가 현재 솔루션에 대한 논점을 줄이면 효율적으로 운용할 수 있다. 먼저 침입탐지시스템의 효율적 배치에 대해 알아보자.

네트워크 기반의 침입탐지시스템과 침입차단시스템을 바깥에 설치하는 경우 기본적인 구성을 살펴보자. 라우터와 침입차단시스템 사이(<그림 1>에서 1의 위치)에 외부 공개용 서버들이 위치한 경우에 설치한다. 불필요한 트래픽까지 침입탐지시스템이 처리해야 하며 외부로부터 침입탐지시스템 자체에 대한 공격이 이루어질 수 있다.

침입차단시스템 안쪽에 설치하는 경우는 라우터와 침입차단시스템 사이(<그림 1>에서 2의 위치)에 공개용 서버들이 없는 경우에 설치한다. 침입차단시스템에 의해 트래픽이 일차적으로 필터링 되어 들어오기 때문에 침입탐지시스템은 불필요한 트래픽을 처리하지 않아도 되며 외부에서 침입탐지시스템의 존재 여부를 알아내기 힘들다. 따라서 침입탐지시스템 자체에 대한 외부로부터의 공격을 피할 수 있다.

침입탐지시스템과 스위치(<그림 1>에서 3의 위치)는 각 포트별로 프레임 브로드캐스팅을 제한함으로써 다른 포트의 송수신 상황을 전혀 알 수가 없다. 대부분의 네트워크에서는 작업그룹별로 포트를 할당하여 보안 효과와 함께 불필요한 트래픽을 줄여 네트워크의 성능을 유지한다. 따라서 아무런 설정 없이 스위치에 침입탐지시스템을 연결한다면 침입탐지시스템은 자신의 송수신 데이터만을 볼뿐 스위치를 오가는 다른 트래픽은 볼 수가 없다.

스위치에서 보안을 구현하고자 한다면 해당하는 포트를 밀러링 포트로 설정하여 해당 포트를 오가는 모든 트래픽을 관찰할 수 있다.

침입탐지시스템과 허브와의 관계를 살펴보면 침입탐지시스템은 브로드캐스팅 프레임을 처리한다. 따라서 더미허브는 모든 포트에 브로트캐스팅 프레임을 전달하기 때문에 침입탐지시스템을 어떤 포트에 연결해도 더미허브를 지나는 모든 트래픽을 볼 수 있다.

그러므로 <그림 1>에서 2의 위치와 같이 침입차단시스템과 스위치 사이(인터넷의 트래픽 전체를 볼 수 있는 위치) 또는 4의 위치와 같이 스위치와 내부 라우터 사이(각각의 서브 네트워크와 게이트웨이 간의 트래픽을 볼 수 있는 위치)에 더미허브를 두고 침입탐지시스템을 설치하여 그 지점을 지나는 모든 트래픽을 처리하게 된다.

본사와 지사 간 네트워크 환경(라우터와 스위치의 복합 구성)은 중규모 이상의 네트워크로서 본사와 여러 지사들이 내부적으로 연결된 환경인데 이런 경우 내부적으로 E-메일, 웹, DNS와 같은 서버는 물론 내부 전용 서버들도 운용하고 있다. 따라서 트래픽은 외부보다 내부가 많은 경우가 대다수이며 외부보안과 함께 내부적인 보안이 동시에 요구되어지는 환경이라고 할 수 있다. 이런 환경에 침입탐지시스템을 적용하기 위해서는 우선적으로 보안이 필요한 영역을 정의해야 보안 실효성을 얻을 수 있다.

중소규모 네트워크(스위치 환경)는 내부적으로 불필요한 트래픽을 차단하기 위해 스위치를 이용해 부서별로 VLAN 또는 IP Subnetting을 구현한 환경이다. 서버용 장비들은 스위치에 직접 연결해 외부망 및 개별 부서로부터 빠른 접속을 할 수 있도록 하고 있다. 따라서 부서 A, B, C의 더미허브에 침입탐지시스템을 설치하게 되면 해당 부서의 트래픽만을 검사할 수 있다.

침입탐지시스템에 의한 일괄적인 보안을 하려면 라우터와 스위치 사이에 더미허브 하나를 추가해 그 더미허브에 침입탐지시스템을 설치함으로써 내외부망을 오가는 트래픽을 통제할 수 있다. 또 한가지 방법은 스위치에 밀러링 포트를 지정하여 이 포트에 침입탐지시스템을 설치함으로써 스위치를 통과하는 모든 트래픽을 검사할 수 있다. 다만 침입탐지시스템의 성능을 고려해 밀러링할 포트를 제한할 수 있다. 그렇게 하려면 스위치를 오가는 트래픽이 어느 정도인지를 먼저 파악해야 한다. 그리고 침입차단시스템이 설치되어 있다면 침입차단시스템 바로 아래에 설치하도록 한다. 이렇게 함으로써 동일한 위상에서 상호 연동을 통한 일괄적인 보안을 구현할 수 있다.

소규모 네트워크(더미허브 환경)는 더미허브로 내부 구성원 모두가 연결되어 있는 일반적인 소규모 네트워크 환경이다. 내부 전체가 하나의 브로드캐스팅 범위에 있기 때문에 침입탐지시스템을 어느 위치에 설치해도 내·외부를 오가는 모든 패킷을 볼 수 있다. 이러한 경우라면 관리자에게 가까운 곳에 설치하는 것이 당연할 것이다. 만약 침입차단시스템이 설치되어 있다면 트래픽을 고려해 일반적으로 침입차단시스템 아래에 침입탐지시스템을 설치한다.

<그림1> 침입탐지시스템 구성도

<그림2> 본사-지사 네트워크

침입탐지시스템의 정책 설정

이렇듯 침입탐지시스템은 설치될 네트워크환경에 따라 설치될 위치가 달라진다. 이와 함께 빼놓을 수 없는 것 중 하나는 정책을 설정하는 것이다. 정책에 대해 알아보기에 앞서 일반적인 네트워크 구성 요소인 라우터, 침입차단시스템과 침입탐지시스템에 대한 구분이 있어야 한다. 그 이유는 침입탐지시스템은 수동 소자이고 네트워크에 대해 ‘T’자로 연결되어 있기에 트래픽을 막을 수 없으며 접근 통제 소자가 아니기에 놓친 패킷이 정상적인 전송을 막을 수 없기 때문이다. 따라서 침입탐지시스템에 대한 옳은 기준은 10Mbps, 100Mbps와 기가비트 세그먼트의 다양한 수준의 네트워크에 대한 ‘침입탐지’이다. 이러한 기준으로 침입탐지시스템의 정책을 설정할 때 다음의 주의사항을 고려하여 정책을 설정한다.

▲기본사항

첫째 공격받은 경우 통지, 둘째 공격의 유형, 셋째 내부 모데이터의 확보 유무이다. 이것이 확실하지 않으면 앞에서 설명한 네트워크 환경에 따른 침입탐지시스템의 배치는 무의미할 것이다.

▲단순화

침입탐지시스템이 찾을 위협이 무엇인지 정의하고 설치된 네트워크 환경에는 없는 위협을 찾지 않도록 함으로써 패킷의 실시간 분석 능력을 향상시키고 감사 데이터의 양을 줄 일 수 있다.

▲시스템 성능

침입탐지시스템이 설치될 장소와 유지될 기간을 결정해야 한다. 그래야만 침입탐지시스템의 성능을 결정할 수 있고 이에 따른 감사데이터의 저장기간 등의 적절한 정책을 수립할 수 있다. 지금까지 살펴본 바와 같이 정책이란 침입탐지시스템을 제대로 작동하도록 하는 것으로 어쩌면 침입탐지시스템 자체보다 더 중요하다고 할 수 있다.

침입탐지시스템의 평가방법

침입탐지시스템의 기술적 특징과 운영상 유의사항을 갖고 벤치마크테스트를 실시한다면 기준이 될만한 평가방법에는 무엇이 있는지 간략히 살펴보자.

▲평가방법론 일반

침입탐지시스템을 평가하는 방법에는 여러 가지가 있으나 네트워크 트래픽에 대한 침입탐지율이 하나의 기준이 될 것이다. 그리고 이때 부가적으로 침입오판율을 함께 기준으로 삼아야 할 것이다. <표 1>, <표 2>에서 보는 바와 같이 기본적인 기준 침입탐지율과 침입오판율이 기준이며 추가적으로 시스템의 성능에 대한 항목이 나열되었다.

▲국내 평가방법

이 같이 일반적인 평가기준으로 자체의 평가항목을 설정해 각각의 침입탐지시스템을 평가해도 좋으나 시간적이나 금전적으로 여유롭지 못하다면 현재 국내에서 실행되고 있는 ‘정보통신망 침입탐지시스템 평가기준’에 따른 기능 및 보증 요구 사항(<표 3> <표 4> 참조)을 기준으로 평가를 하여도 충분한 평가기준을 제공할 것이다.

<그림3> 중소규모 네트워크

제공 : DB포탈사이트 DBguide.net