DAFS 기술을 통한 스토리지 혁신

장성훈/네트워크어플라이언스코리아 부장

컴퓨터의 발전속도나 기술 개발에 대한 이야기를 할 때 흔히 CPU나 메모리의 처리속도나 집적도에 대한 이야기를 많이 한다. 또한 최근 들어 핸드폰이나 PDA가 보급되면서 공상과학 영화에서나 보았을 법한 아주 흥미있는 입출력 장치들에 대한 이야기도 들린다.

이에 반해 스토리지 혹은 스토리지 기술의 발전은 상대적으로 늦게 시작됐고 실제 사용자들에게 그다지 눈에 띄지 않는 것도 사실이다. 이러한 현상은 일반 사용자의 경우 컴퓨터의 요소기술에 둔감할 수 있고 또한 개인이 사용하는 소용량 디스크의 경우 고집적에 따른 저장용량 증대와 가격인하에만 시선이 집중돼 있을 뿐이기 때문이다.

스토리지 중심적인 입장에서 컴퓨터의 사용을 보면 일반 사용자가 인터넷을 사용하든 인트라넷을 사용하든 보내고 받는 모든 데이터는 어떤 스토리지 블록에서 또다른 스토리지 블록으로 저장돼 가는 과정으로 볼 수 있으므로 스토리지 혹은 스토리지 기술의 발전은 컴퓨터의 발전에 커다란 축을 이루어 왔음을 의심할 여지가 없다.

RAID의 등장과 10GB 인터페이스의 접목

거의 답보상태를 유지한 채 집적도 향상 혹은 소형화, 가격저하 등 기존 기술을 응용하는 수준으로 기술개발이 집중되던 스토리지 시장에 획기적인 발전을 가져온 대표주자는 RAID 기술이다. 1, 3, 4, 5, 1+0 등으로 대별되는 이 기술은 그때까지 스토리지에게는 고질병이였던 안정성 취약을 치유하는 대단한 기술이었다.

스토리지는 그 특성상 대체될 수 없는 고유성을 가지고 있다.

그 이유는 세상에 유일무이한 사용자의 데이터가 그 속에 저장돼 있기 때문인데 안타깝게도 RAID 이전의 스토리지들은 안정성에 문제를 가지고 있었던 것이다. 또한 물리적인 기계작동이 들어가는 디스크의 작동한계 때문에 항상 다른 구성 요소들에 비해 가장 늦은 속도를 가질 수밖에 없었던 스토리지는 이 기술을 통해 여러 디스크들을 하나의 그룹으로 묶어서 작동시킴으로써 그 속도의 한계를 서서히 벗어나기 시작했다.

사실 어떤 면에서 보면 세계 최초의 디스크와 오늘날의 디스크가 구성상에서 거의 비슷한 것이라는 의견도 있다. 물론 이 의견도 전적으로 틀린 것은 아니지만 그때와 비교해 본다면 오늘날의 스토리지가 훨씬 더 지능적이고 훌륭한 저장능력과 응답시간을 가지고 있다고 해야 마땅하며 이러한 발전은 그 동안의 성과라고 할 수 있다.

RAID가 스토리지 시장에 한번의 획기적인 발전을 가져왔던 것처럼, 이제 우리에게 또 다른 스토리지의 획기적인 발전이 다가오고 있음을 여러 경로를 통해 알 수 있다. 그 획기적인 발전이란 다름 아닌 10GB 인터페이스 시대를 이야기하는 것인데 이 발전은 네트워크 분야에서부터 오고 있다.

오늘날의 네트워크는 특정인들을 위한 기술 혹은 시설이라는 의미에서 벗어나 누구나 손쉽게 사용이 가능한 범용성을 띠게 됐다. 이러한 범용성은 대중적인 개발투자를 불러일으킴으로써 다른 컴퓨터 요소 어느 것에 투자되는 비용보다 많은 금액의 투자를 불러모았다. 이러한 투자가 10GB라는 이전에 상상해 본적이 없는 대단한 속도와 용량의 네트워크를 탄생시킨 배경이 됐다. 네트워크의 10GB라는 속도를 놓고 컴퓨터의 다른 구성 요소들, 즉 CPU나 메모리 등을 본다면 이제는 감히 제일 앞장서는 위치에서 내려와야 하는 입장에 처하게 됐다. 특히 10GB 네트워크의 기술이 서서히 스토리지 기술에 접목되기 시작하면서 스토리지는 또 한번의 획기적인 발전을 위한 길을 가고 있다고 할 수 있다. 지금까지 스토리지 연결에 흔히 사용되던 파이버 채널 인터페이스를 바로 이 10GB 네트워크 인터페이스가 대체하게 될 것이기 때문이다. 차세대 인터페이스 경쟁에서 파이버 채널 인터페이스 전략이 2GB라는 것을 볼 때 훨씬 범용성이 있으며, 따라서 값도 훨씬 저렴할 수밖에 없는 10GB 네트워크 인터페이스가 5배의 속도 및 성능에도 불구하고 더욱 낮은 가격으로 시장에 공급된다면 경쟁은 시도 자체가 무의미한 것일 수 있다.

제2차 스토리지 혁명의 토대 DAFS

요즈음 우리가 알고 있는 유수의 스토리지 공급업체들은 상당한 고민에 빠져 있거나 이미 고민을 끝내고 적극적인 활동에 들어가 있는 상태이다. 현재까지는 지금의 기술로도 고객을 어느 정도 만족시켜 왔으며 고객도 그리 불만족을 표시하지 않고 있는 게 스토리지 시장의 상황이다. 하지만 10GB 네트워크의 상용화 뒤에도 계속 만족할 것인지는 확실하지 않고 이것이 기존 메이저 스토리지 공급업체들의 주된 고민으로 등장하게 된 것이다. 이러한 고민의 중심에 NAS나 iSCSI, DAFS와 같은 것들이 있다. 일부의 주장들을 접하다 보면 DAFS가 마치 NAS의 낮은 성능을 개선키 위해 개발되고 있는 것처럼 보인다. 그러나 이 주장은 맞다고 보기에는 맹점이 있다. 왜냐하면 NAS 제품들 중 어떤 제품은 아주 높은 성능을 낼뿐 아니라 DAFS가 활성화된 뒤에는 NAS 분야만 이 기술을 사용할 것이 아니기 때문이다. 물론 DAFS의 발전을 따라 NAS의 성능은 지금보다 개선될 것이다. 그러나 DAFS의 목적은 그러한 협의적인 곳에 있는 것이 아니고 보다 광의적인 곳을 지향하고 있다는 것을 알아둘 필요가 있다.

기존의 여러 가지 컴퓨터내의 기술들, 예를 들어 대용량 메모리 운영기술이나 서브시스템 간의 커뮤니케이션, 대용량 스토리지들이 저장 데이터를 보다 효율적으로 운영하기 위해 채택한 파일시스템 등이 각자의 이유에 의해 발전됐다고 하더라도 10GB의 시대에 맞춘 시선으로 보면 이 기술들은 오버헤드될 수 있고 DAFS는 이러한 오버헤드들을 없애는 방향으로 발전하고 있다.

DAFS를 통한 이러한 제거는 10GB에게 제 속도를 내게 해줄 수 있으며, 단계를 줄임으로써 속도뿐 아니라 비용이나 장애요소 또한 상당부분 감소시킬 수 있을 것으로 기대되고 있다. 단적인 수치를 이야기하면 현재 데이터베이스의 경우 입력에서 출력까지의 컴퓨터 내부 수행단계는 약 11단계에서 14단계정도로 구성되는데 DAFS를 사용하는 경우 3∼4 단계로 줄일 수 있고 이러한 기술적 발전은 10GB 네트워크 인터페이스와 함께 또 한번의 획기적인 스토리지 혁명을 가져올 것으로 기대된다.

DAFS 내부 모듈 요소 dDAFS와 uDAFS

현재 DAFS를 구현하기 위한 기술력 있는 회사들의 협의체(DAFS Collaborator)는 87개사로 구성돼 있으며 이 구성원들 중에는 IBM, HP, 썬, 오라클 등 이름만으로도 시장을 지배할 수 있는 유수의 업체들이 대거 참여하고 있다. 이러한 현상에서도 DAFS에 거는 시장의 기대를 가늠해 볼 수 있다.

이 협의체 내에서도 DAFS 구현을 위한 개발자로 선정된 회사들이 분야별로 있는데 이들이 바로 인텔, 네트워크어플라이언스와 오라클 등이다. 이들은 지난 3월 19일 최초의 DAFS 프로덕트를 발표했는데 최초 포팅 플랫폼은 썬 PCI 2.2 이상이고 지원 솔루션으로는 오라클, 사이베이스, DB2 등 세가지 데이터베이스를 지원한다.

DAFS의 프로토콜 내부 모듈에는 크게 두가지 요소를 가지고 있는데 그중 하나가 dDAFS이고 또하나는 uDAFS이다. dDAFS는 하드웨어 바로 윗 단계에서 메모리상의 카피 숫자를 혁신적으로 줄이는 과정을 구현하는 기술을 가리키는 것이다.

메인 메모리를 대별해 보면 유저 레벨 메모리 영역과 커널 레벨 메모리영역으로 구분할 수 있는데, 이제까지의 대용량 메모리 운영기술은 애플리케이션 버퍼에서 애플리케이션 버퍼로 데이터가 이동되거나, 애플리케이션 레벌 버퍼에서 커널 레벨 버퍼로 데이터가 이동되거나, 파일시스템 영역을 거치거나, 커널의 SCSI 영역을 거치거나, HBA(Host Bus Adaptor) 영역을 거치면서 이 두 영역 내에서 메모리상의 데이터 카피가 대개 11∼14번까지 일어나게 된다.

그러나 dDAFS를 사용하면 최초의 애플리케이션 버퍼에서 최종의 하드웨어 레벨까지수적으로 발생되는 컨트롤 시그널까지 포함해도 3∼4번의 데이터 이동을 위한 활동만으로 애플리케이션이 원하는 결과를 가져다 줄 수 있게 된다. 이러한 드라이버 레벨의 dDAFS는 유저 레벨의 애플리케이션의 도움없이는 효율적인 구현에 어려움이 있다. 아무리 dDAFS가 제대로 구현돼 있다 하더라도 유저 레벨 애플리케이션이 그 기능을 제대로 이용하는 기술을 접목시켜 주지 않으면 이것은 반쪽짜리 솔루션이 되는 게 당연하기 때문이다. 그래서 또하나의 DAFS 영역이 탄생되게 되었는데 그것이 바로 uDAFS 영역이다.

DAFS의 완성을 위한 RDMA 기술의 구현

만약 최종 고객용 프로그램을 만드는 프로그래머들이 자신들의 프로그램을 dDAFS에 맞게 구현해 uDAFS의 단계까지 실현시킨다면 훌륭한 일이겠지만 실제 상황에서 대개의 경우 그러한 노력은 학문적인 성과가 있으면 있을까, 현실성이 없는 노력에 불과하다는 사실을 누구나 인정할 것이다.

따라서 이보다 훌륭하며 보다 효율적인 방법이 있는데, 최종 고객용 프로그램을 만드는 프로그래머들이 대부분의 경우 거치게 되는 유저 레벨 애플리케이션을 예로 들면 데이터베이스 같은 것들이 그러한 구현을 미리 해주고 해당 프로그래머는 그 데이터베이스를 이용해 프로그램을 만들게 하는 것이다. 이것이야말로 가장 이상적이며 효율적인 구현 모델이 될 수 있을 것이다. 이러한 목표 아래 만들어지는 것이 uDAFS이다.

uDAFS의 구현을 위해 팔을 걷어붙인 대표적인 회사로 오라클, 사이베이스, DB2 등의 회사가 있으며 이들 회사는 현재 DAFS 개발 그룹에서 혁신적인 성능과 확장성, 안정성을 구현하기 위해 적극적으로 나서고 있다.

DAFS의 완성을 위해 또하나 빼놓을 수 없는 부분이 있는데 그것은 바로 RDMA 기술의 구현이며, 이것과 DAFS의 접목은 서로 떼어놓고 생각할 수 없는 밀접한 관계를 형성하고 있다. 현재의 HBA 기술들은 대개 DMA (Direct Memory Access) 기술들을 사용하고 있는데 RDMA는 이 기술을 한단계 진보시킨 형태라고 보는 것이 맞다고 판단된다.

오늘날 시장에서 많이 사용되고 있는 DMA 기술을 설명하면 HBA에 약간의 메모리를 설치해 버퍼 역할을 하게 한 다음 Sub-System(예를 들면 네트워크나 스토리지용 Fiber Channel)으로부터 Core-System(예를 들면 메인 메모리)로 들어오거나 나가는 데이터를 HBA에 설치된 액설러레이터형 칩을 이용해 메인 CPU의 사용없이 Sub-System으로부터 Core-System, 혹은 Core-System으로부터 Sub-System으로 이동케 해주는 기술이다.

그러나 이 경우에도 Core-System이나 Sub-System 양쪽의 메인 CPU는 몇 단계의 작업에서만 해방될 뿐이다. 예를 들면 앞서 설명한 데이터의 반복 카피를 처리해야 한다든가, HBA까지 데이터를 넣어주는 일을 해야 하기 때문이다.

RDMA는 DMA 기술을 응용해 보다 진보된 성격을 가지게 되는데, 이 구현을 위해 참여하고 있는 회사들은 ‘DAT (Direct Access Transport) Collabora-tive’라는 그룹을 중심으로 35개사 이상이 있다. 가장 적극적인 회사로는 IBM과 인텔, 컴팩, 마이크로소프트 등을 들 수 있으며 이 기술을 DAFS와 연동하기 위한 기술의 대부분은 네트워크어플라이언스에 의해 제공되고 있다. 이 RDMA를 요즘 한창 고속화, 대형화되고 있는 스토리지와 서버간의 데이터 통신을 가지고 설명하면 스토리지가 가지고 있는 메모리에서부터 메인 서버의 메인 메모리까지 중간과정을 생략한 채 단번에 데이터 이동을 일으키겠다는 것이라 할 수 있다.

예를 들어 스토리지에 있는 DAFS 드라이버가 자신이 전달시켜야 하는 데이터를 최소의 경로로 RDMA에 전달시키기만 하면 이 RDMA는 메인 서버의 메인 메모리까지 스토리지와 메인 서버 어느 쪽의 CPU도 활용하지 않고 단번에 데이터를 전달하게 되며 전달된 데이터를 서버쪽의 DAFS는 또다시 최소 경로를 거쳐 유저 레벨 애플리케이션까지 전달케 된다.

DAFS와 RDMA는 서로의 기술을 접목시키는 하나의 길을 함께 가고 있다. RDMA를 통해 최소한의 오버헤드로 전달돼 오는 데이터를 DAFS를 통해 유저 레벨 애플리케이션에서 하드웨어 레벨까지 최소 단계로 연결될 수 있는 길을 만들어가고 있는 것이다.

이제 DAFS는 첫발을 내딛는 단계에 있다. 아직 DAFS가 어떤 모습인지 또 구체적인 평가가 내려지는데는 시간이 걸릴 것이다. 스토리지 업계의 사용자나 공급자는 이들의 시도에 날카로운 시선을 보내고 있다.

---

제공 : DB포탈사이트 DBguide.net