[펌글] 뜨는 빅데이터 옆에 '인메모리'

원글은 여기

뜨는 빅데이터 옆에 ‘인메모리’

이지영 izziene@bloter.net | 2012. 01. 29

어느새 ‘빅데이터’가 IT를 다루는 기업이라면 빼놓고 얘기할 수 없는 필수 요소가 됐다. 빅데이터가 뜨자 데이터 분석을 위한 비즈니스 인텔리전스(BI), 데이터 수집을 위한 데이터 모델링 그리고 데이터 처리 속도를 향상시킬 수 있는 인메모리 같은 관련 기술들에 대한 관심도 급부상했다.

이 중 인메모리에 대한 업계의 관심은 뜨겁다. 오라클과 SAP는 이 시장을 두고 서로 날카로운 신경전을 벌이기까지 할 정도다. 1월13일 SAP는 실적발표를 하면서 인메모리 분석 기술이 적용된 분석 어플라이언스인 HANA의 매출이 1억6천만유로를 기록했다고 밝혔다. 오라클 중심의 DB시장을 재편하겠다는 야심도 드러냈다. 오라클도 가만있지 않았다. 사흘 뒤 자사 인메모리DB 기술 ‘타임스텐’ 업그레이드를 발표했다.

인메모리 기술은 어느날 갑자기 등장한 신기술이 아니다. 스토리지 업계가 플래시 메모리 기술을 적용한 SSD를 장착한 제품을 출시 하고 있듯이, 가장 빈번하게 찾는 데이터는 메모리 얹어 제공하겠다는 ‘인메모리’기술은 예전부터 있어왔다.

▲가트너는 2012년 10대 전략기술 중 8위로 인메모리 컴퓨팅을 꼽았다

국내에서는 2000년부터 인메모리 기반의 데이터베이스관리시스템(DBMS) 시장에 뛰어들었던 알티베이스가 하이브리드 DBMS로, 해외에서는 SAP가 HANA를 통해 리얼타임 비즈니스, 오라클은 온라인 분석처리(OLAP) 관리와 온라인 트랜잭션 처리(OLSP)를 위한 성능 향상을 구현하겠다고 나선 상태다. 다만 빅데이터 시대가 열리면서 인메모리 기술이 ‘처리 속도’와 연관돼 더 큰 시너지를 만들 수 있는 가능성이 열리자 기업들이 다시 주목하기 시작했을 뿐이다.

플로피디스크를 떠올리면 이들 기업에 왜 인메모리를 반기는지 알 수 있다. 플로피디스크에 저장된 데이터를 처리하려면 메모리가 플로피디스크로부터 해당 정보를 불러들여야 한다. 사용자가 원하는 정보는 메모리가 해당 정보를 플로피디스크로부터 불러들여 연산을 해야 얻을 수 있다. 이 과정에서 메모리가 디스크로부터 저장된 데이터를 읽어들이는데 상당한 시간이 걸리게 된다. 정보 처리 과정보다 정보를 불러들이는데 더 많은 시간이 소모되는 것이다.

처음에는 이런 과정이 크게 문제되지 않았다. 적당히 기다리면 작업이 완료됐으니 말이다. 그러나 데이터 양이 많아지고, 데이터 갱신 주기가 빨리져면서 문제가 됐다. 점점 더 많은 시간을 디스크로부터 불러들이는데 할애해야 했기 때문이다.

예를 들어 사람들이 트윗을 날릴 때는 그 트윗 정보를 담은 데이터가 어딘가에 저장돼 있다는 것을 의미하기도 한다. 그리고 이 트윗을 다른 사람들이 보려면 저장된 공간에서 해당 데이터를 빠르게 찾아 불러들여야 한다. 웹에서 수시로 데이터가 발생하면 그 데이터를 저장하고, 보관하고, 처리할 곳이 필요해진다. 문제는 이 자료들을 처리하는데 있어 트랜잭션이 너무 많이 발생하기 시작했다. 기존 디스크 기반의 DB로는 이런 요구를 감당하기 어려워졌다.

결국 DB를 메모리에 올리는 방법을 주목했다. 어떤 쿼리를 던졌을 때 실시간으로 처리할 수 있는 체제가 되기 위해 인모메리 관련 기술에 집중했다. 업계 한 관계자는 그냥 일반 메모리에서 데이터를 처리하는 것이 최상으로 최적화된 DB가 하드디스크에서 돌아가는 것보다 5배에서 100배 정도 차이가 난다고 전했다.

결국 모든 DB를 메모리에 올리는 시대가 올 것으로 보인다. 어떤 쿼리를 던지든 실시간으로 처리할 수 있는 체제가 되기 위해선 말이다. 이제 인메모리 기술은 단순히 분석 솔루션에만 머무를 것이 아니라 속도감 있게 데이터 처리를 위한 모든 시장 부문에서 활용될 가능성이 커졌다. IC인사이츠 보고서에 따르면 플래시 메모리 시장이 급격하게 성장하고 있다고 한다. 이같은 성장세를 보았을 때, 앞으로 메모리에서 데이터를 저장하고 처리하는 기술을 가진 회사가 시장의 흐름을 주도할 것으로 보인다.

2008 BLOTER.NET. CC BY-NC-ND. | http://www.bloter.net/archives/93907