본문 바로가기

IT/Big Data

[펌글]글로벌 IT기업들 '한국 빅데이터 시장을 잡아라' 좋은 글이 있어서 퍼왔다. 원본은 여기 글로벌 IT기업들 '한국 빅데이터 시장을 잡아라' 인수 합병 기반으로 빅데이터 솔루션 대거 출시 2011년 12월 25일 오후 13:00 김관용기자 kky1441@inews24.com [김관용기자] 글로벌 IT기업들이 국내 빅데이터 시장 공략을 가속화하고 있다. 방대한 정형 및 비정형 데이터 분석을 위해 진보된 컴퓨팅 기술과 이를 저장하고 분석하는 스토리지 기술을 앞세워 한국 시장 선점을 노리고 있는 것. 이들이 내세운 빅데이터 솔루션은 그동안 인수합병한 회사들의 솔루션을 고도화시킨 것으로 정형 및 비정형의 대용량 데이터를 활용·분석해 가치있는 정보를 추출하고, 이를 바탕으로 능동적인 대응과 변화 예측을 하는 것이 특징이다. 한국IBM 이상호 소프트웨어그룹 미들웨어.. 더보기
[펌글]빅데이터 열풍 타고 BI 재조명 좋은 글이 있어서 퍼왔다. 원본은 여기 “빅데이터 열풍 타고 BI 재조명” by 이지영 | 2011. 12. 23 사람들, 엔터프라이즈 ‘구슬이 서말이라도 꿰어야 보배다’라는 말이 있다. 아무리 재료가 좋아도 이를 의미 있는 단위로 연결하지 못하면 가치가 없다는 뜻이다. 기업들이 2012년 화두로 주목하고 있는 ‘빅데이터’도 마찬가지다. 아무리 많은 데이터를 가지고 있어도 그 속에서 통찰력을 얻지 못한다면 쓸모가 없다. 초창기 빅데이터가 등장했을 때, 기업들은 이를 어떻게 저장하고 수용할 지를 고민했다. 갑작스레 늘어난 데이터를 보관하고 처리할지 방법이 막막했기 때문이다. 때맞춰 IT 벤더들은 엑사데이터, 아이실론, HANA 등 빅데이터 솔루션 등을 출시하며 고객 확보에 나섰다. 오픈소스 하둡의 등장도 .. 더보기
Hadoop 발췌원문 오픈소스인 하둡은 분산처리 시스템인 구글 파일 시스템(GFS)을 대체할 수 있는 하둡 분산 파일 시스템(HDFS)과 맵리듀스를 구현한 것이다. 맵리듀스는 쉽게 말하면 데이터를 분산시켜 처리한 뒤 하나로 합치는 기술이다. 물론 이와 유사한 기능을 제공했던게 바로 MPP다. 그러나 하둡은 MPP와 달리 사용이 편리했다. 개발자들이 각 데이터를 분산시키고 합치는 일을 할 필요없이 하둡의 맵리듀싱 기술이 이를 자동적으로 지원했다. 사용하기 쉽고 편리하다는 장점은 하둡이 급속도로 퍼지는 데 기여했다. 조금만 익히면 사용할 수 있었기 때문에 기업들은 하둡을 통해 PC를 병렬로 연결해 빅데이터를 분산 처리하는데 이용하기 시작했다. 기업은 사용자 분석을 쉽고 빨리 할 수 있으며, 사용자 지향의 새로운 서비스를.. 더보기
Big Data as Platform 오라클 백서는 빅데이터 플랫폼에 3가지 요건이 충족되어야 한다고 말한다. -. data acquisition : 급변하는 상황속에서 엄청난 양의 트랜색션을 처리할 수 있고, 캡쳐할 수 있어야 한다. 이 목적으로 NoSQL을 많이 사용한다. NoSQL(Not only SQL)은 데이터를 카테고리화 하지도 않고 파싱하지도 않고 그저 단순히 캡쳐한다. 일례로, 변화무쌍한 소셜 미디어 데이터를 수집/저장하는데 사용된다. -. data organization : Hadoop은 대용량 데이터를 데이터 스토리지 클러스터에 유지한 체로 조직화/프로세싱할 수있게 해주는 새 기술이다. 이를 위해, Haddop Distributed File System(HDFS)를 사용하는데, web-log 가 대표적인 사용처이다. -. .. 더보기
Big data 요즘 빅데이터가 화두이다. 오라클이 최근 빅데이터에 관한 백서(white paper)를 발표했다. Big Data ? 과거에는 office documents 및 transactional data가 주축이었고 이런 데이터들이 대부분 관계형 데이터베이스에 저장이 되었다. 그런데 지금은 non-traditional, less structured data가 점점 부각이 되어지고 있으며 여기에서부터 의미있는 정보를 캐 낼려고 하고 있다. 대표적인 예료 웹로그, 소셜미디어, 이메일, 센서, 사진등이 그 것이다. 이런 정보의 양이 엄청나다는 것은 다 알고 있는데, 최근 가격 경쟁력이 있어진 스토리지 및 컴퓨팅파워로 인해, 이런 주장이 더 실현가능해 지고 있기도 하다. 백서에서는 Big Data를 아래와 같이 정의한다.. 더보기