본문 바로가기

Big data

Big Data as Platform 오라클 백서는 빅데이터 플랫폼에 3가지 요건이 충족되어야 한다고 말한다. -. data acquisition : 급변하는 상황속에서 엄청난 양의 트랜색션을 처리할 수 있고, 캡쳐할 수 있어야 한다. 이 목적으로 NoSQL을 많이 사용한다. NoSQL(Not only SQL)은 데이터를 카테고리화 하지도 않고 파싱하지도 않고 그저 단순히 캡쳐한다. 일례로, 변화무쌍한 소셜 미디어 데이터를 수집/저장하는데 사용된다. -. data organization : Hadoop은 대용량 데이터를 데이터 스토리지 클러스터에 유지한 체로 조직화/프로세싱할 수있게 해주는 새 기술이다. 이를 위해, Haddop Distributed File System(HDFS)를 사용하는데, web-log 가 대표적인 사용처이다. -. .. 더보기
Big data 요즘 빅데이터가 화두이다. 오라클이 최근 빅데이터에 관한 백서(white paper)를 발표했다. Big Data ? 과거에는 office documents 및 transactional data가 주축이었고 이런 데이터들이 대부분 관계형 데이터베이스에 저장이 되었다. 그런데 지금은 non-traditional, less structured data가 점점 부각이 되어지고 있으며 여기에서부터 의미있는 정보를 캐 낼려고 하고 있다. 대표적인 예료 웹로그, 소셜미디어, 이메일, 센서, 사진등이 그 것이다. 이런 정보의 양이 엄청나다는 것은 다 알고 있는데, 최근 가격 경쟁력이 있어진 스토리지 및 컴퓨팅파워로 인해, 이런 주장이 더 실현가능해 지고 있기도 하다. 백서에서는 Big Data를 아래와 같이 정의한다.. 더보기