본문 바로가기

IT/Search Engine

[펌글] 한국- 와이즈넛 빅크롤러

원글 여기 


와이즈넛, 빅데이터 정보수집솔루션 '빅크롤러' 출시
다국어형태소분석기술 적용 자연어처리 정교.... 하반기 빅데이터 시장 적극 공략
2013년 7월 12일 (금) 19:58:39

[아이티데일리] 와이즈넛(대표 강용성)은 빅데이터 수집과 언어분석기술을 기반으로 소셜데이터 분석에 최적화된 ‘빅데이터 정보수집솔루션 WISE BICrawler(WISE BIG DATA Crawler, 이하 ‘빅크롤러’)를 출시했다고 12일 밝혔다

 

빅크롤러는 약 80억 건의 소셜 빅 데이터 수집 노하우를 바탕으로 실시간 SNS자동수집기술, 한국어/영어/일본어/중국어 등 자체 개발한 다국어형태소분석기술이 적용된 정교한 자연어처리와, 수집대상 정보 중에서 필요로 하는 정보만을 제공하는 클렌징(정제), Hadoop, NoSQL, RDBMS 등 다양한 시스템 저장을 지원하는 것이 특징이다.

 

특히, 빅크롤러는 지난 6월 와이즈넛이 수주한 미래창조과학부와 한국정보화진흥원(NIA) 주관의 ‘빅데이터 활용 스마트 서비스 시범사업’에 적용될 예정인 만큼 우수성과 안정성을 인정받았다

 

주요 기능으로는 ▲블로그, 카페, 뉴스 및 트위터 등 국내 최다 소셜 데이터의 실시간 정확한 수집 ▲ 독자 개발한 클렌징 기술로 수집데이터의 스토리지 공간을 최소화함으로써 불필요한 스토리지 운영으로 인해 발생하는 비용적 손실 및 관리 업무 시간 절감 ▲클렌징 데이터가 Hadoop, NoSQL, File, RDBMS 등 다양한 시스템 저장 지원 ▲댓글/답글의 수집 ▲데드링크 처리 ▲필터링 자동추천 ▲중복문서검출 ▲직관적인 UX기반 관리 ▲수집 리소스 관리 등의 다양한 기능을 제공함으로써 빅데이터 분석을 위한 최적의 데이터를 수집하는데 최고의 성능과 기능을 제공한다.

 

와이즈넛 강용성 대표는 “빅데이터 시대 지속성장을 추구하는 기업은 빅데이터 분석을 위해 다양한 데이터를 어떻게 수집하고 저장해둘 것인가가 빅데이터 분석의 성공 열쇠로 인식하고 있다” 며, “빅크롤러는 지난 10여년간 축적한 비정형 데이터 수집기술과 5년간 소셜 빅데이터 분석 서비스를 운영하면서 내재화된 SNS수집/분석 기술의 결정체로서, 공공 및 금융 등 다수의 기관과 기업에서 높은 관심을 보이고 있는 만큼 하반기 빅데이터 솔루션 시장에 적극 공략할 것” 이라고 강조했다.

<ITDaily>

고수연 기자  going@itdaily.kr