Miner's Discovery in the Cloud

  산업 전반에 걸쳐, 정보의 생성에서 소멸에 이르는 정보 관리 기술의 전 단계가 디지털 기술로 빠르게 전환되는 가운데, 최근 다양한 스마트 디바이스들의 폭증, 디지털 콘텐츠의 유통 확산, 소셜 네트워크 서비스의 일상화 등이 기폭제가 되어 이른바 디지털 공간("Digital Universe")이 급속도로 팽창되는 시대를 맞이 하고 있다. 더욱이 디지털 공간에 새롭게 들어오는 데이터의 대부분은, 그 양이 방대하고 기존 정보 관리 체계로는 소화해 내기 어려운 비정형성, 실 시간적 시의성 등의 특성을 지니고 있기에, 새로운 정보 관리 체계의 필요와 관련 기술의 새로운 흐름을 기존 방식과 구분 지어 일컫는 목적으로"빅 데이터(Big Data)"라는 용어가 널리 쓰이고 있다.
 

  빅 데이터는, 빠르게 변하는 소비 경향과 시장 흐름에 민첩하게 대응할 수 있는 새로운 정보 관리 체계로서 크게 관심을 모으고 있는 반면에 (1) 새로운 데이터의 원천으로부터 지속적으로 생성되고 유입되는 대규모의 비정형 데이터를 시의성을 고려하여 실 시간에 가깝게 분석해내야 하고 (2) 이와 더불어 전통적인 정형 데이터의 정보 처리 체계와 통합이 필요하며 (3) 해석된 결과 또한 사용자가 이해하기 쉬운 형태로 제공해야 하는 등, 신기술 도입에 따른 이질감을 낮추면서도, 기존의 안정된 정보 관리 체계를 경험한 사용자의 높은 요구 수준을 맞추어야 하는 과제를 안고 있다.
 

  기술 측면에서는 기존 BI 기술의 처리 속도와 용량을 늘리기 위해, 클라우드 기반의 분산처리 플랫폼 위에서 데이터들을 메모리에 올려 처리하는 인메모리(In-Memory) DB, 스트리밍 데이터, NoSQL 기술 등의 빅 데이터 플랫폼 기술과 함께, 의사결정에 중요한 정보 가치를 적시에 제공하기 위하여 비정형 데이터 처리를 위한 의미 분석(Semantic Analysis) 기술, 신경망 등의 인공 지능 기술 등 진보된 데이터 분석 기술의 적용이 점차 다양해지고 전문화될 것으로 예상된다. 이와 더불어 데이터 시각화(Data Visualization) 와 인포그래픽과 같은 정보 소통 기술이 점차 중요해지면서, 분야별로 전문성을 갖춘 데이터 과학자에 대한 수요 또한 증가할 것으로 예상된다.
 

  한편, 이러한 추세에 따라, 다양한 데이터 원천을 확보하고자 하는 시장 수요가 자연스럽게 증가하면서, 클라우드 플랫폼 기술의 확대와 맞물려 데이터 및 데이터의 분석 방식 자체를 직거래할 수 있는 온라인 데이터 마켓플레이스 등의 폭넓은 시장 확대를 겨냥한 새로운 시도도 눈여겨 볼 필요가 있다.