모르텐 멜드가르드(Morten Meldgaard)와 카레 부크 페테르 센(Kaare Buch Petersen)은 비록 작은 나라에 살지만 빅 데이터를 정복했다.
두 사람은 식품과 보건 의료산업에 생명 과학 재료를 공급하는 크리스찬 한센 (Chr. Hansen)에 근무한다. 140년의 역사 를 자랑하는 이 회사가 폭발적으로 증가 하는 데이터를 보다 잘 관리할 수 있도록 데이터 관리법 개선을 위한 과제를 수행 한 모르텐 멜드가르드는 프로그램 매니저 이고, 카레 부크 페테르센은 정보통신(IT) 전문가다. 두 사람은 클라우드 기반 데이 터 크런칭 솔루션을 활용하여 규모가 더 큰 경쟁사들을 뛰어넘을 수 있는 방법을 찾아냈다. 하지만 인프라와 소프트웨어에 소요되는 총비용은 매월 약 1,000달러 수 준이다.
두 사람에 의한 프로젝트 시도 전까지 크 리스찬 한센 소속 과학자들은 화합물을 수작업으로 분석한 뒤 그 결과를 종이로 된 보고서로 작성해왔다. 이러한 시스템 은 수십 년 동안 유지되어 왔지만 이제는 새로운 소스로부터 데이터가 홍수처럼 쏟 아지는 상황이 되었다. 전자 연구 노트 시 스템, 최대 500건의 분석을 동시에 수행 할 수 있는 툴, 500회 이상의 시험이 가 능한 새로운 프로세스가 등장한 것이다.
모르텐 멜드가르드는 "연구자들은 이제는 한계에 직면했다는 사실을 직감하고 있었 습니다. 생산되는 데이터도 더욱 많아졌 고 또한 훨씬 더 복잡해지고 있었기 때문 입니다."라고 설명한다.
구원투수로 등장한 클라우드 컴퓨팅
연구 데이터들은 도전과제의 출발점에 불 과하다. 개발, 규제 검토, 제조 및 운송 같 은 다른 기능들 역시 저마다 고유한 정보 의 홍수를 쏟아 내기 시작했기 때문이다.
미국 매사추세츠주 프레이밍햄에 위치한 IDC Health Insights의 연구 담당 이사 앨 런 S. 루이(Alan S. Louie)는 이렇게 말한 다. "사람들은 수 많은 데이터 속에 파묻 히게 되었습니다. 데이터 저장도 과제이 지만 데이터를 처리하고 일관성 있는 이 론으로 공식화하는 능력은 훨씬 해결하기 까다로운 도전 과제입니다."
클라우드 컴퓨팅은 혼란스러운 데이터 정 리 문제를 해결할 수 있다. 영국에 본사를 둔 리서치 전문 기업 오범( Ovum)의 분석 가인 앤드류 브로스넌(Andrew Brosnan)은 설명한다. "클라우드는 정말 이상적인 존재 입니다. 확장과 확대가 쉽기 때문이지요.
'무가치한 데이터'의 제거
모르텐 멜드가르드와 카레 부크 페테르센 은 클라우드로 전환하는 것이 전용 인프 라에 비해 저렴하다는 사실도 알게 되었 다. 카레 부크 페테르센은 "그 동안 우리 는 10만 달러 이상을 지출해 왔습니다만 클라우드를 활용하면 한 달에 1,000달러 밖에 소요되지 않습니다."라고 말한다.
크리스찬 한센의 접근법 덕분에 과학자들 은 데이터에 숨어있는 패턴을 신속하게 파 악할 수 있게 되었다. 카레 부크 페테르센 은 "당사의 솔루션 덕분에 많은 시간을 절 약하게 된 과학자들은 이 솔루션을 마술봉 이라고 생각하고 있습니다."라며 웃었다.
많은 회사들이 '가치 없는 데이터'로 골머 리를 앓고 있다. 유용한 데이터가 존재함 에도 검색해내지 못해 재사용하거나 내부 조직에서 광범위하게 활용하지 못하고 있 는 실정이다. 크리스찬 한센의 새로운 시 도는 이와 같은 도전 과제도 해결했다.
모르텐 멜드가르드는 "저희가 볼 때 빅 데 이터 저장은 거의 완벽합니다. 저장해 두 었다가 나중에 꺼내서 사용하고 해석할 수 있기 때문입니다. 기존 데이터베이스 는 찾고자 하는 데이터와 그것을 해석할 방법을 미리 결정해야만 하는 불편함이 있었습니다."라고 말한다.
소비자와의 연계
크리스찬 한센은 한걸음 더 나아가 관련 부서간에 정보를 공유할 수 있도록 시스 템을 확장하려 한다. 크리스찬 한센의 궁 극적인 목표는 최종 제품을 구매하는 소 비자들이 페이스북이나 트위터에서 특정 요거트 제품의 맛에 대해 언급한 내용을 확인해 제품 개선 업무에 종사하는 과학 자들이 활용할 수 있는 데이터로 만들어 제공하는 것이다. ◆
