ЛАВИНА ДАННЫХ Большие данные захлестнули ученый мир, принеся хаос и многие обещания

Управление огромными массивами данных на каждом этапе цикла исследования, разработки и коммерциализации имеет громадное значение. Средства анализа помогают исследователям преобразовать данные в знания.

Мортен Мелдгаард и Кааре Бюх Петерсен живут в маленькой стране, но им удалось покорить Большие данные.

Оба они работают на компанию Chr. Hansen, датского поставщика биоингредиентов для пищевой и фармацевтической отраслей. Мелдгаард занимает должность руководителя программы и отвечает за управление скачкообразным ростом данных, нежданно свалившихся на 140-летнюю компанию; Петерсен специализируется на информационных технологиях.

На пару парни так раскрутили маховик своей конторы, что на голову обошли более маститых конкурентов, а все за счет использования облачных сервисов по работе с данными. Совокупные ежемесячные затраты на инфраструктуру и программное обеспечение: около $1 000.

До того, как дуэту удался столь неожиданный прорыв, научным сотрудникам Chr. Hansen приходилось вручную анализировать состав, а потом фиксировать результаты на бумаге. Эта система работала десятилетиями, пока данные не стали поступать в невероятных объемах из новых источников: из сети ноутбуков в электронной лаборатории, мощных вычислительных машин, которые способны проводить до 500 одновременных анализов, и от нового процесса, обеспечивающего обработку тестов в 500 раз быстрее.

«Научные работники сами говорили о назревшей проблеме», - отмечает Мелдгаард. «Они производили все больше данных, а сами данные становились все сложнее».

СПАСЕНИЕ – В ОБЛАЧНЫХ ВЫЧИСЛЕНИЯХ

Результаты исследований – лишь верхушка проблемного айсберга. Остальные подразделения, включая разработчиков, службу нормативного анализа, производство и сбыт, создают потрясающие залежи информации.

«Сейчас людей буквально захлестывает цунами данных», - говорит Алан С. Луи, научный директор IDC Health Insights, Фрамингем, Массачусетс (США). «Уж насколько проблематично хранить большие объемы данных, но обрабатывать их, чтобы сформулировать целостную теорию, куда сложнее», - говорит Луи.

Побороть смешение данных способны облачные технологии вычислений. «Облако – практически идеальный вариант», - говорит Эндрю Броснан, аналитик британской научно-исследовательской компании Ovum. «Главный плюс – масштабируемость и возможности расширения».

«ТЕМНЫЕ ДАННЫЕ»

Мелдгаард и Петерсен также выяснили, что переход в облако намного выгоднее в денежном отношении, чем поддержание выделенной инфраструктуры. «Мы могли бы потратить $100 000 и даже больше», - говорит Петерсен. «Но, выбрав облачные сервисы, платим всего $1 000 в месяц».

Используемый компанией Chr. Hansen подход позволяет научным сотрудникам быстро выявлять характерные признаки в составе своих данных. «Предложенное нами решение они воспринимают, как нечто сродни волшебству, настолько велика оказалась экономия времени», - говорит Петерсен.

Многие компании сталкивались с синдромом «темных данных», когда полезные данные имеются, однако найти их для повторного использования или предоставления партнерам непросто. Новый инструментарий Chr. Hansen помогает решить и эту задачу.

«Хранилище больших данных – превосходный выбор для нас», - говорит Мелгаард. «Мы сохраняем все сведения, а затем можем тасовать их, обрабатывать в нужном порядке. Обычные базы данных требуют предварительно решить, как именно должны выглядеть сохраняемые данные, и как их следует обрабатывать».

КОНТАКТ С КЛИЕНТАМИ

Следующим этапом освоения нового пространства для Chr. Hansen станет обмен информацией между взаимосвязанными функциональными единицами. Больше всего компании хотелось бы расширить поле охвата вплоть до включения в него комментариев от конечных потребителей продукции, которые те оставляют на сайте Facebook или Twitter скажем, о вкусе конкретного йогурта, чтобы собранные данные были доступны исследователям в целях улучшения качества продукции. ◆

автор статьи Уильям Дж. Хослтейн Вернуться к началу страницы
автор статьи Уильям Дж. Хослтейн