ХроносСервер

ХроносСервер работает на высокопроизводительном компьютерном кластере и управляет большими объемами климатических данных. Именно он ответственный за доставку на Ваш компьютер данных по Интернет в режиме времени, близком к реальному для их 3D визуализации, а также анализа в среде R.
Rodriges Zalipynis R.A., ChronosServer: real-time access to “native” multi-terabyte retrospective data warehouse by thousands of concurrent clients. // Informatics, cybernetics and computer engineering, pp. 151–161. Vol. 14 (188), Donetsk, DonNTU, 2011. PDF (Английский язык)
Аннотация
ChronosServer работает на компьютерном кластере, который построен на оборудовании широкого потребления и обладает свойствами масштабируемости, высокой доступности и отказоустойчивости. Он создает на основе уже существующих больших объемов данных деятельный интеллектуальный продукт не изменяя исходные файлы. ChronosServer обнаруживает файлы на узлах кластера, анализирует их структуру и предоставляет независимую от формата SQL-подобную модель запросов для доступа к их содержимому. Он способен напрямую читать сжатые данные из различных форматов, включая NetCDF, GeoTIFF, GRIB, HDF и многих других. Это полностью сохраняет метаданные, хранящиеся в файле, в оригинальном виде, что необходимо для их корректной интерпретации и обработки другим программным обеспечением. Новые данные добавляются в систему прозрачным plug-and-play образом простым копированием их на узел кластера, сокращая затраты на администрирование. Это позволяет существующему программному обеспечению, например, ГИС системам либо статистическим пакетам напрямую оперировать с файлами, которые используются ChronosServer, а также не изменять старые коды генерации данных. ChronosServer сохраняет действующую на данный момент инфраструктуру неизменной, избегая болезненные, трудоемкие и подверженные ошибкам процедуры конвертации файлов данных, предоставляя в то же время дополнительные возможности для их анализа.
Схема работы


Ключевые слова

  • обработка данных “на месте” (in-situ)
  • изначально проектировалась распределенной
  • растровые данные
  • временные ряды растровых данных
  • большие объемы данных
  • NetCDF, HDF4, HDF5, Grib2

Факты

В период финансирования проекта Фондом гражданских исследований и развития США (CRDF Global), ChronosServer работал на компьютерном кластере из 6 узлов с общим объемом дисковой памяти 24 TБ. Он предоставлял данные повторного анализа климата и дистанционного зондирования Земли, а также временным рядам, построенным на их основе.

Фото кластера

Экспериментальный компьютерный кластер был собран в Донецком национальном техническом университете (Украина), был подключен к Интернет. На нем работал ChronosServer и предоставлял данные по Интернет Climate Wikience.

chronos_cluster

chronos_cluster



В настоящий момент, для демонстрации работоспособности системы, ChronosServer работает на арендованом VPS и продолжает предоставлять доступ ко всем данным. При этом доступный временной интервал для каждого показателя сужен до 1 месяца по причине ограниченного диского пространства, которое предоставляется VPS.