Методы и способы сжатия ретроспективных растровых данных
Тема свободна. | |
Тема практически важна. Подходит для 2,3 курса, ВКР, 1 курса мигистратуры.
Данные дистанционного зондирования Земли (спутниковые данные), моделирования климата, наблюдения астрономических телескопов являются растровыми и имеют большие объемы. Следовательно, сжатие этих данных позволяет сократить объем хранимой на диске и передаваемой по сети информации.
Особенность: данные представляют собой временные ряды (ретроспективу) наблюдений. Такие данные напоминают последовательность кадров из фильма. Однако сжимать их надо методами без потерь, в отличие от видиоинформации.
Преимущества данной темы:
- обширное поле для фантазий (методы сжатия)
- данные можно визуализировать (красивые презентации результатов работы)
Сущестующие методы, с которыми мы будем работать — google scholar
Некоторые результаты:
Статья "Новые методы сжатия временных рядов экологических показателей"
Web-приложение для администрирования системы ХроносСервер
Тема свободна. | |
Курс: 1—3.
Для big-data системы ХроносСервер необходимо разработать админ-панель с использованием Vaadin.
В админ-панели должно быть:
- импорт данных в Хронос с помощью web GUI
- останов/запуск системы на выбранных узлах кластера
- визуализация загруженности системы
- визуализация объемов данных
- другая информация
Развертывание Java приложения на компьютерном кластере
Тема свободна. | |
Курс: 1—3.
Дано Java приложение, которое работает на компьютерном кластере (одновременно на нескольких машинах). Приложение периодически нужно обновлять. Для этого на каждой машине оно должно останавливаться поочередно (не на всех машинах одновременно) и замещаться новой версией jar файла и других конфигурационных файлов-спутников (xml, ini, т.п.).
Это процесс необходимо автоматизировать. Отличается от других инструментов тем, что заменяются/обновляются несколько отдельных файлов и протоколом выполнения обновления.
Основные особенности:
- доступ к узлам по безопасному протоколу
- ненадежность сетевого соединения
- необходимость использования CRC
- взаимодействие с обновляемым приложением (останов, запуск)
Программа создания мозаики из сцен космических снимков
Тема занята | |
Тема для 1—3 курса
Если одна сцена частично захватывает необходимую для анализа область (напр., часть города, водоема), можно объединить несколько ближайших сцен в одну (создать мозаику) [1].
На сегодняшний день нет бесплатных утилит создания мозаики из спутниковых сцен. Предлагается разработать программу на Java c использованием GeoTools для решения этой задачи.
Основная сложность заключается в предоставлении хорошего набора параметров пользователю. Напр., возможность исключить области, которые не должны участвовать в тональном выравнивании – вода (часто имеет очень темный цвет), солнечные отблески (наоборот, очень светлые); подобрать лучший способ слияния перекрывающихся частей сцен и другие настройки.
Внимание: работа (код) должна быть выполнена качественно, чтобы ею (программой) можно было пользоваться. При этом, как и во всех других работах, небходимо уделять внимание тщательному тестированию.
[1] GIS-Lab: Создание мозаик изображений в ERDAS IMAGINE, http://gis-lab.info/qa/mosaic.html
Методы размещения данных в компьютерном кластере
Тема свободна. | |
Курс: без ограничений. Необходимо знание Java.
Тема из раздела big data. Практически важна. Код будет использован в реальной системе.
Постановка задачи. На компьютерном кластере на каждом узле (компьютере) размещены файлы. Копии одного файла могут встречаться на разных машинах несколько раз. Разработать программу, которая позволяет размещать файлы на узлах кластера, исходя из заданных параметров эффективности доступа к ним (балансировка нагрузки, уменьшение кол-ва передаваемых данных между узлами и т.п.). Перемещать файлы между узлами необходимо путем копирования файлом с одной машины на другую. Язык Java.
Основные сложности:
- размер файлов 0..16 Гбайт (копировать не быстро)
- использование технологии ZeroCopy
- узлы могут выходить из строя во время копирования, сетевое соединение может прерываться –> файл может быть поврежден либо недокопирован
- следовательно, нужны CRC, распределенный протокол подтверждения гарантии целостности и завершенности операции (commit), сборка “мусора” (недокопировавшихся частей)
- нужно обеспечить прерывание/паузу копирования в любой момент
- обеспечить ограничение пропускной способности (не более Х Мбайт/сек)
Очерки алгоритмов реализации разработаны, будут объяснены выбравшему тему студенту.
Archives
- November 2015 (3)
- October 2015 (9)
- September 2015 (2)
- August 2015 (4)
- April 2015 (1)
- March 2015 (4)
- February 2015 (11)
- May 2014 (4)
- February 2014 (1)