Распределенная система обработки растровых данных
Тема свободна. | |
Курс: без ограничений. Необходимо знание языка Java.
Тема из раздела big data. Практически важна. Код будет использован в реальной системе.
Постановка задачи. На компьютерном кластере на каждом узле (компьютере) размещены данные. Разработать программу, которая позволяет параллельно (одновременно на каждом узле) выполнять обработку данных. Например, вычисление среднего, построение многоуровневой пирамиды, преобразование форматов данных.
Основные сложности:
- узлы могут выходить из строя во время работы, место на диске может закончиться, сетевое соединение может прерываться –> задача может быть не выполнена либо выполнена частично
- следовательно, нужны распределенный протокол подтверждения гарантии целостности и завершенности операции (commit), сборка “мусора” и т.п.
- для выполнения операции могут потребоваться данные с другой машины, которые надо также надежно передать
Основные инновационные идеи — (*) выразить подходы обработки данных с помощью функционального программирования для более удобного распараллеливания; (**) использование специального подхода планирования задач, описания и контроля их выполнения; (***) представление растровых данных в удобном для распараллеливания виде.
Усложнением является разработка новых алгоритмов параллельных вычислений результатов на основе заранее подготовленных данных. Пример статьи на эту тему: Computing aggregate queries in raster image databases using pre-aggregated data.
Очерки алгоритмов реализации этих ограничений разработаны, будут объяснены выбравшему тему студенту.
Визуализация и редактирование треков на карте
Тема занята | |
Курс: 1—4. Необходимо знание языка Java. Много программирования. Опыт работы с БД, web framework. Результаты будут использованы для практически важных задач.
С использованием Vaadin и Google Maps необходимо визуализировать треки и обеспечить возможность их редактирования.
Примеры треков:
- рейсы самолетов
- путешествия
- пути циклонов
- многие другие…
Обеспечить такие виды запросов (треки хранятся в базе данных):
- вывод всех треков за заданный интервал времени
- вывод всех треков за все время в заданном регионе
- вывод треков с заданными характеристиками
- другие виды запросов
Обеспечить такие способы визуализации:
- разная пиктограмма в зависимости от атрибута узла трека (даты, высоты местности, силы циклона, …)
- разный цвет, толщина, вид линии для отрезка трека в зависимости от атрибута
- вывод актрибутов рядом с пиктограммами
- другие способы
Обеспечить такие возможности редактирования:
- удаление/добавление вершины в трек
- изменение атрибутов
- соединение двух разных треков
- другие возможности
Сравненительный анализ производительности растровых баз данных
Тема занята | |
Курс: без ограничений.
Растровые баз данных: GeoServer, TDS, RasDaMan, PostGIS, SciDB и другие. Особенность темы: навыки работы с этими серверами и программирование на Java.
Основные сложности:
- реализация подключения к этим БД
- наполенение их тестовыми данными
- написание кода, который моделирует несколько тысяч одновременных клиентов для создания high load на сервер
Тема на 1/4 связана с исследованием, 1/4 с кодированием, 1/4 разбор этих систем, 1/4 понимание растровых данных (с которыми будем работать – спутниковые, прогнозы погоды и т.п.).
Методы и способы сжатия ретроспективных растровых данных
Тема свободна. | |
Тема практически важна. Подходит для 2,3 курса, ВКР, 1 курса мигистратуры.
Данные дистанционного зондирования Земли (спутниковые данные), моделирования климата, наблюдения астрономических телескопов являются растровыми и имеют большие объемы. Следовательно, сжатие этих данных позволяет сократить объем хранимой на диске и передаваемой по сети информации.
Особенность: данные представляют собой временные ряды (ретроспективу) наблюдений. Такие данные напоминают последовательность кадров из фильма. Однако сжимать их надо методами без потерь, в отличие от видиоинформации.
Преимущества данной темы:
- обширное поле для фантазий (методы сжатия)
- данные можно визуализировать (красивые презентации результатов работы)
Сущестующие методы, с которыми мы будем работать — google scholar
Некоторые результаты:
Статья "Новые методы сжатия временных рядов экологических показателей"
Web-приложение для администрирования системы ХроносСервер
Тема свободна. | |
Курс: 1—3.
Для big-data системы ХроносСервер необходимо разработать админ-панель с использованием Vaadin.
В админ-панели должно быть:
- импорт данных в Хронос с помощью web GUI
- останов/запуск системы на выбранных узлах кластера
- визуализация загруженности системы
- визуализация объемов данных
- другая информация
Archives
- November 2015 (3)
- October 2015 (9)
- September 2015 (2)
- August 2015 (4)
- April 2015 (1)
- March 2015 (4)
- February 2015 (11)
- May 2014 (4)
- February 2014 (1)