- User contributions [en]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 13:26:44 GMT

Old2 ilya: /* Каталог */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

[[File:Youtrack.png|450px]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).

[[File:Cat-1.png|450px]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

[[File:Cat-2.JPG|450px]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Cat-3.JPG|450px]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).

[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.

[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 13:26:31 GMT

Old2 ilya: /* Текстовые страницы */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

[[File:Youtrack.png|450px]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).

[[File:Cat-1.png|450px]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

[[File:Cat-2.JPG|450px]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Cat-3.JPG]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).

[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.

[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 13:26:27 GMT

Old2 ilya: /* Страница гранулы */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

[[File:Youtrack.png|450px]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).

[[File:Cat-1.png|450px]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

[[File:Cat-2.JPG|450px]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Cat-3.JPG]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).

[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 13:19:43 GMT

Old2 ilya: /* Каталог */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

[[File:Youtrack.png|450px]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).

[[File:Cat-1.png|450px]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

[[File:Cat-2.JPG|450px]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Cat-3.JPG]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

File:Gra-1.JPG

Old2 ilya — Tue, 25 Dec 2012 13:16:11 GMT

Old2 ilya:

File:Cat-5-3-2.JPG

Old2 ilya — Tue, 25 Dec 2012 13:15:42 GMT

Old2 ilya:

Satin:general

Old2 ilya — Tue, 25 Dec 2012 13:13:52 GMT

Old2 ilya: /* Каталог */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

[[File:Youtrack.png|450px]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).

[[File:Cat-1.png|450px]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

[[File:Cat-2.JPG|450px]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 13:13:39 GMT

Old2 ilya: /* Каталог */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

[[File:Youtrack.png|450px]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).

[[File:Cat-1.png|450px]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

[[File:Cat-2.jpg|450px]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 13:12:49 GMT

Old2 ilya: /* Каталог */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

[[File:Youtrack.png|450px]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Cat-1.png|450px]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Cat-2.jpg|450px]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 13:12:22 GMT

Old2 ilya: /* Каталог */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

[[File:Youtrack.png|450px]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Cat-1.png]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

File:Cat-3.JPG

Old2 ilya — Tue, 25 Dec 2012 13:11:36 GMT

Old2 ilya:

File:Cat-2.JPG

Old2 ilya — Tue, 25 Dec 2012 13:11:28 GMT

Old2 ilya:

File:Cat-1.png

Old2 ilya — Tue, 25 Dec 2012 13:08:12 GMT

Old2 ilya:

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:25:21 GMT

Old2 ilya: /* Инфраструктура разработчика */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

[[File:Youtrack.png|450px]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:25:03 GMT

Old2 ilya: /* Инфраструктура разработчика */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

[[File:Youtrack.png|450px]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

File:Youtrack.png

Old2 ilya — Tue, 25 Dec 2012 11:24:41 GMT

Old2 ilya:

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:23:02 GMT

Old2 ilya: /* Архитектура программно-математического обеспечения */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg|600px]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:22:52 GMT

Old2 ilya: /* Серверная инфраструктура */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg|600px]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.

== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:22:17 GMT

Old2 ilya: /* Инфраструктура разработчика */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png|450px]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:22:05 GMT

Old2 ilya: /* Инфраструктура разработчика */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.

[[File:ContinuousIntegration.png]]

Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

File:ContinuousIntegration.png

Old2 ilya — Tue, 25 Dec 2012 11:20:52 GMT

Old2 ilya:

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:17:55 GMT

Old2 ilya: /* Серверы доступа к данным и медиа-информации */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png|450px]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
[[File:Example.jpg]]
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:17:47 GMT

Old2 ilya: /* Серверы доступа к данным и медиа-информации */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|450px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
[[File:Example.jpg]]
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:17:40 GMT

Old2 ilya: /* Серверы доступа к данным и медиа-информации */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png|150px]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
[[File:Example.jpg]]
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:15:58 GMT

Old2 ilya: /* Серверы доступа к данным и медиа-информации */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
[[File:Example.jpg]]
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

File:Opendap.png

Old2 ilya — Tue, 25 Dec 2012 11:15:47 GMT

Old2 ilya: uploaded a new version of "File:Opendap.png"

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:11:56 GMT

Old2 ilya: /* Серверы доступа к данным и медиа-информации */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.jpg]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
[[File:Example.jpg]]
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:10:41 GMT

Old2 ilya: /* Серверы доступа к данным и медиа-информации */

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.png]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
[[File:Example.jpg]]
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:10:19 GMT

Old2 ilya:

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Ftp.png]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Opendap.jpg]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.

===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
[[File:Example.jpg]]
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

File:Opendap.png

Old2 ilya — Tue, 25 Dec 2012 11:09:03 GMT

Old2 ilya:

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:06:37 GMT

Old2 ilya:

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

[[File:Satin workflow.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.
Рисунок ниже иллюстрирует представление архитектуры всего проекта, как она видится в среде разработки Visual Studio 2012:
[[File:Example.jpg]]

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Example.jpg]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Example.jpg]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.
===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
[[File:Example.jpg]]
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 11:05:45 GMT

Old2 ilya:

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Satin for annual report software.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.
[[File:Example.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.
Рисунок ниже иллюстрирует представление архитектуры всего проекта, как она видится в среде разработки Visual Studio 2012:
[[File:Example.jpg]]

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Example.jpg]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Example.jpg]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.
===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
[[File:Example.jpg]]
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

File:Satin for annual report software.jpg

Old2 ilya — Tue, 25 Dec 2012 11:05:31 GMT

Old2 ilya:

File:Ftp.png

Old2 ilya — Tue, 25 Dec 2012 11:00:31 GMT

Old2 ilya:

Satin:general

Old2 ilya — Tue, 25 Dec 2012 10:59:23 GMT

Old2 ilya:

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Example.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.
[[File:Example.jpg]]

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.
Рисунок ниже иллюстрирует представление архитектуры всего проекта, как она видится в среде разработки Visual Studio 2012:
[[File:Example.jpg]]

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).
[[File:Example.jpg]]
* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.
[[File:Example.jpg]]
* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.
===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.

===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.

===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.

===Сервис индексации===

Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса. Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
[[File:Example.jpg]]
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита. Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.
[[File:Example.jpg]]

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
[[File:Example.jpg]]

Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.
[[File:Example.jpg]]

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону. Снимок ниже иллюстрирует альтернативный списковый режим отображения.

[[File:Example.jpg]]

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные. Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

[[File:Example.jpg]]

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

[[File:Example.jpg]]

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

[[File:Example.jpg]]

===Страница гранулы===

Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).
[[File:Example.jpg]]

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.
[[File:Example.jpg]]

Satin:general

Old2 ilya — Tue, 25 Dec 2012 10:53:31 GMT

Old2 ilya:

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Example.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
== Архитектура программно-математического обеспечения ==

Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.

===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.
Рисунок ниже иллюстрирует представление архитектуры всего проекта, как она видится в среде разработки Visual Studio 2012:

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.

===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
* FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).

* OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.

* Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.
===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.
===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.
===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.
===Сервис индексации===
Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса.

Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита.
Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону.

Снимок ниже иллюстрирует альтернативный списковый режим отображения.

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные.

Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

===Страница гранулы===
Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.). Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.

Satin:general

Old2 ilya — Tue, 25 Dec 2012 10:52:10 GMT

Old2 ilya:

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

[[File:Example.jpg]]

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
==Архитектура программно-математического обеспечения==
Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.
===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.
Рисунок ниже иллюстрирует представление архитектуры всего проекта, как она видится в среде разработки Visual Studio 2012:

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.
===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
• FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).

• OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.

• Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.
===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.
===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.
===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.
===Сервис индексации===
Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса.

Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита.
Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону.

Снимок ниже иллюстрирует альтернативный списковый режим отображения.

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные.

Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

===Страница гранулы===
Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.).

Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.

Satin:general

Old2 ilya — Tue, 25 Dec 2012 09:59:07 GMT

Old2 ilya:

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
==Архитектура программно-математического обеспечения==
Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.
===Веб-сервер===

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.
Рисунок ниже иллюстрирует представление архитектуры всего проекта, как она видится в среде разработки Visual Studio 2012:

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.
===Серверы доступа к данным и медиа-информации===

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
• FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).

• OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.

• Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.
===Сервер загрузки данных===

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.
===Сервер БД===

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.
===Файловое хранилище===

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.
===Сервис индексации===
Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

===Кластер серверов Naiad===

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
# Индексация гранулы в системе Naiad b извлечение мета-информации;
# Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

===Инфраструктура разработчика===

Проект разрабатывается с использованием следующего инструментария:
* Среда разработки Microsoft Visual Studio 2012
* Система контроля версий Mercurial
* Облачный трекер YouTrack
* Тестовый сервер проекта
* Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса.

Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита.
Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

==Пользовательский интерфейс==
===Каталог===
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
* Режим продуктов
** Списочное представление
** Блочное представление
* Режим гранул
** Списочное представление
** Блочное представление
** Представление на карте
** Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону.

Снимок ниже иллюстрирует альтернативный списковый режим отображения.

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные.

Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

===Страница гранулы===
Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).

===Текстовые страницы===

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.).

Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.

Satin:general

Old2 ilya — Tue, 25 Dec 2012 09:57:13 GMT

Old2 ilya:

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
#Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
#Гибкий и интуитивный семантический поиск;
#Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
#Персонализация, включая создание наборов фильтров, ведения истории поиска;
#Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
3. Архитектура программно-математического обеспечения
Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.
1) Веб-сервер

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.
Рисунок ниже иллюстрирует представление архитектуры всего проекта, как она видится в среде разработки Visual Studio 2012:

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.
2) Серверы доступа к данным и медиа-информации

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
• FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).

• OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.

• Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.
3) Сервер загрузки данных

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.
4) Сервер БД

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.
5) Файловое хранилище

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.
6) Сервис индексации
Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

7) Кластер серверов Naiad

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
1) Индексация гранулы в системе Naiad b извлечение мета-информации;
2) Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

Инфраструктура разработчика

Проект разрабатывается с использованием следующего инструментария:
o Среда разработки Microsoft Visual Studio 2012
o Система контроля версий Mercurial
o Облачный трекер YouTrack
o Тестовый сервер проекта
o Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса.

Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита.
Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

==Пользовательский интерфейс==
Каталог
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
• Режим продуктов
o Списочное представление
o Блочное представление
• Режим гранул
o Списочное представление
o Блочное представление
o Представление на карте
o Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону.

Снимок ниже иллюстрирует альтернативный списковый режим отображения.

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные.

Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

Страница гранулы
Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).

Текстовые страницы

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.).

Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.

Satin:general

Old2 ilya — Tue, 25 Dec 2012 09:55:08 GMT

Old2 ilya:

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
1. Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
2. Гибкий и интуитивный семантический поиск;
3. Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
4. Персонализация, включая создание наборов фильтров, ведения истории поиска;
5. Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

==Серверная инфраструктура==

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
3. Архитектура программно-математического обеспечения
Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.
1) Веб-сервер

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.
Рисунок ниже иллюстрирует представление архитектуры всего проекта, как она видится в среде разработки Visual Studio 2012:

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.
2) Серверы доступа к данным и медиа-информации

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
• FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).

• OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.

• Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.
3) Сервер загрузки данных

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.
4) Сервер БД

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.
5) Файловое хранилище

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.
6) Сервис индексации
Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

7) Кластер серверов Naiad

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
1) Индексация гранулы в системе Naiad b извлечение мета-информации;
2) Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

Инфраструктура разработчика

Проект разрабатывается с использованием следующего инструментария:
o Среда разработки Microsoft Visual Studio 2012
o Система контроля версий Mercurial
o Облачный трекер YouTrack
o Тестовый сервер проекта
o Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса.

Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита.
Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

==Пользовательский интерфейс==
Каталог
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
• Режим продуктов
o Списочное представление
o Блочное представление
• Режим гранул
o Списочное представление
o Блочное представление
o Представление на карте
o Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону.

Снимок ниже иллюстрирует альтернативный списковый режим отображения.

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные.

Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

Страница гранулы
Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).

Текстовые страницы

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.).

Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.

Satin:general

Old2 ilya — Tue, 25 Dec 2012 09:54:47 GMT

Old2 ilya:

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
1. Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
2. Гибкий и интуитивный семантический поиск;
3. Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
4. Персонализация, включая создание наборов фильтров, ведения истории поиска;
5. Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

2. Серверная инфраструктура

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
3. Архитектура программно-математического обеспечения
Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.
1) Веб-сервер

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.
Рисунок ниже иллюстрирует представление архитектуры всего проекта, как она видится в среде разработки Visual Studio 2012:

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.
2) Серверы доступа к данным и медиа-информации

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
• FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).

• OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.

• Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.
3) Сервер загрузки данных

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.
4) Сервер БД

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.
5) Файловое хранилище

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.
6) Сервис индексации
Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

7) Кластер серверов Naiad

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
1) Индексация гранулы в системе Naiad b извлечение мета-информации;
2) Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

Инфраструктура разработчика

Проект разрабатывается с использованием следующего инструментария:
o Среда разработки Microsoft Visual Studio 2012
o Система контроля версий Mercurial
o Облачный трекер YouTrack
o Тестовый сервер проекта
o Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса.

Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита.
Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

4. Пользовательский интерфейс
Каталог
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
• Режим продуктов
o Списочное представление
o Блочное представление
• Режим гранул
o Списочное представление
o Блочное представление
o Представление на карте
o Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону.

Снимок ниже иллюстрирует альтернативный списковый режим отображения.

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные.

Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

Страница гранулы
Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).

Текстовые страницы

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.).

Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.

Satin:general

Old2 ilya — Tue, 25 Dec 2012 09:54:23 GMT

Old2 ilya: Created page with "В этом разделе == Функциональные требования== ==Серверная инфраструктура== ==Архитектура программн…"

В этом разделе

== Функциональные требования==
==Серверная инфраструктура==
==Архитектура программно-математического обеспечения==
==Пользовательский интерфейс==

==Функциональные требования==
Проект SATIN представляет собой веб-портал для каталогизации, поиска и визуализации спутниковых данных. На сегодняшний день существует большое количество ресурсов, предоставляющих доступ к таким данным, будь то открытый или закрытый. Тем не менее, большинство из них не приспособлено для широкой аудитории и требует определенных навыков в использовании. Так, одни проекты предоставляют доступ к исходным файлам без предварительной визуализации их содержимого, другие включают некоторое подобие каталога, но недостаточно гибки в поиске. SATIN призван устранить эти ограничения, неся в себе следующие возможности.
1. Каталог с предварительными изображениями данных. Помимо мета-информации и описания спутникового продукта, становится возможным предварительная визуализация отдельных спутниковых измерений;
2. Гибкий и интуитивный семантический поиск;
3. Загрузка отфильтрованной выборки или отдельного файла спутниковых данных через ряд различных протоколов доступа к данным;
4. Персонализация, включая создание наборов фильтров, ведения истории поиска;
5. Помимо всего, будет присутствовать социальная составляющая: комментарии пользователей, тэги, избранные и популярные спутниковые снимки.

На сайте заложен функционал мультиязычности. В настоящий момент поддерживаются одновременно русская и английская версии.

2. Серверная инфраструктура

На основе закупленного лабораторией оборудования был сформированы вычислительный кластер на основе высокопроизводительного шасси IBM BladeCenterH. Шасси позволяет установить до 14 blade-серверов HS22, каждое со следующими характеристиками: 2 CPU Xeon 6 Core X5690, RAM 48Gb, 2х146Gb 10K SAS HDD.
Система хранения данных построена на основе IBM System Storage DS3524 Express Dual Controller Storage System. С помощью технологии виртуализации развернуто порядка десяти серверов, среди которых серверы, предназначенные для хранения спутниковых данных, объемом хранилища более 60 терабайт, обслуживания систем управления базами данных (2 сервера, обслуживающих MSSQL, MySQL и Postgres), несколько веб-серверов и тестовых серверов. Настроенные на серверах службы FTP и OpenDAP дают возможность загрузки спутниковых данных из архива лаборатории.

Изображение ниже иллюстрирует развернутую с применением технологии виртуализации серверную архитектуру.

Как видно из схемы, серверы условно разделены на две подгруппы, одна из которых имеет доступ во всемирную сеть, а другая доступна только из внутренней сети лаборатории. Также инфраструктура гетерогенна по составу операционных систем: здесь включены как Unix, так и Windows-системы.
3. Архитектура программно-математического обеспечения
Схема отображает инфраструктуру и потоки данных, относящиеся к функционированию приложения SATIN. Ниже раскрывается значение каждой из компонент схемы.
1) Веб-сервер

SATIN представляет собой приложение для доступа к спутниковым данным, размещенное на веб-сервере IIS7 под управлением операционной системы Microsoft Web Server 2008 R2.
Приложение разработано с использованием фреймворка ASP.NET MVC4. Приложение выполнено в многослойной архитектуре, где используется выделение в отдельные слои кода доступа к данным, бизнес-логики и кода представления данных. Для объектно-реляционного отображения используется Entity Framework 5.0 с поддержкой пространственных типов данных. Генерация страниц производится с помощью Razor Engine. В качестве средства логирования выбран компонент log4net 2.0.
Рисунок ниже иллюстрирует представление архитектуры всего проекта, как она видится в среде разработки Visual Studio 2012:

Верстка страниц SATIN выполнена с использованием последней версии языка разметки HTML5 и каскадных таблиц стилей CSS3. В качестве javascript-фреймворка используется jQuery. В качестве программного интерфейса для отображения карт используется библиотека OpenLayers.
2) Серверы доступа к данным и медиа-информации

В то время как веб-интерфейс SATIN предназначен для оперирования с данными посредством фильтрации и просмотра каталога, сами данные физически доступны для конечного пользователя через группу [2] серверов.
В эту группу входят:
• FTP-сервер – классический и широко распространённый способ предоставления доступа к данным. Через веб-интерфейс SATIN пользователь может получить прямую FTP-ссылку на файл данных, и в то же время не ограничивается простой просмотр FTP-каталога (только для открытых данных).

• OPeNDAP-сервер. Это архитектура и протокол передачи данных, широко используемый при работе с геоданными. Включает в себя стандарты хранения структурированных данных, их аннотирования с помощью атрибутов и добавления семантики для описания данных. Главное преимущество данного продокола доступа – это возможность извлечения подмножества данных из одного или нескольких файлов с помощью единого запроса.

• Tile-сервер – доступ к картографическим тайлам и предварительным спутниковым изображениям. SATIN использует этот сервер для отображения всей визуальной информации, относящейся к спутниковым данным.
3) Сервер загрузки данных

Каталог спутниковых данных лаборатории собран из различных источников: роллинг-архивов NASA, ESA, открытых данных различных проектов и университетов. Как правило, недостаточно разово скачать данные интересующего продукта: регулярно продуцируемые данные должны в автоматическом режиме поступать в архив лаборатории.
Для этой цели, а также для распараллеливания загрузки в инфраструктуру включен сервер закачек. Здесь расположены скрипты, по расписанию загружающие данные из удаленных источников. Сервер работает под управлением Debian OS. Загрузка, как правило, выполняется с помощью инструмента lftp и расписания планировщика cron.
4) Сервер БД

В качестве хранилища данных SATIN использует MS SQL Server 2012 с поддержкой пространственных типов данных.
5) Файловое хранилище

Для хранения всей спутниковой информации используется NFS-сервер под управлением Debian OS. В настоящее время объем дискового пространства составляет около 60 Тб, заполненный более чем наполовину. Зеркальный RAID-массив обеспечивает сохранность данных от дисковых сбоев.
6) Сервис индексации
Спутниковые данные регулярно поступают в файловое хранилище лаборатории с помощью сервера загрузок, описанного выше. Для их индексации и дальнейшей обработки используется специально разработанный Windows-сервис. В его задачи входит сверка индекса базы данных со списком файлов на диске в фоновом режиме, а также передача проиндексированных файлов на обработку в систему Naiad. На изображении ниже приведена иллюстрация, как сервис и относящиеся к нему объекты видны в среде разработки.

7) Кластер серверов Naiad

Naiad – комплекс программно-математического обеспечения для поиска и экстракции спутниковых данных. Система Naiad, разрабатывавшаяся более 10 лет французской компанией Diateam для института Ifremer, является очень мощным инструментом в работе со спутниковой информацией. Система была приобретена лабораторией и развернута на ряде виртуальных серверов, обозначенных на схеме единым кластером. Следует отметить, что она может самостоятельно использоваться для работы, тогда как SATIN, с точки зрения этой системы, является визуальным расширением, восполняющим функцию каталога (Naiad поддерживает только динамическую генерацию предварительных изображений по запросу пользователя).
В описываемой инфраструктуре гранула, проиндексированная сервисом, посредством HTTP-запроса передается на обработку в систему Naiad. Обработка происходит в два этапа:
1) Индексация гранулы в системе Naiad b извлечение мета-информации;
2) Генерация предварительного изображения (несколько размеров) и палитры.

В дальнейшем, извлеченные мета-данные и предварительные изображения данной гранулы визуализируются в каталоге SATIN, а сама она становится также доступной в системе Naiad.

Инфраструктура разработчика

Проект разрабатывается с использованием следующего инструментария:
o Среда разработки Microsoft Visual Studio 2012
o Система контроля версий Mercurial
o Облачный трекер YouTrack
o Тестовый сервер проекта
o Сервер непрерывной интеграции под управлением TeamCity

Отдельный интерес представляет сервер непрерывной интеграции TeamCity, настроенный таким образом, что при каждом обновлении исходного кода проекта в репозитории (команда push) производит выполнение приемочных тестов и выкладку на тестовый сервер. Выкладка на публичный сервер производится путем запуска команды через веб-интерфейс сервиса.

Подобная автоматизация в масштабах проекта позволяет сэкономить большое количество часов, затрачиваемых разработчиком на подготовку пакета и обновление сервера. Частые сборки также помогают достичь высокой стабильности кода на каждой итерации.
Используемый в работе трекер YouTrack совместим с сервером непрерывной интеграции таким образом, что позволяет связать коммиты с записями трекера. Используя определенную семантику, статус записей обновляется соответственно команде в комментариях коммита.
Также одним из функциональных достоинств трекера является поддержка гибкой методологии разработки, что позволяет работать в режиме спринтов – набора задач на короткий промежуток времени.

4. Пользовательский интерфейс
Каталог
По своему логическому устройству каталог SATIN может быть описан следующей схемой:
• Режим продуктов
o Списочное представление
o Блочное представление
• Режим гранул
o Списочное представление
o Блочное представление
o Представление на карте
o Представление в виде презентации

В каждом из представлений к набору данных применим фильтр, отображаемый в левой части экрана.
Стартовой страницей веб-сайта является каталог спутниковых данных в блочном режиме представления (списковый режим представлен далее).
Каждый блок представляет собой отдельный продукт – выпущенный производителем набор данных, обладающий строго определенными характеристиками, как, например, пространственное разрешение или уровень обработки. Здесь [1] – геофизические параметры, представляющие данный продукт, [2] – название продукта, [3] – общее (здесь же отфильтрованное) количество гранул (файлов данных), [4,5,6] – пиктограммы, отображающие соответственно актуальность данных (архивные или близкие к реальному времени), покрытие (глобальные или региональные данные) и уровень доступа (требующие авторизации для скачивания). Изображение для продукта призвано дать быстрое наглядное представление о характере данных.

По умолчанию свернутый фильтр развернут на снимке ниже. С помощью него исходный набор продуктов фильтруется по требуемым параметрам, времени и/или региону.

Снимок ниже иллюстрирует альтернативный списковый режим отображения.

При выборе определенного продукта происходит переход в режим гранул: здесь отображаются все данные по этому продукту. При условии фильтрации по времени или региону, будут отображены только релевантные данные.

Здесь также доступен блочный режим представления, однако изображения в данном режиме в точности представляют данные по каждой грануле.

Изображение ниже иллюстрирует представление данных на карте. Такой режим применим только к региональным продуктам или к swath-данным. Отмечая гранулы из списка справа, можно наглядно увидеть пространственное покрытие для каждой из них.

Режим презентации, напротив, в основном применим к данным глобального покрытия и призван визуализировать те или иные динамические процессы. Запустив презентацию, система в соответствии с заданными настройками пролистает визуальный ряд данных. Следует отметить, что данная имплементация почти не уступает по скорости воспроизведения и качеству видеороликам, и подходит для создания хорошего визуального эффекта на широкую аудиторию.

Страница гранулы
Данная страница представляет сводку информации по отдельной грануле. Здесь данные визуализированы на карте, дана палитра. Так же, как и в каталоге, даются ссылки на скачивание (FTP, OPeNDAP), обеспечивается возможность загрузки изображения в высоком разрешении, а также XML-описания для программы Google Earth (кнопки «Избражение» и «KML» соответственно).

Текстовые страницы

Для удобства пользователя, в SATIN заложена функциональная возможность предоставлять справочную информацию по каждому из продуктов, а также по большинству сущностей, к нему относящихся (имеются ввиду платформы, сенсоры, геофизические параметры, форматы данных и т.д.).

Для агрегирования информации по наиболее актуальным вопросам создан иллюстрированный раздел FAQ.

solab:Mainpage

Old2 ilya — Tue, 25 Dec 2012 09:52:51 GMT

Old2 ilya:

== Общее ==
[[solab:products|Техническое описание продуктов]]

[[solab:infrastructure|Серверная инфраструктура]]

[[solab:passwords|Пароли на различные ресурсы]]
== Satin ==
[[satin:general|Общее описание проекта SATIN]]

solab:Mainpage

Old2 ilya — Tue, 25 Dec 2012 09:51:41 GMT

Old2 ilya:

[[solab:products|Техническое описание продуктов]]

[[solab:infrastructure|Серверная инфраструктура]]

[[solab:passwords|Пароли на различные ресурсы]]

solab:Infrastructure

Old2 ilya — Tue, 25 Dec 2012 09:50:32 GMT

Old2 ilya: Created page with "=DNS= <pre> --- SOLAB WEB SERVER --- Note(s) : DNS change, firewall OLD : solab.rshu.ru. IN A 85.142.104.212 NEW : solab.rshu.ru. IN A 85.142.104.212 www.solab.…"

=DNS=

<pre>
--- SOLAB WEB SERVER ---
Note(s) : DNS change, firewall

OLD :
solab.rshu.ru. IN A 85.142.104.212
NEW :
solab.rshu.ru. IN A 85.142.104.212
www.solab.rshu.ru. IN A 85.142.104.212
*.solab.rshu.ru. IN CNAME solab.rshu.ru.
PORT(S) : 80,443

--- SATIN WEB SERVER (PUBLIC) ---
Note(s) : DNS change, firewall

OLD :
satin.rshu.ru. IN A 85.142.104.215
NEW :
satin.rshu.ru. IN A 85.142.104.209
satin.solab.rshu.ru. IN A 85.142.104.209
*.satin.rshu.ru. IN CNAME satin.rshu.ru.
wiki.satin.rshu.ru. IN A 85.142.104.215
ci.satin.rshu.ru. IN A 85.142.104.215
staging.satin.rshu.ru. IN A 85.142.104.215
*.satin.solab.rshu.ru. IN CNAME satin.solab.rshu.ru.
PORT(S) : 80,443

--- NAIAD WEB SERVER (PUBLIC) ---
Note(s) : DNS change, firewall

OLD :
naiad-srv.rshu.ru. IN A 85.142.104.220
NEW :
naiad.rshu.ru. IN A 85.142.104.220
*.naiad.rshu.ru. IN CNAME naiad.rshu.ru.
naiad.solab.rshu.ru. IN A 85.142.104.220
*.naiad.solab.rshu.ru. IN CNAME naiad.solab.rshu.ru.
PORT(S) : 80,443,8080

--- MEDIA SERVER (PUBLIC) ---
Note(s) : DNS change, add ip address, firewall

OLD :
media.satin.rshu.ru. IN A 85.142.104.213
NEW :
media.solab.rshu.ru. IN A 85.142.104.213
*.media.solab.rshu.ru. IN CNAME media.solab.rshu.ru.
opendap.solab.rshu.ru. IN A 85.142.104.W ******** YOUR CHOICE *********
ftp.solab.rshu.ru. IN A 85.142.104.X ******** YOUR CHOICE *********
thredds.solab.rshu.ru. IN A 85.142.104.Y ******** YOUR CHOICE *********
PORT(S) : 80,443,8080 -> media,opendap,thredds & 20,21,990 -> ftp

--- DATABASE SERVER 1 "Ilya SQL SERVER" (PRIVATE) ---
Note(s) : DNS change

OLD :
db.satin.rshu.ru IN A 10.172.0.80
NEW :
sql-1.solab.rshu.ru. IN A 10.172.0.80

--- DATABASE SERVER 2 "NAIAD MYSQL" (PRIVATE) ---
Note(s) : creation of a new fresh Debian 6 Squeeze 64 bits virtual machine

NEW :
sql-2.solab.rshu.ru. IN A 10.172.0.Z ******** YOUR CHOICE *********

--- NFS SERVER 1 (PRIVATE) ---
Note(s) : no change

OLD :
nfs-1.solab.rshu.ru. IN A 10.172.0.60
</pre>

solab:Products

Old2 ilya — Fri, 21 Dec 2012 14:11:00 GMT

Old2 ilya:

solab:Products

Old2 ilya — Fri, 21 Dec 2012 14:09:01 GMT

Old2 ilya:

== Public Products (17 products) ==

=== ASCAT-L2-12km (public) ===

longname : MetOp-A ASCAT Level 2 12.5 km Ocean Surface Wind Vector Product
product_id : ASCAT-L2-12km
dirname : /nfs/store/satellite/ascat/preview/L2/12km/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ascat/preview/L2/12km/
* ftp://podaac-ftp.jpl.nasa.gov/allData/ascat/preview/L2/12km/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASCAT-L2-12km/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASCAT-L2-12km/

crontab (solab@naiad)
* lftp mirror ASCAT-L2-12km from PODAAC each 2 hours for year 2012
* 0 */2 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/ASCAT-L2-12km.lftp

===ASCAT-L2-Coastal (public)===

longname : MetOp-A ASCAT Level 2 Coastal Ocean Surface Wind Vector Product
product_id : ASCAT-L2-Coastal
dirname : /nfs/store/satellite/ascat/preview/L2/coastal_opt/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ascat/preview/L2/coastal_opt/
* ftp://podaac-ftp.jpl.nasa.gov/allData/ascat/preview/L2/coastal_opt/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASCAT-L2-Coastal/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASCAT-L2-Coastal/

crontab (solab@naiad)
* lftp mirror ASCAT-L2-Coastal from PODAAC each 2 hours for year 2012
* 0 */2 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/ASCAT-L2-Coastal.lftp

=== QSCAT_L2B12 (public)===

longname : QuikSCAT Level 2B Ocean Wind Vectors in 12.5km Swath Grid
product_id : QSCAT_L2B12
dirname : /nfs/store/satellite/quikscat/L2B12/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/quikscat/L2B12/
* ftp://podaac.jpl.nasa.gov/OceanWinds/quikscat/L2B12/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/QSCAT_L2B12/
* http://opendap.solab.rshu.ru:8080/opendap/allData/QSCAT_L2B12/

crontab (solab@naiad)
Only initial download! no cron!
/home/solab/lftp_scripts/QSCAT_L2B12.lftp

=== JPL_OUROCEAN-L4UHfnd-GLOB-G1SST (public)===

longname : GHRSST Level 4 G1SST Global Foundation Sea Surface Temperature Analysis
product_id : JPL_OUROCEAN-L4UHfnd-GLOB-G1SST
dirname : /nfs/store/satellite/jpl_ourocean-l4uhfnd_glob_g1sst/

source(s) :
* ftp://podaac-ftp.jpl.nasa.gov/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL_OUROCEAN/G1SST/
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/

crontab (solab@naiad) :
* # lftp mirror JPL_OUROCEAN-L4UHfnd-GLOB-G1SST from PODAACC each day at 3pm for year 2012
* * 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST.lftp

=== ERSST-V3B (public)===

longname : Extended Reconstructed Sea Surface Temperature (ERSST.v3b)
product_id : ERSST-V3B
dirname : /nfs/store/satellite/ersst/v3b/netcdf/

source(s) :
* ftp://ftp.ncdc.noaa.gov/pub/data/cmb/ersst/v3b/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ERSST-V3B/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ERSST-V3B/

crontab (solab@naiad) :
* lftp mirror ERSST-V3B from NCDC NOAA each tuesday at 0pm
* 0 0 * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/ERSST-V3B.lftp

=== OISST-AVHRR-V2 (public)===

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR only
product_id : OISST-AVHRR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/2010/AVHRR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for OISST-AVHRR-AMSR-V2
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

=== OISST-AVHRR-AMSR-V2 (public)===

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR+AMSR
product_id : OISST-AVHRR-AMSR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR-AMSR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/<year>/AVHRR-AMSR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-AMSR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-AMSR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for year 2012
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

=== NCDC-SEAWINDS-OW-6hr (public)===

longname: NOAA/NCDC Blended 6-hourly 0.25-degree Sea Surface Winds
product_id : NCDC-SEAWINDS-OW-6hr
dirname : /nfs/store/satelitte/seawinds/SI/uv/6hrly/netcdf/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/seawinds/SI/uv/6hrly/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCDC-SEAWINDS-OW-6hr/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCDC-SEAWINDS-OW-6hr/

crontab (solab@naiad) :

# lftp mirror NCDC-SEAWINDS-OW-6hr from NCDC NOAA each day at 8am for year's 2000
0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/NCDC-SEAWINDS-OW-6hr.lftp

=== SSMI (public)===

longname: Special Sensor Microwave/Imager NASA's MEaSUREs Program
product_id : SSMI
dirname : /nfs1/store/satellite/ssmi/

source(s) :
* ftp://ftp.ssmi.com/ssmi/
* ftp://ftp.remss.com/ssmi/
* http://www.remss.com/data/ssmi/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/SSMI/
* http://opendap.solab.rshu.ru:8080/opendap/allData/SSMI/

=== ASI-AMSRE (public)===

longname: Sea-Ice concentration for Arctic & Antarctic
product_id : ASI-AMSRE
dirname : /nfs/store/satellite/asi_amsre_iceconc/

source(s) :
* ftp://ftp.icdc.zmaw.de/asi_amsre_iceconc/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASI-AMSRE/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASI-AMSRE/

=== NCEP_GFS (public)===

longname: The NCEP Global Forecast System wind speed. GRIB files
product_id : NCEP_GFS
dirname : /nfs1/store/model/ncep/gfs/

source(s) :
* http://nomad1.ncep.noaa.gov/pub/gfs_master/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_GFS/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_GFS/

=== NCEP_CFSR1HR (public)===

longname: The NCEP Climate Forecast System Reanalysis (CFSR) wind speed grb2 files
product_id : CFSR1HR
dirname : /nfs1/store/model/ncep/cfsr/

source(s) :
* ftp://nomads.ncdc.noaa.gov/CFSR/HP_time_series/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_CFSR1HR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_CFSR1HR/

=== AVISO_NRT_MSWH_MERGED (public)===

longname : Significant Wave Height Map - Based on NRT merged data
product_id : AVISO_NRT_MSWH_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mswh/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mswh/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MSWH_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MSWH_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

=== AVISO_NRT_MWIND_MERGED (public)===

longname : Wind Speed Map - Based on NRT merged data
product_id : AVISO_NRT_MWIND_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mwind/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mwind/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MWIND_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MWIND_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

=== JPL-L4UHfnd-GLOB-MUR (public)===

longname : GHRSST Level 4 MUR Global Foundation Sea Surface Temperature Analysis
product_id : JPL-L4UHfnd-GLOB-MUR
dirname : /nfs/store/satellite/JPL-L4UHfnd-GLOB-MUR

source(s) :
* http://mur.jpl.nasa.gov
* http://podaac.jpl.nasa.gov/dataset/JPL-L4UHfnd-GLOB-MUR
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL/MUR

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL-L4UHfnd-GLOB-MUR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL-L4UHfnd-GLOB-MUR/

crontab (solab@naiad) :
* lftp mirror JPL-L4UHfnd-GLOB-MUR from NOAA every day
* 0 21 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL-L4UHfnd-GLOB-MUR.lftp

=== OSTIA (public)===

longname : Operational Sea Surface Temperature and Sea Ice Analysis
product_id : OSTIA
dirname : /nfs/store/satellite/OSTIA

source(s):
* http://ghrsst-pp.metoffice.com/pages/latest_analysis/ostia.html
* http://data.nodc.noaa.gov/opendap/ghrsst/L4/GLOB/UKMO/contents.html
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/UKMO/OSTIA/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/OSTIA/
* ftp://ftp.solab.rshu.ru/data/allData/OSTIA

crontab:
* lftp mirror OSTIA from NOAA every day
* 0 22 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OSTIA.lftp

=== AVHRR_Pathfinder-NODC-L3C-v5.2 (public)===

longname : 4 km AVHRR Pathfinder
product_id : AVHRR_Pathfinder-NODC-L3C-v5.2
dirname: /nfs/store/satellite/AVHRR_Pathfinder-NODC-L3C-v5.2

source(s):
* http://www.nodc.noaa.gov/SatelliteData/pathfinder4km/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/pathfinder/Version5.2/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/
* ftp://ftp.solab.rshu.ru/data/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/

crontab:
* lftp mirror PATHFINDER from NOAA from 1981 to 2010
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

== Private Products (9 products) ==

=== IFR-L4-SSTfnd-ODYSSEA-GLOB_010 (private)===

longname : Global Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-GLOB_010
dirname : /nfs/store/satellite/myocean/sst-tac/l4/glob/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/myocean/sst-tac/l4/glob/odyssea/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-GLOB_010/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-GLOB_010 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-GLOB_010.lftp

=== IFR-L4-SSTfnd-ODYSSEA-MED_002 (private)===

longname : Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-MED_002
dirname : /nfs/store/satellite/medspiration/data/l4/med/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/medspiration/data/l4/med/odyssea

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-MED_002/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-MED_002 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-MED_002.lftp

=== EUR-L2P-AVHRR_METOP_A (private)===

longname: Sea Surface Temperature from METOP AVHRR
product_id : EUR-L2P-AVHRR_METOP_A
dirname : /nfs/store/satellite/avhrr_metop_a/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/osi-saf/data/sst/l2p/avhrr_metop_a/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/EUR-L2P-AVHRR_METOP_A/

=== AVISO_DT_REF_MADT_MERGED_UV (private)===

longname : Absolute Geostrophic Velocities - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_UV/

=== AVISO_DT_REF_MADT_MERGED_H (private)===

longname : Absolute Dynamic Topography - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_H/

=== AVISO_NRT_MADT_MERGED_UV (private)===

longname : Absolute Geostrophic Velocities - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_UV/

=== AVISO_NRT_MADT_MERGED_H (private)===

longname : Absolute Dynamic Topography - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_H/

=== AQUARIUS_L3_SSS_SMI_7DAY (private)===

longname : The Aquarius Level 3 V1.2 evaluation dataset is now available at the PO.DAAC. Level 3 derived parameters include both sea surface salinity and wind speed at one degree grid resolution and at daily, 7 day, monthly and seasonal time scales.
product_id : AQUARIUS_L3_SSS_SMI_7DAY
dirname : /nfs/store/satellite/AQUARIUS_L3_SSS_SMI_7DAY

source(s):
* http://podaac.jpl.nasa.gov/SeaSurfaceSalinity/Aquarius
* ftp://saltmarsh.jpl.nasa.gov/L3/mapped/V1.3/7day/ (anonymous / igor.eko@gmail.com)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AQUARIUS_L3_SSS_SMI_7DAY/

crontab:
* lftp mirror AQUARIUS_L3_SSS_SMI_7DAY from NASA every week
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/AQUARIUS_L3_SSS_SMI_7DAY.lftp

=== MERCI_MER_RR_1P (private)===

longname : TBC
product_id : MER_RR_1P
dirname: /nfs1/store/satellite/merci_mer_rr_1p

source(s):
* http://merci-srv.eo.esa.int/merci/queryProducts.do (user=ICJ1f1, pass:mLLsQs)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/MERCI_MER_RR_1P/

crontab:
* download MER_RR__1P product from merci-srv.eo.esa.int every day with daily quota 25 GiB
* 0 0 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

=== QSCAT_L2B12 (public)===

longname : QuikSCAT Level 2B Ocean Wind Vectors in 12.5km Swath Grid
product_id : QSCAT_L2B12
dirname : /nfs/store/satellite/quikscat/L2B12/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/quikscat/L2B12/
* ftp://podaac.jpl.nasa.gov/OceanWinds/quikscat/L2B12/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/QSCAT_L2B12/
* http://opendap.solab.rshu.ru:8080/opendap/allData/QSCAT_L2B12/

crontab (solab@naiad)
Only initial download! no cron!
/home/solab/lftp_scripts/QSCAT_L2B12.lftp

=== JPL_OUROCEAN-L4UHfnd-GLOB-G1SST (public)===

longname : GHRSST Level 4 G1SST Global Foundation Sea Surface Temperature Analysis
product_id : JPL_OUROCEAN-L4UHfnd-GLOB-G1SST
dirname : /nfs/store/satellite/jpl_ourocean-l4uhfnd_glob_g1sst/

source(s) :
* ftp://podaac-ftp.jpl.nasa.gov/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL_OUROCEAN/G1SST/
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/

crontab (solab@naiad) :
* # lftp mirror JPL_OUROCEAN-L4UHfnd-GLOB-G1SST from PODAACC each day at 3pm for year 2012
* * 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST.lftp

=== ERSST-V3B (public)===

longname : Extended Reconstructed Sea Surface Temperature (ERSST.v3b)
product_id : ERSST-V3B
dirname : /nfs/store/satellite/ersst/v3b/netcdf/

source(s) :
* ftp://ftp.ncdc.noaa.gov/pub/data/cmb/ersst/v3b/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ERSST-V3B/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ERSST-V3B/

crontab (solab@naiad) :
* lftp mirror ERSST-V3B from NCDC NOAA each tuesday at 0pm
* 0 0 * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/ERSST-V3B.lftp

=== OISST-AVHRR-V2 (public)===

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR only
product_id : OISST-AVHRR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/2010/AVHRR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for OISST-AVHRR-AMSR-V2
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

=== OISST-AVHRR-AMSR-V2 (public)===

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR+AMSR
product_id : OISST-AVHRR-AMSR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR-AMSR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/<year>/AVHRR-AMSR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-AMSR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-AMSR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for year 2012
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

=== NCDC-SEAWINDS-OW-6hr (public)===

longname: NOAA/NCDC Blended 6-hourly 0.25-degree Sea Surface Winds
product_id : NCDC-SEAWINDS-OW-6hr
dirname : /nfs/store/satelitte/seawinds/SI/uv/6hrly/netcdf/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/seawinds/SI/uv/6hrly/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCDC-SEAWINDS-OW-6hr/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCDC-SEAWINDS-OW-6hr/

crontab (solab@naiad) :

# lftp mirror NCDC-SEAWINDS-OW-6hr from NCDC NOAA each day at 8am for year's 2000
0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/NCDC-SEAWINDS-OW-6hr.lftp

=== SSMI (public)===

longname: Special Sensor Microwave/Imager NASA's MEaSUREs Program
product_id : SSMI
dirname : /nfs1/store/satellite/ssmi/

source(s) :
* ftp://ftp.ssmi.com/ssmi/
* ftp://ftp.remss.com/ssmi/
* http://www.remss.com/data/ssmi/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/SSMI/
* http://opendap.solab.rshu.ru:8080/opendap/allData/SSMI/

=== ASI-AMSRE (public)===

longname: Sea-Ice concentration for Arctic & Antarctic
product_id : ASI-AMSRE
dirname : /nfs/store/satellite/asi_amsre_iceconc/

source(s) :
* ftp://ftp.icdc.zmaw.de/asi_amsre_iceconc/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASI-AMSRE/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASI-AMSRE/

=== NCEP_GFS (public)===

longname: The NCEP Global Forecast System wind speed. GRIB files
product_id : NCEP_GFS
dirname : /nfs1/store/model/ncep/gfs/

source(s) :
* http://nomad1.ncep.noaa.gov/pub/gfs_master/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_GFS/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_GFS/

=== NCEP_CFSR1HR (public)===

longname: The NCEP Climate Forecast System Reanalysis (CFSR) wind speed grb2 files
product_id : CFSR1HR
dirname : /nfs1/store/model/ncep/cfsr/

source(s) :
* ftp://nomads.ncdc.noaa.gov/CFSR/HP_time_series/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_CFSR1HR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_CFSR1HR/

=== AVISO_NRT_MSWH_MERGED (public)===

longname : Significant Wave Height Map - Based on NRT merged data
product_id : AVISO_NRT_MSWH_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mswh/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mswh/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MSWH_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MSWH_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

=== AVISO_NRT_MWIND_MERGED (public)===

longname : Wind Speed Map - Based on NRT merged data
product_id : AVISO_NRT_MWIND_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mwind/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mwind/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MWIND_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MWIND_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

=== JPL-L4UHfnd-GLOB-MUR (public)===

longname : GHRSST Level 4 MUR Global Foundation Sea Surface Temperature Analysis
product_id : JPL-L4UHfnd-GLOB-MUR
dirname : /nfs/store/satellite/JPL-L4UHfnd-GLOB-MUR

source(s) :
* http://mur.jpl.nasa.gov
* http://podaac.jpl.nasa.gov/dataset/JPL-L4UHfnd-GLOB-MUR
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL/MUR

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL-L4UHfnd-GLOB-MUR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL-L4UHfnd-GLOB-MUR/

crontab (solab@naiad) :
* lftp mirror JPL-L4UHfnd-GLOB-MUR from NOAA every day
* 0 21 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL-L4UHfnd-GLOB-MUR.lftp

=== OSTIA (public)===

longname : Operational Sea Surface Temperature and Sea Ice Analysis
product_id : OSTIA
dirname : /nfs/store/satellite/OSTIA

source(s):
* http://ghrsst-pp.metoffice.com/pages/latest_analysis/ostia.html
* http://data.nodc.noaa.gov/opendap/ghrsst/L4/GLOB/UKMO/contents.html
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/UKMO/OSTIA/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/OSTIA/
* ftp://ftp.solab.rshu.ru/data/allData/OSTIA

crontab:
* lftp mirror OSTIA from NOAA every day
* 0 22 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OSTIA.lftp

=== AVHRR_Pathfinder-NODC-L3C-v5.2 (public)===

longname : 4 km AVHRR Pathfinder
product_id : AVHRR_Pathfinder-NODC-L3C-v5.2
dirname: /nfs/store/satellite/AVHRR_Pathfinder-NODC-L3C-v5.2

source(s):
* http://www.nodc.noaa.gov/SatelliteData/pathfinder4km/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/pathfinder/Version5.2/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/
* ftp://ftp.solab.rshu.ru/data/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/

crontab:
* lftp mirror PATHFINDER from NOAA from 1981 to 2010
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

==Private Products (9 products)==

=== IFR-L4-SSTfnd-ODYSSEA-GLOB_010 (private)===

longname : Global Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-GLOB_010
dirname : /nfs/store/satellite/myocean/sst-tac/l4/glob/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/myocean/sst-tac/l4/glob/odyssea/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-GLOB_010/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-GLOB_010 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-GLOB_010.lftp

=== IFR-L4-SSTfnd-ODYSSEA-MED_002 (private)===

longname : Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-MED_002
dirname : /nfs/store/satellite/medspiration/data/l4/med/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/medspiration/data/l4/med/odyssea

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-MED_002/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-MED_002 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-MED_002.lftp

=== EUR-L2P-AVHRR_METOP_A (private)===

longname: Sea Surface Temperature from METOP AVHRR
product_id : EUR-L2P-AVHRR_METOP_A
dirname : /nfs/store/satellite/avhrr_metop_a/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/osi-saf/data/sst/l2p/avhrr_metop_a/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/EUR-L2P-AVHRR_METOP_A/

=== AVISO_DT_REF_MADT_MERGED_UV (private)===

longname : Absolute Geostrophic Velocities - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_UV/

=== AVISO_DT_REF_MADT_MERGED_H (private)===

longname : Absolute Dynamic Topography - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_H/

=== AVISO_NRT_MADT_MERGED_UV (private)===

longname : Absolute Geostrophic Velocities - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_UV/

=== AVISO_NRT_MADT_MERGED_H (private)===

longname : Absolute Dynamic Topography - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_H/

=== AQUARIUS_L3_SSS_SMI_7DAY (private)===

longname : The Aquarius Level 3 V1.2 evaluation dataset is now available at the PO.DAAC. Level 3 derived parameters include both sea surface salinity and wind speed at one degree grid resolution and at daily, 7 day, monthly and seasonal time scales.
product_id : AQUARIUS_L3_SSS_SMI_7DAY
dirname : /nfs/store/satellite/AQUARIUS_L3_SSS_SMI_7DAY

source(s):
* http://podaac.jpl.nasa.gov/SeaSurfaceSalinity/Aquarius
* ftp://saltmarsh.jpl.nasa.gov/L3/mapped/V1.3/7day/ (anonymous / igor.eko@gmail.com)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AQUARIUS_L3_SSS_SMI_7DAY/

crontab:
* lftp mirror AQUARIUS_L3_SSS_SMI_7DAY from NASA every week
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/AQUARIUS_L3_SSS_SMI_7DAY.lftp

=== MERCI_MER_RR_1P (private)===

longname : TBC
product_id : MER_RR_1P
dirname: /nfs1/store/satellite/merci_mer_rr_1p

source(s):
* http://merci-srv.eo.esa.int/merci/queryProducts.do (user=ICJ1f1, pass:mLLsQs)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/MERCI_MER_RR_1P/

crontab:
* download MER_RR__1P product from merci-srv.eo.esa.int every day with daily quota 25 GiB
* 0 0 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

solab:Products

Old2 ilya — Fri, 21 Dec 2012 14:07:01 GMT

Old2 ilya: /* NCEP_GFS (public) */

== Public Products (17 products) ==

=== ASCAT-L2-12km (public) ===

longname : MetOp-A ASCAT Level 2 12.5 km Ocean Surface Wind Vector Product
product_id : ASCAT-L2-12km
dirname : /nfs/store/satellite/ascat/preview/L2/12km/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ascat/preview/L2/12km/
* ftp://podaac-ftp.jpl.nasa.gov/allData/ascat/preview/L2/12km/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASCAT-L2-12km/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASCAT-L2-12km/

crontab (solab@naiad)
* lftp mirror ASCAT-L2-12km from PODAAC each 2 hours for year 2012
* 0 */2 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/ASCAT-L2-12km.lftp

===ASCAT-L2-Coastal (public)===

longname : MetOp-A ASCAT Level 2 Coastal Ocean Surface Wind Vector Product
product_id : ASCAT-L2-Coastal
dirname : /nfs/store/satellite/ascat/preview/L2/coastal_opt/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ascat/preview/L2/coastal_opt/
* ftp://podaac-ftp.jpl.nasa.gov/allData/ascat/preview/L2/coastal_opt/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASCAT-L2-Coastal/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASCAT-L2-Coastal/

crontab (solab@naiad)
* lftp mirror ASCAT-L2-Coastal from PODAAC each 2 hours for year 2012
* 0 */2 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/ASCAT-L2-Coastal.lftp

=== QSCAT_L2B12 (public)===

longname : QuikSCAT Level 2B Ocean Wind Vectors in 12.5km Swath Grid
product_id : QSCAT_L2B12
dirname : /nfs/store/satellite/quikscat/L2B12/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/quikscat/L2B12/
* ftp://podaac.jpl.nasa.gov/OceanWinds/quikscat/L2B12/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/QSCAT_L2B12/
* http://opendap.solab.rshu.ru:8080/opendap/allData/QSCAT_L2B12/

crontab (solab@naiad)
Only initial download! no cron!
/home/solab/lftp_scripts/QSCAT_L2B12.lftp

=== JPL_OUROCEAN-L4UHfnd-GLOB-G1SST (public)===

longname : GHRSST Level 4 G1SST Global Foundation Sea Surface Temperature Analysis
product_id : JPL_OUROCEAN-L4UHfnd-GLOB-G1SST
dirname : /nfs/store/satellite/jpl_ourocean-l4uhfnd_glob_g1sst/

source(s) :
* ftp://podaac-ftp.jpl.nasa.gov/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL_OUROCEAN/G1SST/
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/

crontab (solab@naiad) :
* # lftp mirror JPL_OUROCEAN-L4UHfnd-GLOB-G1SST from PODAACC each day at 3pm for year 2012
* * 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST.lftp

=== ERSST-V3B (public)===

longname : Extended Reconstructed Sea Surface Temperature (ERSST.v3b)
product_id : ERSST-V3B
dirname : /nfs/store/satellite/ersst/v3b/netcdf/

source(s) :
* ftp://ftp.ncdc.noaa.gov/pub/data/cmb/ersst/v3b/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ERSST-V3B/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ERSST-V3B/

crontab (solab@naiad) :
* lftp mirror ERSST-V3B from NCDC NOAA each tuesday at 0pm
* 0 0 * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/ERSST-V3B.lftp

=== OISST-AVHRR-V2 (public)===

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR only
product_id : OISST-AVHRR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/2010/AVHRR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for OISST-AVHRR-AMSR-V2
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

=== OISST-AVHRR-AMSR-V2 (public)===

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR+AMSR
product_id : OISST-AVHRR-AMSR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR-AMSR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/<year>/AVHRR-AMSR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-AMSR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-AMSR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for year 2012
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

=== NCDC-SEAWINDS-OW-6hr (public)===

longname: NOAA/NCDC Blended 6-hourly 0.25-degree Sea Surface Winds
product_id : NCDC-SEAWINDS-OW-6hr
dirname : /nfs/store/satelitte/seawinds/SI/uv/6hrly/netcdf/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/seawinds/SI/uv/6hrly/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCDC-SEAWINDS-OW-6hr/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCDC-SEAWINDS-OW-6hr/

crontab (solab@naiad) :

# lftp mirror NCDC-SEAWINDS-OW-6hr from NCDC NOAA each day at 8am for year's 2000
0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/NCDC-SEAWINDS-OW-6hr.lftp

=== SSMI (public)===

longname: Special Sensor Microwave/Imager NASA's MEaSUREs Program
product_id : SSMI
dirname : /nfs1/store/satellite/ssmi/

source(s) :
* ftp://ftp.ssmi.com/ssmi/
* ftp://ftp.remss.com/ssmi/
* http://www.remss.com/data/ssmi/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/SSMI/
* http://opendap.solab.rshu.ru:8080/opendap/allData/SSMI/

=== ASI-AMSRE (public)===

longname: Sea-Ice concentration for Arctic & Antarctic
product_id : ASI-AMSRE
dirname : /nfs/store/satellite/asi_amsre_iceconc/

source(s) :
* ftp://ftp.icdc.zmaw.de/asi_amsre_iceconc/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASI-AMSRE/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASI-AMSRE/

=== NCEP_GFS (public)===

longname: The NCEP Global Forecast System wind speed. GRIB files
product_id : NCEP_GFS
dirname : /nfs1/store/model/ncep/gfs/

source(s) :
* http://nomad1.ncep.noaa.gov/pub/gfs_master/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_GFS/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_GFS/

=== NCEP_CFSR1HR (public)===

longname: The NCEP Climate Forecast System Reanalysis (CFSR) wind speed grb2 files
product_id : CFSR1HR
dirname : /nfs1/store/model/ncep/cfsr/

source(s) :
* ftp://nomads.ncdc.noaa.gov/CFSR/HP_time_series/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_CFSR1HR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_CFSR1HR/

=== AVISO_NRT_MSWH_MERGED (public)===

longname : Significant Wave Height Map - Based on NRT merged data
product_id : AVISO_NRT_MSWH_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mswh/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mswh/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MSWH_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MSWH_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

=== AVISO_NRT_MWIND_MERGED (public)===

longname : Wind Speed Map - Based on NRT merged data
product_id : AVISO_NRT_MWIND_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mwind/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mwind/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MWIND_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MWIND_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

=== JPL-L4UHfnd-GLOB-MUR (public)===

longname : GHRSST Level 4 MUR Global Foundation Sea Surface Temperature Analysis
product_id : JPL-L4UHfnd-GLOB-MUR
dirname : /nfs/store/satellite/JPL-L4UHfnd-GLOB-MUR

source(s) :
* http://mur.jpl.nasa.gov
* http://podaac.jpl.nasa.gov/dataset/JPL-L4UHfnd-GLOB-MUR
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL/MUR

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL-L4UHfnd-GLOB-MUR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL-L4UHfnd-GLOB-MUR/

crontab (solab@naiad) :
* lftp mirror JPL-L4UHfnd-GLOB-MUR from NOAA every day
* 0 21 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL-L4UHfnd-GLOB-MUR.lftp

=== OSTIA (public)===

longname : Operational Sea Surface Temperature and Sea Ice Analysis
product_id : OSTIA
dirname : /nfs/store/satellite/OSTIA

source(s):
* http://ghrsst-pp.metoffice.com/pages/latest_analysis/ostia.html
* http://data.nodc.noaa.gov/opendap/ghrsst/L4/GLOB/UKMO/contents.html
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/UKMO/OSTIA/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/OSTIA/
* ftp://ftp.solab.rshu.ru/data/allData/OSTIA

crontab:
* lftp mirror OSTIA from NOAA every day
* 0 22 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OSTIA.lftp

=== AVHRR_Pathfinder-NODC-L3C-v5.2 (public)===

longname : 4 km AVHRR Pathfinder
product_id : AVHRR_Pathfinder-NODC-L3C-v5.2
dirname: /nfs/store/satellite/AVHRR_Pathfinder-NODC-L3C-v5.2

source(s):
* http://www.nodc.noaa.gov/SatelliteData/pathfinder4km/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/pathfinder/Version5.2/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/
* ftp://ftp.solab.rshu.ru/data/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/

crontab:
* lftp mirror PATHFINDER from NOAA from 1981 to 2010
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

== Private Products (9 products) ==

=== IFR-L4-SSTfnd-ODYSSEA-GLOB_010 (private)===

longname : Global Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-GLOB_010
dirname : /nfs/store/satellite/myocean/sst-tac/l4/glob/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/myocean/sst-tac/l4/glob/odyssea/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-GLOB_010/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-GLOB_010 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-GLOB_010.lftp

=== IFR-L4-SSTfnd-ODYSSEA-MED_002 (private)===

longname : Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-MED_002
dirname : /nfs/store/satellite/medspiration/data/l4/med/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/medspiration/data/l4/med/odyssea

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-MED_002/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-MED_002 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-MED_002.lftp

=== EUR-L2P-AVHRR_METOP_A (private)===

longname: Sea Surface Temperature from METOP AVHRR
product_id : EUR-L2P-AVHRR_METOP_A
dirname : /nfs/store/satellite/avhrr_metop_a/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/osi-saf/data/sst/l2p/avhrr_metop_a/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/EUR-L2P-AVHRR_METOP_A/

=== AVISO_DT_REF_MADT_MERGED_UV (private)===

longname : Absolute Geostrophic Velocities - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_UV/

=== AVISO_DT_REF_MADT_MERGED_H (private)===

longname : Absolute Dynamic Topography - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_H/

=== AVISO_NRT_MADT_MERGED_UV (private)===

longname : Absolute Geostrophic Velocities - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_UV/

=== AVISO_NRT_MADT_MERGED_H (private)===

longname : Absolute Dynamic Topography - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_H/

=== AQUARIUS_L3_SSS_SMI_7DAY (private)===

longname : The Aquarius Level 3 V1.2 evaluation dataset is now available at the PO.DAAC. Level 3 derived parameters include both sea surface salinity and wind speed at one degree grid resolution and at daily, 7 day, monthly and seasonal time scales.
product_id : AQUARIUS_L3_SSS_SMI_7DAY
dirname : /nfs/store/satellite/AQUARIUS_L3_SSS_SMI_7DAY

source(s):
* http://podaac.jpl.nasa.gov/SeaSurfaceSalinity/Aquarius
* ftp://saltmarsh.jpl.nasa.gov/L3/mapped/V1.3/7day/ (anonymous / igor.eko@gmail.com)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AQUARIUS_L3_SSS_SMI_7DAY/

crontab:
* lftp mirror AQUARIUS_L3_SSS_SMI_7DAY from NASA every week
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/AQUARIUS_L3_SSS_SMI_7DAY.lftp

=== MERCI_MER_RR_1P (private)===

longname : TBC
product_id : MER_RR_1P
dirname: /nfs1/store/satellite/merci_mer_rr_1p

source(s):
* http://merci-srv.eo.esa.int/merci/queryProducts.do (user=ICJ1f1, pass:mLLsQs)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/MERCI_MER_RR_1P/

crontab:
* download MER_RR__1P product from merci-srv.eo.esa.int every day with daily quota 25 GiB
* 0 0 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

== QSCAT_L2B12 (public)==

longname : QuikSCAT Level 2B Ocean Wind Vectors in 12.5km Swath Grid
product_id : QSCAT_L2B12
dirname : /nfs/store/satellite/quikscat/L2B12/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/quikscat/L2B12/
* ftp://podaac.jpl.nasa.gov/OceanWinds/quikscat/L2B12/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/QSCAT_L2B12/
* http://opendap.solab.rshu.ru:8080/opendap/allData/QSCAT_L2B12/

crontab (solab@naiad)
Only initial download! no cron!
/home/solab/lftp_scripts/QSCAT_L2B12.lftp

== JPL_OUROCEAN-L4UHfnd-GLOB-G1SST (public)==

longname : GHRSST Level 4 G1SST Global Foundation Sea Surface Temperature Analysis
product_id : JPL_OUROCEAN-L4UHfnd-GLOB-G1SST
dirname : /nfs/store/satellite/jpl_ourocean-l4uhfnd_glob_g1sst/

source(s) :
* ftp://podaac-ftp.jpl.nasa.gov/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL_OUROCEAN/G1SST/
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/

crontab (solab@naiad) :
* # lftp mirror JPL_OUROCEAN-L4UHfnd-GLOB-G1SST from PODAACC each day at 3pm for year 2012
* * 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST.lftp

== ERSST-V3B (public)==

longname : Extended Reconstructed Sea Surface Temperature (ERSST.v3b)
product_id : ERSST-V3B
dirname : /nfs/store/satellite/ersst/v3b/netcdf/

source(s) :
* ftp://ftp.ncdc.noaa.gov/pub/data/cmb/ersst/v3b/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ERSST-V3B/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ERSST-V3B/

crontab (solab@naiad) :
* lftp mirror ERSST-V3B from NCDC NOAA each tuesday at 0pm
* 0 0 * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/ERSST-V3B.lftp

== OISST-AVHRR-V2 (public)==

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR only
product_id : OISST-AVHRR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/2010/AVHRR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for OISST-AVHRR-AMSR-V2
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

== OISST-AVHRR-AMSR-V2 (public)==

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR+AMSR
product_id : OISST-AVHRR-AMSR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR-AMSR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/<year>/AVHRR-AMSR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-AMSR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-AMSR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for year 2012
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

== NCDC-SEAWINDS-OW-6hr (public)==

longname: NOAA/NCDC Blended 6-hourly 0.25-degree Sea Surface Winds
product_id : NCDC-SEAWINDS-OW-6hr
dirname : /nfs/store/satelitte/seawinds/SI/uv/6hrly/netcdf/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/seawinds/SI/uv/6hrly/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCDC-SEAWINDS-OW-6hr/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCDC-SEAWINDS-OW-6hr/

crontab (solab@naiad) :

# lftp mirror NCDC-SEAWINDS-OW-6hr from NCDC NOAA each day at 8am for year's 2000
0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/NCDC-SEAWINDS-OW-6hr.lftp

== SSMI (public)==

longname: Special Sensor Microwave/Imager NASA's MEaSUREs Program
product_id : SSMI
dirname : /nfs1/store/satellite/ssmi/

source(s) :
* ftp://ftp.ssmi.com/ssmi/
* ftp://ftp.remss.com/ssmi/
* http://www.remss.com/data/ssmi/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/SSMI/
* http://opendap.solab.rshu.ru:8080/opendap/allData/SSMI/

== ASI-AMSRE (public)==

longname: Sea-Ice concentration for Arctic & Antarctic
product_id : ASI-AMSRE
dirname : /nfs/store/satellite/asi_amsre_iceconc/

source(s) :
* ftp://ftp.icdc.zmaw.de/asi_amsre_iceconc/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASI-AMSRE/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASI-AMSRE/

== NCEP_GFS (public)==

longname: The NCEP Global Forecast System wind speed. GRIB files
product_id : NCEP_GFS
dirname : /nfs1/store/model/ncep/gfs/

source(s) :
* http://nomad1.ncep.noaa.gov/pub/gfs_master/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_GFS/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_GFS/

== NCEP_CFSR1HR (public)==

longname: The NCEP Climate Forecast System Reanalysis (CFSR) wind speed grb2 files
product_id : CFSR1HR
dirname : /nfs1/store/model/ncep/cfsr/

source(s) :
* ftp://nomads.ncdc.noaa.gov/CFSR/HP_time_series/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_CFSR1HR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_CFSR1HR/

== AVISO_NRT_MSWH_MERGED (public)==

longname : Significant Wave Height Map - Based on NRT merged data
product_id : AVISO_NRT_MSWH_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mswh/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mswh/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MSWH_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MSWH_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

== AVISO_NRT_MWIND_MERGED (public)==

longname : Wind Speed Map - Based on NRT merged data
product_id : AVISO_NRT_MWIND_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mwind/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mwind/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MWIND_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MWIND_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

== JPL-L4UHfnd-GLOB-MUR (public)==

longname : GHRSST Level 4 MUR Global Foundation Sea Surface Temperature Analysis
product_id : JPL-L4UHfnd-GLOB-MUR
dirname : /nfs/store/satellite/JPL-L4UHfnd-GLOB-MUR

source(s) :
* http://mur.jpl.nasa.gov
* http://podaac.jpl.nasa.gov/dataset/JPL-L4UHfnd-GLOB-MUR
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL/MUR

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL-L4UHfnd-GLOB-MUR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL-L4UHfnd-GLOB-MUR/

crontab (solab@naiad) :
* lftp mirror JPL-L4UHfnd-GLOB-MUR from NOAA every day
* 0 21 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL-L4UHfnd-GLOB-MUR.lftp

== OSTIA (public)==

longname : Operational Sea Surface Temperature and Sea Ice Analysis
product_id : OSTIA
dirname : /nfs/store/satellite/OSTIA

source(s):
* http://ghrsst-pp.metoffice.com/pages/latest_analysis/ostia.html
* http://data.nodc.noaa.gov/opendap/ghrsst/L4/GLOB/UKMO/contents.html
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/UKMO/OSTIA/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/OSTIA/
* ftp://ftp.solab.rshu.ru/data/allData/OSTIA

crontab:
* lftp mirror OSTIA from NOAA every day
* 0 22 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OSTIA.lftp

== AVHRR_Pathfinder-NODC-L3C-v5.2 (public)==

longname : 4 km AVHRR Pathfinder
product_id : AVHRR_Pathfinder-NODC-L3C-v5.2
dirname: /nfs/store/satellite/AVHRR_Pathfinder-NODC-L3C-v5.2

source(s):
* http://www.nodc.noaa.gov/SatelliteData/pathfinder4km/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/pathfinder/Version5.2/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/
* ftp://ftp.solab.rshu.ru/data/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/

crontab:
* lftp mirror PATHFINDER from NOAA from 1981 to 2010
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

==Private Products (9 products)==

== IFR-L4-SSTfnd-ODYSSEA-GLOB_010 (private)==

longname : Global Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-GLOB_010
dirname : /nfs/store/satellite/myocean/sst-tac/l4/glob/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/myocean/sst-tac/l4/glob/odyssea/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-GLOB_010/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-GLOB_010 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-GLOB_010.lftp

== IFR-L4-SSTfnd-ODYSSEA-MED_002 (private)==

longname : Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-MED_002
dirname : /nfs/store/satellite/medspiration/data/l4/med/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/medspiration/data/l4/med/odyssea

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-MED_002/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-MED_002 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-MED_002.lftp

== EUR-L2P-AVHRR_METOP_A (private)==

longname: Sea Surface Temperature from METOP AVHRR
product_id : EUR-L2P-AVHRR_METOP_A
dirname : /nfs/store/satellite/avhrr_metop_a/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/osi-saf/data/sst/l2p/avhrr_metop_a/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/EUR-L2P-AVHRR_METOP_A/

== AVISO_DT_REF_MADT_MERGED_UV (private)==

longname : Absolute Geostrophic Velocities - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_UV/

== AVISO_DT_REF_MADT_MERGED_H (private)==

longname : Absolute Dynamic Topography - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_H/

== AVISO_NRT_MADT_MERGED_UV (private)==

longname : Absolute Geostrophic Velocities - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_UV/

== AVISO_NRT_MADT_MERGED_H (private)==

longname : Absolute Dynamic Topography - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_H/

== AQUARIUS_L3_SSS_SMI_7DAY (private)==

longname : The Aquarius Level 3 V1.2 evaluation dataset is now available at the PO.DAAC. Level 3 derived parameters include both sea surface salinity and wind speed at one degree grid resolution and at daily, 7 day, monthly and seasonal time scales.
product_id : AQUARIUS_L3_SSS_SMI_7DAY
dirname : /nfs/store/satellite/AQUARIUS_L3_SSS_SMI_7DAY

source(s):
* http://podaac.jpl.nasa.gov/SeaSurfaceSalinity/Aquarius
* ftp://saltmarsh.jpl.nasa.gov/L3/mapped/V1.3/7day/ (anonymous / igor.eko@gmail.com)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AQUARIUS_L3_SSS_SMI_7DAY/

crontab:
* lftp mirror AQUARIUS_L3_SSS_SMI_7DAY from NASA every week
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/AQUARIUS_L3_SSS_SMI_7DAY.lftp

== MERCI_MER_RR_1P (private)==

longname : TBC
product_id : MER_RR_1P
dirname: /nfs1/store/satellite/merci_mer_rr_1p

source(s):
* http://merci-srv.eo.esa.int/merci/queryProducts.do (user=ICJ1f1, pass:mLLsQs)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/MERCI_MER_RR_1P/

crontab:
* download MER_RR__1P product from merci-srv.eo.esa.int every day with daily quota 25 GiB
* 0 0 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

solab:Products

Old2 ilya — Fri, 21 Dec 2012 14:06:48 GMT

Old2 ilya: /* ASI-AMSRE (public) */

== Public Products (17 products) ==

=== ASCAT-L2-12km (public) ===

longname : MetOp-A ASCAT Level 2 12.5 km Ocean Surface Wind Vector Product
product_id : ASCAT-L2-12km
dirname : /nfs/store/satellite/ascat/preview/L2/12km/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ascat/preview/L2/12km/
* ftp://podaac-ftp.jpl.nasa.gov/allData/ascat/preview/L2/12km/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASCAT-L2-12km/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASCAT-L2-12km/

crontab (solab@naiad)
* lftp mirror ASCAT-L2-12km from PODAAC each 2 hours for year 2012
* 0 */2 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/ASCAT-L2-12km.lftp

===ASCAT-L2-Coastal (public)===

longname : MetOp-A ASCAT Level 2 Coastal Ocean Surface Wind Vector Product
product_id : ASCAT-L2-Coastal
dirname : /nfs/store/satellite/ascat/preview/L2/coastal_opt/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ascat/preview/L2/coastal_opt/
* ftp://podaac-ftp.jpl.nasa.gov/allData/ascat/preview/L2/coastal_opt/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASCAT-L2-Coastal/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASCAT-L2-Coastal/

crontab (solab@naiad)
* lftp mirror ASCAT-L2-Coastal from PODAAC each 2 hours for year 2012
* 0 */2 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/ASCAT-L2-Coastal.lftp

=== QSCAT_L2B12 (public)===

longname : QuikSCAT Level 2B Ocean Wind Vectors in 12.5km Swath Grid
product_id : QSCAT_L2B12
dirname : /nfs/store/satellite/quikscat/L2B12/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/quikscat/L2B12/
* ftp://podaac.jpl.nasa.gov/OceanWinds/quikscat/L2B12/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/QSCAT_L2B12/
* http://opendap.solab.rshu.ru:8080/opendap/allData/QSCAT_L2B12/

crontab (solab@naiad)
Only initial download! no cron!
/home/solab/lftp_scripts/QSCAT_L2B12.lftp

=== JPL_OUROCEAN-L4UHfnd-GLOB-G1SST (public)===

longname : GHRSST Level 4 G1SST Global Foundation Sea Surface Temperature Analysis
product_id : JPL_OUROCEAN-L4UHfnd-GLOB-G1SST
dirname : /nfs/store/satellite/jpl_ourocean-l4uhfnd_glob_g1sst/

source(s) :
* ftp://podaac-ftp.jpl.nasa.gov/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL_OUROCEAN/G1SST/
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/

crontab (solab@naiad) :
* # lftp mirror JPL_OUROCEAN-L4UHfnd-GLOB-G1SST from PODAACC each day at 3pm for year 2012
* * 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST.lftp

=== ERSST-V3B (public)===

longname : Extended Reconstructed Sea Surface Temperature (ERSST.v3b)
product_id : ERSST-V3B
dirname : /nfs/store/satellite/ersst/v3b/netcdf/

source(s) :
* ftp://ftp.ncdc.noaa.gov/pub/data/cmb/ersst/v3b/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ERSST-V3B/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ERSST-V3B/

crontab (solab@naiad) :
* lftp mirror ERSST-V3B from NCDC NOAA each tuesday at 0pm
* 0 0 * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/ERSST-V3B.lftp

=== OISST-AVHRR-V2 (public)===

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR only
product_id : OISST-AVHRR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/2010/AVHRR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for OISST-AVHRR-AMSR-V2
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

=== OISST-AVHRR-AMSR-V2 (public)===

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR+AMSR
product_id : OISST-AVHRR-AMSR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR-AMSR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/<year>/AVHRR-AMSR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-AMSR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-AMSR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for year 2012
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

=== NCDC-SEAWINDS-OW-6hr (public)===

longname: NOAA/NCDC Blended 6-hourly 0.25-degree Sea Surface Winds
product_id : NCDC-SEAWINDS-OW-6hr
dirname : /nfs/store/satelitte/seawinds/SI/uv/6hrly/netcdf/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/seawinds/SI/uv/6hrly/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCDC-SEAWINDS-OW-6hr/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCDC-SEAWINDS-OW-6hr/

crontab (solab@naiad) :

# lftp mirror NCDC-SEAWINDS-OW-6hr from NCDC NOAA each day at 8am for year's 2000
0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/NCDC-SEAWINDS-OW-6hr.lftp

=== SSMI (public)===

longname: Special Sensor Microwave/Imager NASA's MEaSUREs Program
product_id : SSMI
dirname : /nfs1/store/satellite/ssmi/

source(s) :
* ftp://ftp.ssmi.com/ssmi/
* ftp://ftp.remss.com/ssmi/
* http://www.remss.com/data/ssmi/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/SSMI/
* http://opendap.solab.rshu.ru:8080/opendap/allData/SSMI/

=== ASI-AMSRE (public)===

longname: Sea-Ice concentration for Arctic & Antarctic
product_id : ASI-AMSRE
dirname : /nfs/store/satellite/asi_amsre_iceconc/

source(s) :
* ftp://ftp.icdc.zmaw.de/asi_amsre_iceconc/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASI-AMSRE/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASI-AMSRE/

== NCEP_GFS (public)==

longname: The NCEP Global Forecast System wind speed. GRIB files
product_id : NCEP_GFS
dirname : /nfs1/store/model/ncep/gfs/

source(s) :
* http://nomad1.ncep.noaa.gov/pub/gfs_master/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_GFS/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_GFS/

=== NCEP_CFSR1HR (public)===

longname: The NCEP Climate Forecast System Reanalysis (CFSR) wind speed grb2 files
product_id : CFSR1HR
dirname : /nfs1/store/model/ncep/cfsr/

source(s) :
* ftp://nomads.ncdc.noaa.gov/CFSR/HP_time_series/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_CFSR1HR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_CFSR1HR/

=== AVISO_NRT_MSWH_MERGED (public)===

longname : Significant Wave Height Map - Based on NRT merged data
product_id : AVISO_NRT_MSWH_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mswh/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mswh/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MSWH_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MSWH_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

=== AVISO_NRT_MWIND_MERGED (public)===

longname : Wind Speed Map - Based on NRT merged data
product_id : AVISO_NRT_MWIND_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mwind/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mwind/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MWIND_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MWIND_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

=== JPL-L4UHfnd-GLOB-MUR (public)===

longname : GHRSST Level 4 MUR Global Foundation Sea Surface Temperature Analysis
product_id : JPL-L4UHfnd-GLOB-MUR
dirname : /nfs/store/satellite/JPL-L4UHfnd-GLOB-MUR

source(s) :
* http://mur.jpl.nasa.gov
* http://podaac.jpl.nasa.gov/dataset/JPL-L4UHfnd-GLOB-MUR
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL/MUR

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL-L4UHfnd-GLOB-MUR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL-L4UHfnd-GLOB-MUR/

crontab (solab@naiad) :
* lftp mirror JPL-L4UHfnd-GLOB-MUR from NOAA every day
* 0 21 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL-L4UHfnd-GLOB-MUR.lftp

=== OSTIA (public)===

longname : Operational Sea Surface Temperature and Sea Ice Analysis
product_id : OSTIA
dirname : /nfs/store/satellite/OSTIA

source(s):
* http://ghrsst-pp.metoffice.com/pages/latest_analysis/ostia.html
* http://data.nodc.noaa.gov/opendap/ghrsst/L4/GLOB/UKMO/contents.html
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/UKMO/OSTIA/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/OSTIA/
* ftp://ftp.solab.rshu.ru/data/allData/OSTIA

crontab:
* lftp mirror OSTIA from NOAA every day
* 0 22 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OSTIA.lftp

=== AVHRR_Pathfinder-NODC-L3C-v5.2 (public)===

longname : 4 km AVHRR Pathfinder
product_id : AVHRR_Pathfinder-NODC-L3C-v5.2
dirname: /nfs/store/satellite/AVHRR_Pathfinder-NODC-L3C-v5.2

source(s):
* http://www.nodc.noaa.gov/SatelliteData/pathfinder4km/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/pathfinder/Version5.2/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/
* ftp://ftp.solab.rshu.ru/data/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/

crontab:
* lftp mirror PATHFINDER from NOAA from 1981 to 2010
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

== Private Products (9 products) ==

=== IFR-L4-SSTfnd-ODYSSEA-GLOB_010 (private)===

longname : Global Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-GLOB_010
dirname : /nfs/store/satellite/myocean/sst-tac/l4/glob/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/myocean/sst-tac/l4/glob/odyssea/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-GLOB_010/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-GLOB_010 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-GLOB_010.lftp

=== IFR-L4-SSTfnd-ODYSSEA-MED_002 (private)===

longname : Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-MED_002
dirname : /nfs/store/satellite/medspiration/data/l4/med/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/medspiration/data/l4/med/odyssea

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-MED_002/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-MED_002 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-MED_002.lftp

=== EUR-L2P-AVHRR_METOP_A (private)===

longname: Sea Surface Temperature from METOP AVHRR
product_id : EUR-L2P-AVHRR_METOP_A
dirname : /nfs/store/satellite/avhrr_metop_a/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/osi-saf/data/sst/l2p/avhrr_metop_a/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/EUR-L2P-AVHRR_METOP_A/

=== AVISO_DT_REF_MADT_MERGED_UV (private)===

longname : Absolute Geostrophic Velocities - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_UV/

=== AVISO_DT_REF_MADT_MERGED_H (private)===

longname : Absolute Dynamic Topography - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_H/

=== AVISO_NRT_MADT_MERGED_UV (private)===

longname : Absolute Geostrophic Velocities - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_UV/

=== AVISO_NRT_MADT_MERGED_H (private)===

longname : Absolute Dynamic Topography - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_H/

=== AQUARIUS_L3_SSS_SMI_7DAY (private)===

longname : The Aquarius Level 3 V1.2 evaluation dataset is now available at the PO.DAAC. Level 3 derived parameters include both sea surface salinity and wind speed at one degree grid resolution and at daily, 7 day, monthly and seasonal time scales.
product_id : AQUARIUS_L3_SSS_SMI_7DAY
dirname : /nfs/store/satellite/AQUARIUS_L3_SSS_SMI_7DAY

source(s):
* http://podaac.jpl.nasa.gov/SeaSurfaceSalinity/Aquarius
* ftp://saltmarsh.jpl.nasa.gov/L3/mapped/V1.3/7day/ (anonymous / igor.eko@gmail.com)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AQUARIUS_L3_SSS_SMI_7DAY/

crontab:
* lftp mirror AQUARIUS_L3_SSS_SMI_7DAY from NASA every week
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/AQUARIUS_L3_SSS_SMI_7DAY.lftp

=== MERCI_MER_RR_1P (private)===

longname : TBC
product_id : MER_RR_1P
dirname: /nfs1/store/satellite/merci_mer_rr_1p

source(s):
* http://merci-srv.eo.esa.int/merci/queryProducts.do (user=ICJ1f1, pass:mLLsQs)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/MERCI_MER_RR_1P/

crontab:
* download MER_RR__1P product from merci-srv.eo.esa.int every day with daily quota 25 GiB
* 0 0 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

== QSCAT_L2B12 (public)==

longname : QuikSCAT Level 2B Ocean Wind Vectors in 12.5km Swath Grid
product_id : QSCAT_L2B12
dirname : /nfs/store/satellite/quikscat/L2B12/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/quikscat/L2B12/
* ftp://podaac.jpl.nasa.gov/OceanWinds/quikscat/L2B12/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/QSCAT_L2B12/
* http://opendap.solab.rshu.ru:8080/opendap/allData/QSCAT_L2B12/

crontab (solab@naiad)
Only initial download! no cron!
/home/solab/lftp_scripts/QSCAT_L2B12.lftp

== JPL_OUROCEAN-L4UHfnd-GLOB-G1SST (public)==

longname : GHRSST Level 4 G1SST Global Foundation Sea Surface Temperature Analysis
product_id : JPL_OUROCEAN-L4UHfnd-GLOB-G1SST
dirname : /nfs/store/satellite/jpl_ourocean-l4uhfnd_glob_g1sst/

source(s) :
* ftp://podaac-ftp.jpl.nasa.gov/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL_OUROCEAN/G1SST/
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/

crontab (solab@naiad) :
* # lftp mirror JPL_OUROCEAN-L4UHfnd-GLOB-G1SST from PODAACC each day at 3pm for year 2012
* * 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST.lftp

== ERSST-V3B (public)==

longname : Extended Reconstructed Sea Surface Temperature (ERSST.v3b)
product_id : ERSST-V3B
dirname : /nfs/store/satellite/ersst/v3b/netcdf/

source(s) :
* ftp://ftp.ncdc.noaa.gov/pub/data/cmb/ersst/v3b/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ERSST-V3B/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ERSST-V3B/

crontab (solab@naiad) :
* lftp mirror ERSST-V3B from NCDC NOAA each tuesday at 0pm
* 0 0 * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/ERSST-V3B.lftp

== OISST-AVHRR-V2 (public)==

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR only
product_id : OISST-AVHRR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/2010/AVHRR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for OISST-AVHRR-AMSR-V2
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

== OISST-AVHRR-AMSR-V2 (public)==

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR+AMSR
product_id : OISST-AVHRR-AMSR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR-AMSR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/<year>/AVHRR-AMSR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-AMSR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-AMSR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for year 2012
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

== NCDC-SEAWINDS-OW-6hr (public)==

longname: NOAA/NCDC Blended 6-hourly 0.25-degree Sea Surface Winds
product_id : NCDC-SEAWINDS-OW-6hr
dirname : /nfs/store/satelitte/seawinds/SI/uv/6hrly/netcdf/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/seawinds/SI/uv/6hrly/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCDC-SEAWINDS-OW-6hr/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCDC-SEAWINDS-OW-6hr/

crontab (solab@naiad) :

# lftp mirror NCDC-SEAWINDS-OW-6hr from NCDC NOAA each day at 8am for year's 2000
0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/NCDC-SEAWINDS-OW-6hr.lftp

== SSMI (public)==

longname: Special Sensor Microwave/Imager NASA's MEaSUREs Program
product_id : SSMI
dirname : /nfs1/store/satellite/ssmi/

source(s) :
* ftp://ftp.ssmi.com/ssmi/
* ftp://ftp.remss.com/ssmi/
* http://www.remss.com/data/ssmi/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/SSMI/
* http://opendap.solab.rshu.ru:8080/opendap/allData/SSMI/

== ASI-AMSRE (public)==

longname: Sea-Ice concentration for Arctic & Antarctic
product_id : ASI-AMSRE
dirname : /nfs/store/satellite/asi_amsre_iceconc/

source(s) :
* ftp://ftp.icdc.zmaw.de/asi_amsre_iceconc/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASI-AMSRE/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASI-AMSRE/

== NCEP_GFS (public)==

longname: The NCEP Global Forecast System wind speed. GRIB files
product_id : NCEP_GFS
dirname : /nfs1/store/model/ncep/gfs/

source(s) :
* http://nomad1.ncep.noaa.gov/pub/gfs_master/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_GFS/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_GFS/

== NCEP_CFSR1HR (public)==

longname: The NCEP Climate Forecast System Reanalysis (CFSR) wind speed grb2 files
product_id : CFSR1HR
dirname : /nfs1/store/model/ncep/cfsr/

source(s) :
* ftp://nomads.ncdc.noaa.gov/CFSR/HP_time_series/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_CFSR1HR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_CFSR1HR/

== AVISO_NRT_MSWH_MERGED (public)==

longname : Significant Wave Height Map - Based on NRT merged data
product_id : AVISO_NRT_MSWH_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mswh/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mswh/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MSWH_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MSWH_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

== AVISO_NRT_MWIND_MERGED (public)==

longname : Wind Speed Map - Based on NRT merged data
product_id : AVISO_NRT_MWIND_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mwind/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mwind/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MWIND_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MWIND_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

== JPL-L4UHfnd-GLOB-MUR (public)==

longname : GHRSST Level 4 MUR Global Foundation Sea Surface Temperature Analysis
product_id : JPL-L4UHfnd-GLOB-MUR
dirname : /nfs/store/satellite/JPL-L4UHfnd-GLOB-MUR

source(s) :
* http://mur.jpl.nasa.gov
* http://podaac.jpl.nasa.gov/dataset/JPL-L4UHfnd-GLOB-MUR
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL/MUR

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL-L4UHfnd-GLOB-MUR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL-L4UHfnd-GLOB-MUR/

crontab (solab@naiad) :
* lftp mirror JPL-L4UHfnd-GLOB-MUR from NOAA every day
* 0 21 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL-L4UHfnd-GLOB-MUR.lftp

== OSTIA (public)==

longname : Operational Sea Surface Temperature and Sea Ice Analysis
product_id : OSTIA
dirname : /nfs/store/satellite/OSTIA

source(s):
* http://ghrsst-pp.metoffice.com/pages/latest_analysis/ostia.html
* http://data.nodc.noaa.gov/opendap/ghrsst/L4/GLOB/UKMO/contents.html
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/UKMO/OSTIA/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/OSTIA/
* ftp://ftp.solab.rshu.ru/data/allData/OSTIA

crontab:
* lftp mirror OSTIA from NOAA every day
* 0 22 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OSTIA.lftp

== AVHRR_Pathfinder-NODC-L3C-v5.2 (public)==

longname : 4 km AVHRR Pathfinder
product_id : AVHRR_Pathfinder-NODC-L3C-v5.2
dirname: /nfs/store/satellite/AVHRR_Pathfinder-NODC-L3C-v5.2

source(s):
* http://www.nodc.noaa.gov/SatelliteData/pathfinder4km/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/pathfinder/Version5.2/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/
* ftp://ftp.solab.rshu.ru/data/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/

crontab:
* lftp mirror PATHFINDER from NOAA from 1981 to 2010
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

==Private Products (9 products)==

== IFR-L4-SSTfnd-ODYSSEA-GLOB_010 (private)==

longname : Global Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-GLOB_010
dirname : /nfs/store/satellite/myocean/sst-tac/l4/glob/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/myocean/sst-tac/l4/glob/odyssea/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-GLOB_010/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-GLOB_010 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-GLOB_010.lftp

== IFR-L4-SSTfnd-ODYSSEA-MED_002 (private)==

longname : Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-MED_002
dirname : /nfs/store/satellite/medspiration/data/l4/med/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/medspiration/data/l4/med/odyssea

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-MED_002/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-MED_002 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-MED_002.lftp

== EUR-L2P-AVHRR_METOP_A (private)==

longname: Sea Surface Temperature from METOP AVHRR
product_id : EUR-L2P-AVHRR_METOP_A
dirname : /nfs/store/satellite/avhrr_metop_a/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/osi-saf/data/sst/l2p/avhrr_metop_a/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/EUR-L2P-AVHRR_METOP_A/

== AVISO_DT_REF_MADT_MERGED_UV (private)==

longname : Absolute Geostrophic Velocities - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_UV/

== AVISO_DT_REF_MADT_MERGED_H (private)==

longname : Absolute Dynamic Topography - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_H/

== AVISO_NRT_MADT_MERGED_UV (private)==

longname : Absolute Geostrophic Velocities - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_UV/

== AVISO_NRT_MADT_MERGED_H (private)==

longname : Absolute Dynamic Topography - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_H/

== AQUARIUS_L3_SSS_SMI_7DAY (private)==

longname : The Aquarius Level 3 V1.2 evaluation dataset is now available at the PO.DAAC. Level 3 derived parameters include both sea surface salinity and wind speed at one degree grid resolution and at daily, 7 day, monthly and seasonal time scales.
product_id : AQUARIUS_L3_SSS_SMI_7DAY
dirname : /nfs/store/satellite/AQUARIUS_L3_SSS_SMI_7DAY

source(s):
* http://podaac.jpl.nasa.gov/SeaSurfaceSalinity/Aquarius
* ftp://saltmarsh.jpl.nasa.gov/L3/mapped/V1.3/7day/ (anonymous / igor.eko@gmail.com)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AQUARIUS_L3_SSS_SMI_7DAY/

crontab:
* lftp mirror AQUARIUS_L3_SSS_SMI_7DAY from NASA every week
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/AQUARIUS_L3_SSS_SMI_7DAY.lftp

== MERCI_MER_RR_1P (private)==

longname : TBC
product_id : MER_RR_1P
dirname: /nfs1/store/satellite/merci_mer_rr_1p

source(s):
* http://merci-srv.eo.esa.int/merci/queryProducts.do (user=ICJ1f1, pass:mLLsQs)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/MERCI_MER_RR_1P/

crontab:
* download MER_RR__1P product from merci-srv.eo.esa.int every day with daily quota 25 GiB
* 0 0 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

solab:Products

Old2 ilya — Fri, 21 Dec 2012 14:06:34 GMT

Old2 ilya: /* Public Products (17 products) */

== Public Products (17 products) ==

=== ASCAT-L2-12km (public) ===

longname : MetOp-A ASCAT Level 2 12.5 km Ocean Surface Wind Vector Product
product_id : ASCAT-L2-12km
dirname : /nfs/store/satellite/ascat/preview/L2/12km/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ascat/preview/L2/12km/
* ftp://podaac-ftp.jpl.nasa.gov/allData/ascat/preview/L2/12km/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASCAT-L2-12km/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASCAT-L2-12km/

crontab (solab@naiad)
* lftp mirror ASCAT-L2-12km from PODAAC each 2 hours for year 2012
* 0 */2 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/ASCAT-L2-12km.lftp

===ASCAT-L2-Coastal (public)===

longname : MetOp-A ASCAT Level 2 Coastal Ocean Surface Wind Vector Product
product_id : ASCAT-L2-Coastal
dirname : /nfs/store/satellite/ascat/preview/L2/coastal_opt/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ascat/preview/L2/coastal_opt/
* ftp://podaac-ftp.jpl.nasa.gov/allData/ascat/preview/L2/coastal_opt/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASCAT-L2-Coastal/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASCAT-L2-Coastal/

crontab (solab@naiad)
* lftp mirror ASCAT-L2-Coastal from PODAAC each 2 hours for year 2012
* 0 */2 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/ASCAT-L2-Coastal.lftp

=== QSCAT_L2B12 (public)===

longname : QuikSCAT Level 2B Ocean Wind Vectors in 12.5km Swath Grid
product_id : QSCAT_L2B12
dirname : /nfs/store/satellite/quikscat/L2B12/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/quikscat/L2B12/
* ftp://podaac.jpl.nasa.gov/OceanWinds/quikscat/L2B12/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/QSCAT_L2B12/
* http://opendap.solab.rshu.ru:8080/opendap/allData/QSCAT_L2B12/

crontab (solab@naiad)
Only initial download! no cron!
/home/solab/lftp_scripts/QSCAT_L2B12.lftp

=== JPL_OUROCEAN-L4UHfnd-GLOB-G1SST (public)===

longname : GHRSST Level 4 G1SST Global Foundation Sea Surface Temperature Analysis
product_id : JPL_OUROCEAN-L4UHfnd-GLOB-G1SST
dirname : /nfs/store/satellite/jpl_ourocean-l4uhfnd_glob_g1sst/

source(s) :
* ftp://podaac-ftp.jpl.nasa.gov/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL_OUROCEAN/G1SST/
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/

crontab (solab@naiad) :
* # lftp mirror JPL_OUROCEAN-L4UHfnd-GLOB-G1SST from PODAACC each day at 3pm for year 2012
* * 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST.lftp

=== ERSST-V3B (public)===

longname : Extended Reconstructed Sea Surface Temperature (ERSST.v3b)
product_id : ERSST-V3B
dirname : /nfs/store/satellite/ersst/v3b/netcdf/

source(s) :
* ftp://ftp.ncdc.noaa.gov/pub/data/cmb/ersst/v3b/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ERSST-V3B/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ERSST-V3B/

crontab (solab@naiad) :
* lftp mirror ERSST-V3B from NCDC NOAA each tuesday at 0pm
* 0 0 * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/ERSST-V3B.lftp

=== OISST-AVHRR-V2 (public)===

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR only
product_id : OISST-AVHRR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/2010/AVHRR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for OISST-AVHRR-AMSR-V2
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

=== OISST-AVHRR-AMSR-V2 (public)===

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR+AMSR
product_id : OISST-AVHRR-AMSR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR-AMSR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/<year>/AVHRR-AMSR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-AMSR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-AMSR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for year 2012
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

=== NCDC-SEAWINDS-OW-6hr (public)===

longname: NOAA/NCDC Blended 6-hourly 0.25-degree Sea Surface Winds
product_id : NCDC-SEAWINDS-OW-6hr
dirname : /nfs/store/satelitte/seawinds/SI/uv/6hrly/netcdf/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/seawinds/SI/uv/6hrly/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCDC-SEAWINDS-OW-6hr/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCDC-SEAWINDS-OW-6hr/

crontab (solab@naiad) :

# lftp mirror NCDC-SEAWINDS-OW-6hr from NCDC NOAA each day at 8am for year's 2000
0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/NCDC-SEAWINDS-OW-6hr.lftp

=== SSMI (public)===

longname: Special Sensor Microwave/Imager NASA's MEaSUREs Program
product_id : SSMI
dirname : /nfs1/store/satellite/ssmi/

source(s) :
* ftp://ftp.ssmi.com/ssmi/
* ftp://ftp.remss.com/ssmi/
* http://www.remss.com/data/ssmi/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/SSMI/
* http://opendap.solab.rshu.ru:8080/opendap/allData/SSMI/

== ASI-AMSRE (public)==

longname: Sea-Ice concentration for Arctic & Antarctic
product_id : ASI-AMSRE
dirname : /nfs/store/satellite/asi_amsre_iceconc/

source(s) :
* ftp://ftp.icdc.zmaw.de/asi_amsre_iceconc/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASI-AMSRE/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASI-AMSRE/

== NCEP_GFS (public)==

longname: The NCEP Global Forecast System wind speed. GRIB files
product_id : NCEP_GFS
dirname : /nfs1/store/model/ncep/gfs/

source(s) :
* http://nomad1.ncep.noaa.gov/pub/gfs_master/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_GFS/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_GFS/

=== NCEP_CFSR1HR (public)===

longname: The NCEP Climate Forecast System Reanalysis (CFSR) wind speed grb2 files
product_id : CFSR1HR
dirname : /nfs1/store/model/ncep/cfsr/

source(s) :
* ftp://nomads.ncdc.noaa.gov/CFSR/HP_time_series/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_CFSR1HR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_CFSR1HR/

=== AVISO_NRT_MSWH_MERGED (public)===

longname : Significant Wave Height Map - Based on NRT merged data
product_id : AVISO_NRT_MSWH_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mswh/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mswh/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MSWH_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MSWH_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

=== AVISO_NRT_MWIND_MERGED (public)===

longname : Wind Speed Map - Based on NRT merged data
product_id : AVISO_NRT_MWIND_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mwind/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mwind/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MWIND_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MWIND_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

=== JPL-L4UHfnd-GLOB-MUR (public)===

longname : GHRSST Level 4 MUR Global Foundation Sea Surface Temperature Analysis
product_id : JPL-L4UHfnd-GLOB-MUR
dirname : /nfs/store/satellite/JPL-L4UHfnd-GLOB-MUR

source(s) :
* http://mur.jpl.nasa.gov
* http://podaac.jpl.nasa.gov/dataset/JPL-L4UHfnd-GLOB-MUR
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL/MUR

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL-L4UHfnd-GLOB-MUR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL-L4UHfnd-GLOB-MUR/

crontab (solab@naiad) :
* lftp mirror JPL-L4UHfnd-GLOB-MUR from NOAA every day
* 0 21 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL-L4UHfnd-GLOB-MUR.lftp

=== OSTIA (public)===

longname : Operational Sea Surface Temperature and Sea Ice Analysis
product_id : OSTIA
dirname : /nfs/store/satellite/OSTIA

source(s):
* http://ghrsst-pp.metoffice.com/pages/latest_analysis/ostia.html
* http://data.nodc.noaa.gov/opendap/ghrsst/L4/GLOB/UKMO/contents.html
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/UKMO/OSTIA/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/OSTIA/
* ftp://ftp.solab.rshu.ru/data/allData/OSTIA

crontab:
* lftp mirror OSTIA from NOAA every day
* 0 22 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OSTIA.lftp

=== AVHRR_Pathfinder-NODC-L3C-v5.2 (public)===

longname : 4 km AVHRR Pathfinder
product_id : AVHRR_Pathfinder-NODC-L3C-v5.2
dirname: /nfs/store/satellite/AVHRR_Pathfinder-NODC-L3C-v5.2

source(s):
* http://www.nodc.noaa.gov/SatelliteData/pathfinder4km/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/pathfinder/Version5.2/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/
* ftp://ftp.solab.rshu.ru/data/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/

crontab:
* lftp mirror PATHFINDER from NOAA from 1981 to 2010
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

== Private Products (9 products) ==

=== IFR-L4-SSTfnd-ODYSSEA-GLOB_010 (private)===

longname : Global Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-GLOB_010
dirname : /nfs/store/satellite/myocean/sst-tac/l4/glob/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/myocean/sst-tac/l4/glob/odyssea/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-GLOB_010/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-GLOB_010 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-GLOB_010.lftp

=== IFR-L4-SSTfnd-ODYSSEA-MED_002 (private)===

longname : Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-MED_002
dirname : /nfs/store/satellite/medspiration/data/l4/med/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/medspiration/data/l4/med/odyssea

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-MED_002/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-MED_002 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-MED_002.lftp

=== EUR-L2P-AVHRR_METOP_A (private)===

longname: Sea Surface Temperature from METOP AVHRR
product_id : EUR-L2P-AVHRR_METOP_A
dirname : /nfs/store/satellite/avhrr_metop_a/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/osi-saf/data/sst/l2p/avhrr_metop_a/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/EUR-L2P-AVHRR_METOP_A/

=== AVISO_DT_REF_MADT_MERGED_UV (private)===

longname : Absolute Geostrophic Velocities - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_UV/

=== AVISO_DT_REF_MADT_MERGED_H (private)===

longname : Absolute Dynamic Topography - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_H/

=== AVISO_NRT_MADT_MERGED_UV (private)===

longname : Absolute Geostrophic Velocities - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_UV/

=== AVISO_NRT_MADT_MERGED_H (private)===

longname : Absolute Dynamic Topography - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_H/

=== AQUARIUS_L3_SSS_SMI_7DAY (private)===

longname : The Aquarius Level 3 V1.2 evaluation dataset is now available at the PO.DAAC. Level 3 derived parameters include both sea surface salinity and wind speed at one degree grid resolution and at daily, 7 day, monthly and seasonal time scales.
product_id : AQUARIUS_L3_SSS_SMI_7DAY
dirname : /nfs/store/satellite/AQUARIUS_L3_SSS_SMI_7DAY

source(s):
* http://podaac.jpl.nasa.gov/SeaSurfaceSalinity/Aquarius
* ftp://saltmarsh.jpl.nasa.gov/L3/mapped/V1.3/7day/ (anonymous / igor.eko@gmail.com)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AQUARIUS_L3_SSS_SMI_7DAY/

crontab:
* lftp mirror AQUARIUS_L3_SSS_SMI_7DAY from NASA every week
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/AQUARIUS_L3_SSS_SMI_7DAY.lftp

=== MERCI_MER_RR_1P (private)===

longname : TBC
product_id : MER_RR_1P
dirname: /nfs1/store/satellite/merci_mer_rr_1p

source(s):
* http://merci-srv.eo.esa.int/merci/queryProducts.do (user=ICJ1f1, pass:mLLsQs)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/MERCI_MER_RR_1P/

crontab:
* download MER_RR__1P product from merci-srv.eo.esa.int every day with daily quota 25 GiB
* 0 0 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

== QSCAT_L2B12 (public)==

longname : QuikSCAT Level 2B Ocean Wind Vectors in 12.5km Swath Grid
product_id : QSCAT_L2B12
dirname : /nfs/store/satellite/quikscat/L2B12/<year>/<day>/

source(s) :
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/quikscat/L2B12/
* ftp://podaac.jpl.nasa.gov/OceanWinds/quikscat/L2B12/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/QSCAT_L2B12/
* http://opendap.solab.rshu.ru:8080/opendap/allData/QSCAT_L2B12/

crontab (solab@naiad)
Only initial download! no cron!
/home/solab/lftp_scripts/QSCAT_L2B12.lftp

== JPL_OUROCEAN-L4UHfnd-GLOB-G1SST (public)==

longname : GHRSST Level 4 G1SST Global Foundation Sea Surface Temperature Analysis
product_id : JPL_OUROCEAN-L4UHfnd-GLOB-G1SST
dirname : /nfs/store/satellite/jpl_ourocean-l4uhfnd_glob_g1sst/

source(s) :
* ftp://podaac-ftp.jpl.nasa.gov/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL_OUROCEAN/G1SST/
* http://podaac-opendap.jpl.nasa.gov/opendap/allData/ghrsst/data/L4/GLOB/JPL_OUROCEAN/G1SST/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST/

crontab (solab@naiad) :
* # lftp mirror JPL_OUROCEAN-L4UHfnd-GLOB-G1SST from PODAACC each day at 3pm for year 2012
* * 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL_OUROCEAN-L4UHfnd-GLOB-G1SST.lftp

== ERSST-V3B (public)==

longname : Extended Reconstructed Sea Surface Temperature (ERSST.v3b)
product_id : ERSST-V3B
dirname : /nfs/store/satellite/ersst/v3b/netcdf/

source(s) :
* ftp://ftp.ncdc.noaa.gov/pub/data/cmb/ersst/v3b/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ERSST-V3B/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ERSST-V3B/

crontab (solab@naiad) :
* lftp mirror ERSST-V3B from NCDC NOAA each tuesday at 0pm
* 0 0 * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/ERSST-V3B.lftp

== OISST-AVHRR-V2 (public)==

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR only
product_id : OISST-AVHRR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/2010/AVHRR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for OISST-AVHRR-AMSR-V2
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

== OISST-AVHRR-AMSR-V2 (public)==

longname : NOAA Optimum Interpolation 1/4 Degree Daily Sea Surface Temperature Analysis AVHRR+AMSR
product_id : OISST-AVHRR-AMSR-V2
dirname : /nfs/store/satellite/oisst/NetCDF/<year>/AVHRR-AMSR/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/oisst/NetCDF/<year>/AVHRR-AMSR/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/OISST-AVHRR-AMSR-V2/
* http://opendap.solab.rshu.ru:8080/opendap/allData/OISST-AVHRR-AMSR-V2/

crontab (solab@naiad) :
* lftp mirror OISST-AVHRR-AMSR-V2 from NCDC NOAA each day at 3pm for year 2012
* 0 15 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OISST-AVHRR-AMSR-V2.lftp

== NCDC-SEAWINDS-OW-6hr (public)==

longname: NOAA/NCDC Blended 6-hourly 0.25-degree Sea Surface Winds
product_id : NCDC-SEAWINDS-OW-6hr
dirname : /nfs/store/satelitte/seawinds/SI/uv/6hrly/netcdf/

source(s) :
* ftp://eclipse.ncdc.noaa.gov/pub/seawinds/SI/uv/6hrly/netcdf/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCDC-SEAWINDS-OW-6hr/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCDC-SEAWINDS-OW-6hr/

crontab (solab@naiad) :

# lftp mirror NCDC-SEAWINDS-OW-6hr from NCDC NOAA each day at 8am for year's 2000
0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/NCDC-SEAWINDS-OW-6hr.lftp

== SSMI (public)==

longname: Special Sensor Microwave/Imager NASA's MEaSUREs Program
product_id : SSMI
dirname : /nfs1/store/satellite/ssmi/

source(s) :
* ftp://ftp.ssmi.com/ssmi/
* ftp://ftp.remss.com/ssmi/
* http://www.remss.com/data/ssmi/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/SSMI/
* http://opendap.solab.rshu.ru:8080/opendap/allData/SSMI/

== ASI-AMSRE (public)==

longname: Sea-Ice concentration for Arctic & Antarctic
product_id : ASI-AMSRE
dirname : /nfs/store/satellite/asi_amsre_iceconc/

source(s) :
* ftp://ftp.icdc.zmaw.de/asi_amsre_iceconc/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/ASI-AMSRE/
* http://opendap.solab.rshu.ru:8080/opendap/allData/ASI-AMSRE/

== NCEP_GFS (public)==

longname: The NCEP Global Forecast System wind speed. GRIB files
product_id : NCEP_GFS
dirname : /nfs1/store/model/ncep/gfs/

source(s) :
* http://nomad1.ncep.noaa.gov/pub/gfs_master/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_GFS/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_GFS/

== NCEP_CFSR1HR (public)==

longname: The NCEP Climate Forecast System Reanalysis (CFSR) wind speed grb2 files
product_id : CFSR1HR
dirname : /nfs1/store/model/ncep/cfsr/

source(s) :
* ftp://nomads.ncdc.noaa.gov/CFSR/HP_time_series/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/NCEP_CFSR1HR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/NCEP_CFSR1HR/

== AVISO_NRT_MSWH_MERGED (public)==

longname : Significant Wave Height Map - Based on NRT merged data
product_id : AVISO_NRT_MSWH_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mswh/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mswh/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MSWH_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MSWH_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

== AVISO_NRT_MWIND_MERGED (public)==

longname : Wind Speed Map - Based on NRT merged data
product_id : AVISO_NRT_MWIND_MERGED
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/mwind/merged/

source(s) :
* ftp://ftp.aviso.oceanobs.com/pub/oceano/AVISO/wind-wave/nrt/mwind/merged/

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/AVISO_NRT_MWIND_MERGED/
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVISO_NRT_MWIND_MERGED/

crontab (solab@naiad) :
# lftp mirror AVISO from AVISO each 6 hours
0 */6 * * * ./home/solab/lftp_scripts/AVISO_WindWave.sh

P.S. User Manual: M( SLA ) and M( ADT ) Near-Real Time and Delayed-Time attached in pdf

== JPL-L4UHfnd-GLOB-MUR (public)==

longname : GHRSST Level 4 MUR Global Foundation Sea Surface Temperature Analysis
product_id : JPL-L4UHfnd-GLOB-MUR
dirname : /nfs/store/satellite/JPL-L4UHfnd-GLOB-MUR

source(s) :
* http://mur.jpl.nasa.gov
* http://podaac.jpl.nasa.gov/dataset/JPL-L4UHfnd-GLOB-MUR
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/JPL/MUR

solab source(s) :
* ftp://ftp.solab.rshu.ru/data/allData/JPL-L4UHfnd-GLOB-MUR/
* http://opendap.solab.rshu.ru:8080/opendap/allData/JPL-L4UHfnd-GLOB-MUR/

crontab (solab@naiad) :
* lftp mirror JPL-L4UHfnd-GLOB-MUR from NOAA every day
* 0 21 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/JPL-L4UHfnd-GLOB-MUR.lftp

== OSTIA (public)==

longname : Operational Sea Surface Temperature and Sea Ice Analysis
product_id : OSTIA
dirname : /nfs/store/satellite/OSTIA

source(s):
* http://ghrsst-pp.metoffice.com/pages/latest_analysis/ostia.html
* http://data.nodc.noaa.gov/opendap/ghrsst/L4/GLOB/UKMO/contents.html
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/ghrsst/L4/GLOB/UKMO/OSTIA/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/OSTIA/
* ftp://ftp.solab.rshu.ru/data/allData/OSTIA

crontab:
* lftp mirror OSTIA from NOAA every day
* 0 22 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/OSTIA.lftp

== AVHRR_Pathfinder-NODC-L3C-v5.2 (public)==

longname : 4 km AVHRR Pathfinder
product_id : AVHRR_Pathfinder-NODC-L3C-v5.2
dirname: /nfs/store/satellite/AVHRR_Pathfinder-NODC-L3C-v5.2

source(s):
* http://www.nodc.noaa.gov/SatelliteData/pathfinder4km/
* ftp://ftp.nodc.noaa.gov/pub/data.nodc/pathfinder/Version5.2/

solab source(s):
* http://opendap.solab.rshu.ru:8080/opendap/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/
* ftp://ftp.solab.rshu.ru/data/allData/AVHRR_Pathfinder-NODC-L3C-v5.2/

crontab:
* lftp mirror PATHFINDER from NOAA from 1981 to 2010
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

==Private Products (9 products)==

== IFR-L4-SSTfnd-ODYSSEA-GLOB_010 (private)==

longname : Global Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-GLOB_010
dirname : /nfs/store/satellite/myocean/sst-tac/l4/glob/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/myocean/sst-tac/l4/glob/odyssea/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-GLOB_010/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-GLOB_010 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-GLOB_010.lftp

== IFR-L4-SSTfnd-ODYSSEA-MED_002 (private)==

longname : Odyssea Sea Surface Temperature Analysis
product_id : IFR-L4-SSTfnd-ODYSSEA-MED_002
dirname : /nfs/store/satellite/medspiration/data/l4/med/odyssea/<year>/<day>/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/medspiration/data/l4/med/odyssea

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/data/allData/IFR-L4-SSTfnd-ODYSSEA-MED_002/

crontab (solab@naiad) :
* lftp mirror IFR-L4-SSTfnd-ODYSSEA-MED_002 from CERSAT IFREMER each day at 8am for year 2012
* 0 8 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/IFR-L4-SSTfnd-ODYSSEA-MED_002.lftp

== EUR-L2P-AVHRR_METOP_A (private)==

longname: Sea Surface Temperature from METOP AVHRR
product_id : EUR-L2P-AVHRR_METOP_A
dirname : /nfs/store/satellite/avhrr_metop_a/

source(s) :
* ftp://eftp.ifremer.fr/cersat-rt/project/osi-saf/data/sst/l2p/avhrr_metop_a/

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/EUR-L2P-AVHRR_METOP_A/

== AVISO_DT_REF_MADT_MERGED_UV (private)==

longname : Absolute Geostrophic Velocities - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_UV/

== AVISO_DT_REF_MADT_MERGED_H (private)==

longname : Absolute Dynamic Topography - delayed time product
product_id : AVISO_DT_REF_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/dt/ref/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_DT_REF_MADT_MERGED_H/

== AVISO_NRT_MADT_MERGED_UV (private)==

longname : Absolute Geostrophic Velocities - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_UV
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/uv

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_UV/

== AVISO_NRT_MADT_MERGED_H (private)==

longname : Absolute Dynamic Topography - Based on NRT data
product_id : AVISO_NRT_MADT_MERGED_H
dirname : /nfs/store/satellite/aviso/wind-wave/nrt/madt/merged/h

source(s) :
* http://www.aviso.oceanobs.com/en/data/products/sea-surface-height-products/global/adt.html

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AVISO_NRT_MADT_MERGED_H/

== AQUARIUS_L3_SSS_SMI_7DAY (private)==

longname : The Aquarius Level 3 V1.2 evaluation dataset is now available at the PO.DAAC. Level 3 derived parameters include both sea surface salinity and wind speed at one degree grid resolution and at daily, 7 day, monthly and seasonal time scales.
product_id : AQUARIUS_L3_SSS_SMI_7DAY
dirname : /nfs/store/satellite/AQUARIUS_L3_SSS_SMI_7DAY

source(s):
* http://podaac.jpl.nasa.gov/SeaSurfaceSalinity/Aquarius
* ftp://saltmarsh.jpl.nasa.gov/L3/mapped/V1.3/7day/ (anonymous / igor.eko@gmail.com)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/AQUARIUS_L3_SSS_SMI_7DAY/

crontab:
* lftp mirror AQUARIUS_L3_SSS_SMI_7DAY from NASA every week
* * * * * 2 /usr/bin/lftp -f /home/solab/lftp_scripts/AQUARIUS_L3_SSS_SMI_7DAY.lftp

== MERCI_MER_RR_1P (private)==

longname : TBC
product_id : MER_RR_1P
dirname: /nfs1/store/satellite/merci_mer_rr_1p

source(s):
* http://merci-srv.eo.esa.int/merci/queryProducts.do (user=ICJ1f1, pass:mLLsQs)

solab source(s) : solab@ftp password needed !
* ftp://ftp.solab.rshu.ru/allData/MERCI_MER_RR_1P/

crontab:
* download MER_RR__1P product from merci-srv.eo.esa.int every day with daily quota 25 GiB
* 0 0 * * * /usr/bin/lftp -f /home/solab/lftp_scripts/PATHFINDER.lftp

solab:Products

Old2 ilya — Fri, 21 Dec 2012 14:05:44 GMT

Old2 ilya: /* AVHRR_Pathfinder-NODC-L3C-v5.2 (public) */