- User contributions [en]

Установка и развёртывание проекта posada на ubuntu 12.04.LTS

Daniel — Fri, 11 Oct 2013 15:28:59 GMT

Daniel:

<pre>
sudo apt-get install sqlite
sudo easy_install virtualenv
cd /var/www
hg clone https://daniel-bavrin@bitbucket.org/bolkhovsky/posada posada
cd posada
virtualenv /var/www/posada
source /var/www/posada/bin/activate
pip install django==1.5.2 django-suit south django-debug-toolbar gunicorn git+https://github.com/toastdriven/django-tastypie celery django-celery django-kombu flower
mkdir staticfiles
mkdir ./logs
mkdir ./pids
mkdir ./db
mkdir ./static_content
mkdir ./static_content/media
python manage.py collectstatic

sudo nano /etc/nginx/sites-available/posada.conf
upstream posada.solab.rshu.ru {
server localhost:12345 fail_timeout=0;
}

server {
listen 80;
server_name www.posada.solab.rshu.ru;
rewrite ^/(.*) http://posada.solab.rshu.ru/$1 permanent;
}

server {
listen 80;
client_max_body_size 4G;
server_name posada.solab.rshu.ru;
access_log /var/www/posada/logs/posada.access.log;
error_log /var/www/posada/logs/posada.error.log;
keepalive_timeout 5;

root /var/www/posada/static_content;

location / {
location ~ ^/pydap/(?!\.static.*).*$ {
rewrite ^/pydap(/.*)$ $1 break;
proxy_pass http://127.0.0.1:3031$1;
include proxy_params;
}
location /pydap/.static/ {
autoindex on;
alias /var/www/pydap/server/data/.static/;
}
location /.static/ {
autoindex on;
alias /var/www/pydap/server/data/.static/;
}
proxy_pass http://posada.solab.rshu.ru$request_uri;

}

error_page 500 502 503 504 /500.html;
location = /500.html {
root /var/www/posada/static_content/static/html;
}

location ~ ^/(static|media)/ {
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_redirect off;
if (!-f $request_filename) {
proxy_pass http://posada.solab.rshu.ru;
break;
}
}

sudo ln -s /etc/nginx/sites-available/posada.conf /etc/nginx/sites-enabled/
sudo service nginx restart

sudo nano /etc/supervisor/conf.d/posada.conf
[program:posada]
command=/var/www/posada/bin/python /var/www/posada/manage.py run_gunicorn --bind=localhost:12345 --workers=3 --pid=/var/www/posada/pids/gunicorn.pid --log-file /var/www/posada/logs/gunicorn.log
/var/www/posada/logs/gunicorn.log
directory=/var/www/posada/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user

sudo nano /etc/supervisor/conf.d/celery.conf
[program:celery]
command=/var/www/posada/bin/python /var/www/posada/manage.py celeryd -B
directory=/var/www/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user

sudo nano /etc/supervisor/conf.d/flower.conf
[program:flower]
command=/var/www/posada/bin/python /var/www/posada/manage.py celery flower
process_name=%(program_name)s
numprocs=1
numprocs_start=0
autostart=false
autorestart=true
startsecs=1
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
redirect_stderr=false
stdout_logfile=AUTO
stdout_logfile_maxbytes=50MB
stdout_logfile_backups=10
stdout_capture_maxbytes=0
stdout_events_enabled=false
stderr_logfile=AUTO
stderr_logfile_maxbytes=50MB
stderr_logfile_backups=10
stderr_capture_maxbytes=0
stderr_events_enabled=false
directory=/var/www/posada/
serverurl=AUTO

sudo supervisorctl reread
sudo supervisorctl update

python manage.py syncdb
python manage.py migrate

wget http://www.rabbitmq.com/rabbitmq-signing-key-public.asc
sudo apt-key add rabbitmq-signing-key-public.asc
sudo apt-get update
sudo apt-get upgrade rabbitmq-server
sudo rabbitmqctl add_vhost /
sudo rabbitmqctl add_user posada posada_password
sudo rabbitmqctl set_permissions -p posada / ".*" ".*" ".*"
sudo rabbitmq-server restart
sudo supervisorctl restart celery

python manage.py createsuperuser
>>solab
>>bavrin@rshu.ru
>>s0l4b1sg00d
</pre>

Установка и развёртывание проекта posada на ubuntu 12.04.LTS

Daniel — Fri, 11 Oct 2013 15:28:28 GMT

Daniel: Created page with "sudo apt-get install sqlite sudo easy_install virtualenv cd /var/www hg clone https://daniel-bavrin@bitbucket.org/bolkhovsky/posada posada cd posada virtualenv /var/www/posada so…"

sudo apt-get install sqlite
sudo easy_install virtualenv
cd /var/www
hg clone https://daniel-bavrin@bitbucket.org/bolkhovsky/posada posada
cd posada
virtualenv /var/www/posada
source /var/www/posada/bin/activate
pip install django==1.5.2 django-suit south django-debug-toolbar gunicorn git+https://github.com/toastdriven/django-tastypie celery django-celery django-kombu flower
mkdir staticfiles
mkdir ./logs
mkdir ./pids
mkdir ./db
mkdir ./static_content
mkdir ./static_content/media
python manage.py collectstatic

sudo nano /etc/nginx/sites-available/posada.conf
upstream posada.solab.rshu.ru {
server localhost:12345 fail_timeout=0;
}

server {
listen 80;
server_name www.posada.solab.rshu.ru;
rewrite ^/(.*) http://posada.solab.rshu.ru/$1 permanent;
}

server {
listen 80;
client_max_body_size 4G;
server_name posada.solab.rshu.ru;
access_log /var/www/posada/logs/posada.access.log;
error_log /var/www/posada/logs/posada.error.log;
keepalive_timeout 5;

root /var/www/posada/static_content;

location / {
location ~ ^/pydap/(?!\.static.*).*$ {
rewrite ^/pydap(/.*)$ $1 break;
proxy_pass http://127.0.0.1:3031$1;
include proxy_params;
}
location /pydap/.static/ {
autoindex on;
alias /var/www/pydap/server/data/.static/;
}
location /.static/ {
autoindex on;
alias /var/www/pydap/server/data/.static/;
}
proxy_pass http://posada.solab.rshu.ru$request_uri;

}

error_page 500 502 503 504 /500.html;
location = /500.html {
root /var/www/posada/static_content/static/html;
}

location ~ ^/(static|media)/ {
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host $http_host;
proxy_redirect off;
if (!-f $request_filename) {
proxy_pass http://posada.solab.rshu.ru;
break;
}
}

sudo ln -s /etc/nginx/sites-available/posada.conf /etc/nginx/sites-enabled/
sudo service nginx restart

sudo nano /etc/supervisor/conf.d/posada.conf
[program:posada]
command=/var/www/posada/bin/python /var/www/posada/manage.py run_gunicorn --bind=localhost:12345 --workers=3 --pid=/var/www/posada/pids/gunicorn.pid --log-file /var/www/posada/logs/gunicorn.log
/var/www/posada/logs/gunicorn.log
directory=/var/www/posada/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user

sudo nano /etc/supervisor/conf.d/celery.conf
[program:celery]
command=/var/www/posada/bin/python /var/www/posada/manage.py celeryd -B
directory=/var/www/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user

sudo nano /etc/supervisor/conf.d/flower.conf
[program:flower]
command=/var/www/posada/bin/python /var/www/posada/manage.py celery flower
process_name=%(program_name)s
numprocs=1
numprocs_start=0
autostart=false
autorestart=true
startsecs=1
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
redirect_stderr=false
stdout_logfile=AUTO
stdout_logfile_maxbytes=50MB
stdout_logfile_backups=10
stdout_capture_maxbytes=0
stdout_events_enabled=false
stderr_logfile=AUTO
stderr_logfile_maxbytes=50MB
stderr_logfile_backups=10
stderr_capture_maxbytes=0
stderr_events_enabled=false
directory=/var/www/posada/
serverurl=AUTO

sudo supervisorctl reread
sudo supervisorctl update

python manage.py syncdb
python manage.py migrate

wget http://www.rabbitmq.com/rabbitmq-signing-key-public.asc
sudo apt-key add rabbitmq-signing-key-public.asc
sudo apt-get update
sudo apt-get upgrade rabbitmq-server
sudo rabbitmqctl add_vhost /
sudo rabbitmqctl add_user posada posada_password
sudo rabbitmqctl set_permissions -p posada / ".*" ".*" ".*"
sudo rabbitmq-server restart
sudo supervisorctl restart celery

python manage.py createsuperuser
>>solab
>>bavrin@rshu.ru
>>s0l4b1sg00d

Template:Doc

Daniel — Fri, 11 Oct 2013 15:26:43 GMT

Daniel: Created page with "<includeonly>{{doc/begin|{{SUBJECTSPACE}}:{{PAGENAME:{{{1|{{SUBJECTPAGENAME}}/doc}}}}}|editsection={{{editsection|}}}}} {{#ifexist:{{{1|{{SUBJECTPAGENAME}}/doc}}}|{{{{{1|{{SUBJEC…"

<includeonly>{{doc/begin|{{SUBJECTSPACE}}:{{PAGENAME:{{{1|{{SUBJECTPAGENAME}}/doc}}}}}|editsection={{{editsection|}}}}}
{{#ifexist:{{{1|{{SUBJECTPAGENAME}}/doc}}}|{{{{{1|{{SUBJECTPAGENAME}}/doc}}}}}|{{#ifexist:{{SUBJECTSPACE}}:{{{1}}}|{{{{{1}}}}}|{{Документировать|{{{1|{{SUBJECTPAGENAME}}/doc}}}}}}}}}
{{doc/end}}</includeonly><noinclude>
{{doc}}

</noinclude>

Template:Другое значение

Daniel — Fri, 11 Oct 2013 15:26:18 GMT

Daniel: Created page with "<div class="dablink{{#if:{{{extraclasses|}}}|<nowiki> </nowiki>{{{extraclasses}}}}}">{{{1}}}</div><noinclude> {{doc}} </noinclude>"

<div class="dablink{{#if:{{{extraclasses|}}}|<nowiki> </nowiki>{{{extraclasses}}}}}">{{{1}}}</div><noinclude>
{{doc}}
</noinclude>

Template:Main

Daniel — Fri, 11 Oct 2013 15:25:26 GMT

Daniel: Created page with "{{другое значение|extraclasses=noprint|{{#if:{{{2|}}}|Основные статьи|Основная статья}}: '''{{{1}}}}}}'''{{#if…"

{{другое значение|extraclasses=noprint|{{#if:{{{2|}}}|Основные статьи|Основная статья}}: '''[[{{{1}}}|{{{l1|{{{1}}}}}}]]'''{{#if:{{{2|}}}|, '''[[{{{2}}}|{{{l2|{{{2}}}}}}]]'''}}{{#if:{{{3|}}}|, '''[[{{{3}}}|{{{l3|{{{3}}}}}}]]'''}}{{#if:{{{4|}}}|, '''[[{{{4}}}|{{{l4|{{{4}}}}}}]]'''}}{{#if:{{{5|}}}|, '''[[{{{5}}}|{{{l5|{{{5}}}}}}]]'''}}{{#if:{{{6|}}}|<span class="error"> (слишком много параметров для {{tl|main}})</span>}}
}}<noinclude>
{{doc}}
</noinclude>

solab:Общее описание

Daniel — Fri, 11 Oct 2013 15:24:27 GMT

Daniel: /* Установка */

= Общее описание =
'''POSADA''' — '''P'''yth'''O'''n '''SA'''tellite '''D'''ata '''A'''pi processing

На данный момент проект POSADA предназначен для генерации квиклуков в будущем планируется полностью заменить NAIAD и реализовать экстракцию данных.

== Архитектура ==
POSADA является веб приложением написанным на веб-фреймворке [https://www.djangoproject.com/ Django].

Для реализации очереди задач используется [http://www.celeryproject.org/ Celery] c [http://www.rabbitmq.com/ RabbitMQ] в качестве брокера.

Для реализации API с REST интерфейсом используется [http://django-tastypie.readthedocs.org/en/latest/ django-tastypie]

[[File:posada_architecture.png]]

Основным приложение в POSADA является "Core". В нем реализованы 3 модели ''Products'', ''Projections'' и ''Request''.
С моделями можно ознакомиться в [https://bitbucket.org/nonamenix/posada/src/ репозитории].

== Workflow ==
=== Добавление задачи ===

Пользователь посредством админки или API создает новую задачу. С методами API можно ознакомиться с его же помощью [http://posada.solab.rshu.ru/api/v1/?format=json http://posada.solab.rshu.ru/api/v1/?format=json]

<pre>
var data = JSON.stringify({
"opendap_link":" http://opendap.solab.rshu.ru:8080/opendap/allData/SOLAB_AMSRE_L2_NN
/2002/07/SOLAB_AMSRE_L2_NN_20020701_000435_20020701_005434_174_A_v1.nc.html",
"product_name": "SOLAB_AMSRE_L2_NN",
"projection_name": "epsg_4326",
"ql_height": 1024, "ql_width": 1024, "ql_format": "png"

});

$.ajax({
url: 'http://localhost:8000/api/v1/request/',
type: 'POST',
contentType: 'application/json',
data: data,
dataType: 'json',
processData: false,
success: function(data) {console.log(data)}
})
</pre>

Далее при сохранении для текущей задачи создается асинхронный celery-task, который попадает в очередь выполнения задач.

=== Мониторинг ===

Посмотреть можно в админке в разделе '''djcelery / tasks''' или '''flower''', который доступен по порту 5555 ([http://posada.solab.rshu.ru:5555 flower]).

=== Callback ===

Если задача выполнена (успешно или с ошибкой), то срабатывает вызов адреса прописанного в соответствующем поле модели ''Request''.

== Установка ==
{{main|Установка и развёртывание проекта posada на ubuntu 12.04.LTS}}

Настройка Django + nginx: [http://habrahabr.ru/post/159575/ http://habrahabr.ru/post/159575/]

Репозиторий: [https://bolkhovsky@bitbucket.org/bolkhovsky/posada https://bolkhovsky@bitbucket.org/bolkhovsky/posada ]

Об установке связки Django + Celery + django-celery + RabbitMQ: [http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html]

Асинхронные задания в Django c помощью Celery: http://habrahabr.ru/post/123902/

=== Запуск ===

rabbitmq-plugins enable rabbitmq_management

sudo rabbitmq-server

python manage.py celeryd -E -l INFO -v 1 -f logs/celeryd.log

celery flower --broker=amqp://posada:posada@localhost:5672//

python manage.py run_gunicorn --bind=localhost:12345 --workers=3 --pid=pids/gunicorn.pid --log-file logs/gunicorn.log

=== Конфигурационные файлы supervisorctl: ===
чтобы нужные процессы запускались в фоне

/etc/supervisor/conf.d/celery.conf:
<pre>
[program:celery]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py celeryd -B
directory=/home/user/Projects/posada/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
</pre>

/etc/supervisor/conf.d/posada.conf:
<pre>
[program:posada]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py run_gunicorn --bind=localhost:12345 --workers=3 --pid=/home/user/Projects/posada/pids/gunicorn.pid --log-file /home/user/Projects/posada/logs/gunicorn.log
directory=/home/user/Projects/posada/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
</pre>

/etc/supervisor/conf.d/flower.conf:
<pre>
[program:flower]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py celery flower
process_name=%(program_name)s
numprocs=1
numprocs_start=0
autostart=false
autorestart=true
startsecs=1
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
redirect_stderr=false
stdout_logfile=AUTO
stdout_logfile_maxbytes=50MB
stdout_logfile_backups=10
stdout_capture_maxbytes=0
stdout_events_enabled=false
stderr_logfile=AUTO
stderr_logfile_maxbytes=50MB
stderr_logfile_backups=10
stderr_capture_maxbytes=0
stderr_events_enabled=false
directory=/home/user/Projects/posada/posada/
serverurl=AUTO
</pre>

запускать и останавливать сервисы по отдельности можно так:
<pre>
sudo supervisorctl start celery

sudo supervisorctl stop celery
</pre>

при изменении конфиг-файла запускаем:
<pre>
sudo supervisorctl reread
sudo supervisorctl update
sudo supervisorctl start <имя сервиса>

</pre>

solab:Установка и настройка pydap-сервера

Daniel — Wed, 09 Oct 2013 13:45:08 GMT

Daniel:

<pre>
mkdir /home/user/Projects/pydap/
virtualenv /home/user/Projects/pydap/
source /home/user/Projects/pydap/bin/activate
pip install numpy
sudo apt-get install libhdf5-serial-dev
sudo apt-get install libnetcdf-dev
pip install netcdf4==1.0.4 (last version does not work on ubuntu 12.04 LTS)
pip install gunicorn==0.15.0 (last version does not work correctly with .dds requests)
pip install pydap pydap.handlers.netcdf

wget https://pypi.python.org/packages/source/p/pydap.handlers.compress/pydap.handlers.compress-0.1.1.tar.gz
tar -xvzf pydap.handlers.compress-0.1.1.tar.gz
cd pydap.handlers.compress-0.1.1
pip install paver
paver bdist_egg
cd dist
easy_install pydap.handlers.compress-0.1.1-py2.7.egg

sudo apt-get build-dep matplotlib
pip install pydap.responses.wms

cd /home/user/Projects/pydap/
paster create -t pydap server
nano server/server.ini
[server:main]
use = egg:Paste#http
# Change to 0.0.0.0 to make public
host = 127.0.0.1
port = 8001

[app:main]
use = egg:pydap#server
root = /nfs/hyrax-cluster/data
templates = %(here)s/templates
x-wsgiorg.throw_errors = 0

sudo nano /etc/supervisor/conf.d/pydap.conf
[program:pydap]
#-w is number of workers for gunicorn, set it to ((num of CPUS)*2)+1
command=/home/user/Projects/pydap/bin/gunicorn_paster -b 127.0.0.1:3031 -w 17 /home/user/Projects/pydap/server/server.ini
directory=/home/user/Projects/pydap/server
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user

sudo supervisorctl reread
sudo supervisorctl update
sudo supervisorctl start pydap

/etc/nginx/sites-available/pydap.conf
.....
location / {
location ~ ^/pydap/(?!\.static.*).*$ {
rewrite ^/pydap(/.*)$ $1 break;
proxy_pass http://127.0.0.1:3031$1;
include proxy_params;
}
location /pydap/.static/ {
autoindex on;
alias /home/user/Projects/pydap/server/data/.static/;
}
location /.static/ {
autoindex on;
alias /home/user/Projects/pydap/server/data/.static/;
}
proxy_pass http://geo.solab.rshu.ru$request_uri;
}
.....
sudo service nginx restart
</pre>

solab:Установка и настройка pydap-сервера

Daniel — Wed, 09 Oct 2013 13:33:34 GMT

Daniel: Created page with "<pre> mkdir /home/user/Projects/pydap/ virtualenv /home/user/Projects/pydap/ source /home/user/Projects/pydap/bin/activate pip install numpy sudo apt-get install libhdf5-serial-d…"

<pre>
mkdir /home/user/Projects/pydap/
virtualenv /home/user/Projects/pydap/
source /home/user/Projects/pydap/bin/activate
pip install numpy
sudo apt-get install libhdf5-serial-dev
sudo apt-get install libnetcdf-dev
pip install netcdf4==1.0.4 (last version does not work on ubuntu 12.04 LTS)
pip install gunicorn==0.15.0 (last version does not work correctly with .dds requests)
pip install pydap pydap.handlers.netcdf

wget https://pypi.python.org/packages/source/p/pydap.handlers.compress/pydap.handlers.compress-0.1.1.tar.gz
tar -xvzf pydap.handlers.compress-0.1.1.tar.gz
cd pydap.handlers.compress-0.1.1
pip install paver
paver bdist_egg
cd dist
easy_install pydap.handlers.compress-0.1.1-py2.7.egg

sudo apt-get build-dep matplotlib
pip install pydap.responses.wms

cd /home/user/Projects/pydap/
paster create -t pydap server
nano server/server.ini
[server:main]
use = egg:Paste#http
# Change to 0.0.0.0 to make public
host = 127.0.0.1
port = 8001

[app:main]
use = egg:pydap#server
root = /nfs/hyrax-cluster/data
templates = %(here)s/templates
x-wsgiorg.throw_errors = 0

sudo nano /etc/supervisor/conf.d/pydap.conf
[program:pydap]
command=/home/user/Projects/pydap/bin/gunicorn_paster -b 127.0.0.1:3031 -w 17 /home/user/Projects/pydap/server/server.ini
directory=/home/user/Projects/pydap/server
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user

sudo supervisorctl reread
sudo supervisorctl update
sudo supervisorctl start pydap

/etc/nginx/sites-available/pydap.conf
.....
location / {
location ~ ^/pydap/(?!\.static.*).*$ {
rewrite ^/pydap(/.*)$ $1 break;
proxy_pass http://127.0.0.1:3031$1;
include proxy_params;
}
location /pydap/.static/ {
autoindex on;
alias /home/user/Projects/pydap/server/data/.static/;
}
location /.static/ {
autoindex on;
alias /home/user/Projects/pydap/server/data/.static/;
}
proxy_pass http://geo.solab.rshu.ru$request_uri;
}
.....
sudo service nginx restart
</pre>

solab:Mainpage

Daniel — Mon, 07 Oct 2013 14:39:05 GMT

Daniel: /* POSADA */

== Общее ==
[[solab:products|Products technical information]]

[[solab:NewProduct|How to add a new product]]

[[solab:infrastructure|SOLab Servers Infrastructure]]

== Satin ==
[[satin:general|Общее описание проекта SATIN]]

[[satin:technical|Технические заметки по SATIN]]

== Naiad ==

[[naiad:cluster_architecture|Naiad cluster architecture]]

[[naiad:plugins|Plugins development (ru)]]

[[naiad:request_parameters|Request Parameters]]

[[naiad:add_a_product|Add a product]]

[[naiad:opendap_handler|OPeNDAP handler development]]

[[naiad:repository|Git repository]]

[[naiad:palette|Palette change]]

== POSADA ==
[[solab:Общее описание|Общее описание и архитектура]]

== pydap сервер ==
[[solab:установка и настройка pydap-сервера]]

== Заметки о сети ==
[[Принтеры]]

== Developer's guide ==
[[solab:Git usage|Git usage]]

== Scientific part ==

== Обработка данных ==
[[CDO| CDO (Climate Data Operators)]]

== Производство продуктов ==
[[SOLab product specification]]

[[NetCDF format specification]]

solab:Общее описание

Daniel — Mon, 07 Oct 2013 10:18:13 GMT

Daniel: /* Конфигурационные файлы supervisorctl: */

= Общее описание =
'''POSADA''' — '''P'''yth'''O'''n '''SA'''tellite '''D'''ata '''A'''pi processing

На данный момент проект POSADA предназначен для генерации квиклуков в будущем планируется полностью заменить NAIAD и реализовать экстракцию данных.

== Архитектура ==
POSADA является веб приложением написанным на веб-фреймворке [https://www.djangoproject.com/ Django].

Для реализации очереди задач используется [http://www.celeryproject.org/ Celery] c [http://www.rabbitmq.com/ RabbitMQ] в качестве брокера.

Для реализации API с REST интерфейсом используется [http://django-tastypie.readthedocs.org/en/latest/ django-tastypie]

[[File:posada_architecture.png]]

Основным приложение в POSADA является "Core". В нем реализованы 3 модели ''Products'', ''Projections'' и ''Request''.
С моделями можно ознакомиться в [https://bitbucket.org/nonamenix/posada/src/ репозитории].

== Workflow ==
=== Добавление задачи ===

Пользователь посредством админки или API создает новую задачу. С методами API можно ознакомиться с его же помощью [http://posada.solab.rshu.ru/api/v1/?format=json http://posada.solab.rshu.ru/api/v1/?format=json]

<pre>
var data = JSON.stringify({
"opendap_link":" http://opendap.solab.rshu.ru:8080/opendap/allData/SOLAB_AMSRE_L2_NN
/2002/07/SOLAB_AMSRE_L2_NN_20020701_000435_20020701_005434_174_A_v1.nc.html",
"product_name": "SOLAB_AMSRE_L2_NN",
"projection_name": "epsg_4326",
"ql_height": 1024, "ql_width": 1024, "ql_format": "png"

});

$.ajax({
url: 'http://localhost:8000/api/v1/request/',
type: 'POST',
contentType: 'application/json',
data: data,
dataType: 'json',
processData: false,
success: function(data) {console.log(data)}
})
</pre>

Далее при сохранении для текущей задачи создается асинхронный celery-task, который попадает в очередь выполнения задач.

=== Мониторинг ===

Посмотреть можно в админке в разделе '''djcelery / tasks''' или '''flower''', который доступен по порту 5555 ([http://posada.solab.rshu.ru:5555 flower]).

=== Callback ===

Если задача выполнена (успешно или с ошибкой), то срабатывает вызов адреса прописанного в соответствующем поле модели ''Request''.

== Установка ==
Настройка Django + nginx: [http://habrahabr.ru/post/159575/ http://habrahabr.ru/post/159575/]

Репозиторий: [https://bolkhovsky@bitbucket.org/bolkhovsky/posada https://bolkhovsky@bitbucket.org/bolkhovsky/posada ]

Об установке связки Django + Celery + django-celery + RabbitMQ: [http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html]

Асинхронные задания в Django c помощью Celery: http://habrahabr.ru/post/123902/

=== Запуск ===

rabbitmq-plugins enable rabbitmq_management

sudo rabbitmq-server

python manage.py celeryd -E -l INFO -v 1 -f logs/celeryd.log

celery flower --broker=amqp://posada:posada@localhost:5672//

python manage.py run_gunicorn --bind=localhost:12345 --workers=3 --pid=pids/gunicorn.pid --log-file logs/gunicorn.log

=== Конфигурационные файлы supervisorctl: ===
чтобы нужные процессы запускались в фоне

/etc/supervisor/conf.d/celery.conf:
<pre>
[program:celery]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py celeryd -B
directory=/home/user/Projects/posada/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
</pre>

/etc/supervisor/conf.d/posada.conf:
<pre>
[program:posada]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py run_gunicorn --bind=localhost:12345 --workers=3 --pid=/home/user/Projects/posada/pids/gunicorn.pid --log-file /home/user/Projects/posada/logs/gunicorn.log
directory=/home/user/Projects/posada/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
</pre>

/etc/supervisor/conf.d/flower.conf:
<pre>
[program:flower]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py celery flower
process_name=%(program_name)s
numprocs=1
numprocs_start=0
autostart=false
autorestart=true
startsecs=1
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
redirect_stderr=false
stdout_logfile=AUTO
stdout_logfile_maxbytes=50MB
stdout_logfile_backups=10
stdout_capture_maxbytes=0
stdout_events_enabled=false
stderr_logfile=AUTO
stderr_logfile_maxbytes=50MB
stderr_logfile_backups=10
stderr_capture_maxbytes=0
stderr_events_enabled=false
directory=/home/user/Projects/posada/posada/
serverurl=AUTO
</pre>

запускать и останавливать сервисы по отдельности можно так:
<pre>
sudo supervisorctl start celery

sudo supervisorctl stop celery
</pre>

при изменении конфиг-файла запускаем:
<pre>
sudo supervisorctl reread
sudo supervisorctl update
sudo supervisorctl start <имя сервиса>

</pre>

solab:Общее описание

Daniel — Mon, 07 Oct 2013 10:07:57 GMT

Daniel: /* Конфигурационные файлы supervisorctl: */

= Общее описание =
'''POSADA''' — '''P'''yth'''O'''n '''SA'''tellite '''D'''ata '''A'''pi processing

На данный момент проект POSADA предназначен для генерации квиклуков в будущем планируется полностью заменить NAIAD и реализовать экстракцию данных.

== Архитектура ==
POSADA является веб приложением написанным на веб-фреймворке [https://www.djangoproject.com/ Django].

Для реализации очереди задач используется [http://www.celeryproject.org/ Celery] c [http://www.rabbitmq.com/ RabbitMQ] в качестве брокера.

Для реализации API с REST интерфейсом используется [http://django-tastypie.readthedocs.org/en/latest/ django-tastypie]

[[File:posada_architecture.png]]

Основным приложение в POSADA является "Core". В нем реализованы 3 модели ''Products'', ''Projections'' и ''Request''.
С моделями можно ознакомиться в [https://bitbucket.org/nonamenix/posada/src/ репозитории].

== Workflow ==
=== Добавление задачи ===

Пользователь посредством админки или API создает новую задачу. С методами API можно ознакомиться с его же помощью [http://posada.solab.rshu.ru/api/v1/?format=json http://posada.solab.rshu.ru/api/v1/?format=json]

<pre>
var data = JSON.stringify({
"opendap_link":" http://opendap.solab.rshu.ru:8080/opendap/allData/SOLAB_AMSRE_L2_NN
/2002/07/SOLAB_AMSRE_L2_NN_20020701_000435_20020701_005434_174_A_v1.nc.html",
"product_name": "SOLAB_AMSRE_L2_NN",
"projection_name": "epsg_4326",
"ql_height": 1024, "ql_width": 1024, "ql_format": "png"

});

$.ajax({
url: 'http://localhost:8000/api/v1/request/',
type: 'POST',
contentType: 'application/json',
data: data,
dataType: 'json',
processData: false,
success: function(data) {console.log(data)}
})
</pre>

Далее при сохранении для текущей задачи создается асинхронный celery-task, который попадает в очередь выполнения задач.

=== Мониторинг ===

Посмотреть можно в админке в разделе '''djcelery / tasks''' или '''flower''', который доступен по порту 5555 ([http://posada.solab.rshu.ru:5555 flower]).

=== Callback ===

Если задача выполнена (успешно или с ошибкой), то срабатывает вызов адреса прописанного в соответствующем поле модели ''Request''.

== Установка ==
Настройка Django + nginx: [http://habrahabr.ru/post/159575/ http://habrahabr.ru/post/159575/]

Репозиторий: [https://bolkhovsky@bitbucket.org/bolkhovsky/posada https://bolkhovsky@bitbucket.org/bolkhovsky/posada ]

Об установке связки Django + Celery + django-celery + RabbitMQ: [http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html]

Асинхронные задания в Django c помощью Celery: http://habrahabr.ru/post/123902/

=== Запуск ===

rabbitmq-plugins enable rabbitmq_management

sudo rabbitmq-server

python manage.py celeryd -E -l INFO -v 1 -f logs/celeryd.log

celery flower --broker=amqp://posada:posada@localhost:5672//

python manage.py run_gunicorn --bind=localhost:12345 --workers=3 --pid=pids/gunicorn.pid --log-file logs/gunicorn.log

=== Конфигурационные файлы supervisorctl: ===
чтобы нужные процессы запускались в фоне

/etc/supervisor/conf.d/celery.conf:
<pre>
[program:celery]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py celeryd -B
directory=/home/user/Projects/posada/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
</pre>

/etc/supervisor/conf.d/posada.conf:
<pre>
[program:posada]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py run_gunicorn --bind=localhost:12345 --workers=3 --pid=/home/user/Projects/posada/pids/gunicorn.pid --log-file /home/user/Projects/posada/logs/$
directory=/home/user/Projects/posada/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
</pre>

/etc/supervisor/conf.d/flower.conf:
<pre>
[program:flower]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py celery flower
process_name=%(program_name)s
numprocs=1
numprocs_start=0
autostart=false
autorestart=true
startsecs=1
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
redirect_stderr=false
stdout_logfile=AUTO
stdout_logfile_maxbytes=50MB
stdout_logfile_backups=10
stdout_capture_maxbytes=0
stdout_events_enabled=false
stderr_logfile=AUTO
stderr_logfile_maxbytes=50MB
stderr_logfile_backups=10
stderr_capture_maxbytes=0
stderr_events_enabled=false
directory=/home/user/Projects/posada/posada/
serverurl=AUTO
</pre>

запускать и останавливать сервисы по отдельности можно так:
<pre>
sudo supervisorctl start celery

sudo supervisorctl stop celery
</pre>

при изменении конфиг-файла запускаем:
<pre>
sudo supervisorctl reread
sudo supervisorctl update
sudo supervisorctl start <имя сервиса>

</pre>

solab:Общее описание

Daniel — Mon, 07 Oct 2013 10:05:52 GMT

Daniel: /* Запуск */

= Общее описание =
'''POSADA''' — '''P'''yth'''O'''n '''SA'''tellite '''D'''ata '''A'''pi processing

На данный момент проект POSADA предназначен для генерации квиклуков в будущем планируется полностью заменить NAIAD и реализовать экстракцию данных.

== Архитектура ==
POSADA является веб приложением написанным на веб-фреймворке [https://www.djangoproject.com/ Django].

Для реализации очереди задач используется [http://www.celeryproject.org/ Celery] c [http://www.rabbitmq.com/ RabbitMQ] в качестве брокера.

Для реализации API с REST интерфейсом используется [http://django-tastypie.readthedocs.org/en/latest/ django-tastypie]

[[File:posada_architecture.png]]

Основным приложение в POSADA является "Core". В нем реализованы 3 модели ''Products'', ''Projections'' и ''Request''.
С моделями можно ознакомиться в [https://bitbucket.org/nonamenix/posada/src/ репозитории].

== Workflow ==
=== Добавление задачи ===

Пользователь посредством админки или API создает новую задачу. С методами API можно ознакомиться с его же помощью [http://posada.solab.rshu.ru/api/v1/?format=json http://posada.solab.rshu.ru/api/v1/?format=json]

<pre>
var data = JSON.stringify({
"opendap_link":" http://opendap.solab.rshu.ru:8080/opendap/allData/SOLAB_AMSRE_L2_NN
/2002/07/SOLAB_AMSRE_L2_NN_20020701_000435_20020701_005434_174_A_v1.nc.html",
"product_name": "SOLAB_AMSRE_L2_NN",
"projection_name": "epsg_4326",
"ql_height": 1024, "ql_width": 1024, "ql_format": "png"

});

$.ajax({
url: 'http://localhost:8000/api/v1/request/',
type: 'POST',
contentType: 'application/json',
data: data,
dataType: 'json',
processData: false,
success: function(data) {console.log(data)}
})
</pre>

Далее при сохранении для текущей задачи создается асинхронный celery-task, который попадает в очередь выполнения задач.

=== Мониторинг ===

Посмотреть можно в админке в разделе '''djcelery / tasks''' или '''flower''', который доступен по порту 5555 ([http://posada.solab.rshu.ru:5555 flower]).

=== Callback ===

Если задача выполнена (успешно или с ошибкой), то срабатывает вызов адреса прописанного в соответствующем поле модели ''Request''.

== Установка ==
Настройка Django + nginx: [http://habrahabr.ru/post/159575/ http://habrahabr.ru/post/159575/]

Репозиторий: [https://bolkhovsky@bitbucket.org/bolkhovsky/posada https://bolkhovsky@bitbucket.org/bolkhovsky/posada ]

Об установке связки Django + Celery + django-celery + RabbitMQ: [http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html]

Асинхронные задания в Django c помощью Celery: http://habrahabr.ru/post/123902/

=== Запуск ===

rabbitmq-plugins enable rabbitmq_management

sudo rabbitmq-server

python manage.py celeryd -E -l INFO -v 1 -f logs/celeryd.log

celery flower --broker=amqp://posada:posada@localhost:5672//

python manage.py run_gunicorn --bind=localhost:12345 --workers=3 --pid=pids/gunicorn.pid --log-file logs/gunicorn.log

=== Конфигурационные файлы supervisorctl: ===
чтобы нужные процессы запускались в фоне

/etc/supervisor/conf.d/celery.conf:
[program:celery]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py celeryd -B
directory=/home/user/Projects/posada/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user

/etc/supervisor/conf.d/posada.conf:
[program:posada]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py run_gunicorn --bind=localhost:12345 --workers=3 --pid=/home/user/Projects/posada/pids/gunicorn.pid --log-file /home/user/Projects/posada/logs/$
directory=/home/user/Projects/posada/posada
umask=022
autostart=true
autorestart=true
startsecs=10
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user

/etc/supervisor/conf.d/flower.conf:
[program:flower]
command=/home/user/Projects/posada/env/bin/python /home/user/Projects/posada/posada/manage.py celery flower
process_name=%(program_name)s
numprocs=1
numprocs_start=0
autostart=false
autorestart=true
startsecs=1
startretries=3
exitcodes=0,2
stopsignal=TERM
stopwaitsecs=10
user=user
redirect_stderr=false
stdout_logfile=AUTO
stdout_logfile_maxbytes=50MB
stdout_logfile_backups=10
stdout_capture_maxbytes=0
stdout_events_enabled=false
stderr_logfile=AUTO
stderr_logfile_maxbytes=50MB
stderr_logfile_backups=10
stderr_capture_maxbytes=0
stderr_events_enabled=false
directory=/home/user/Projects/posada/posada/
serverurl=AUTO

запускать и останавливать сервисы по отдельности можно так:
sudo supervisorctl start celery
sudo supervisorctl stop celery

при изменении конфиг-файла запускаем:
sudo supervisorctl reread
sudo supervisorctl update
sudo supervisorctl start <имя сервиса>