Panoply: быстрый просмотр файлов netcdf

Обнаружил очень интересный, понятный и удобный инструмент для быстрого просмотра файлов в формате netcdf на Windows ОС.

Называется он Panoply и сделало его NASA. Это GUI, написанная на JAVA, которая позволяет быстро просматривать данные в формате grib, netcdf, hdf в виде карт и разрезов. Всё очень удобно и понятно. Настроить визуальное решение можно самому, а затем сохранить картинку в формате png.

Если нужно быстро сделать картинку по сеточным данным из ре-анализа или расчётам модели - смело используйте!

Установка: на сайте всё подробно написано. Так как это Java приложение, то нужно установить себе JAVA. Если у вас 64-х разрядная ОС, как у меня, то нужно установить версию java для x64.

Вот такая картинка получилась из данных GPCP (ре-анализ осадков) у меня за 30 секунд. Плохое качество? Но ведь это сделано за 30 секунд!

Мой любимое программное обеспечение. My favourite software

Недавно переустанавливал ноутбук и скачивал необходимое мне программное обеспечение. Почти всё оно, за исключением одной позиции, является СПО или shareware. Оформил я это как ipython notebook My soft, а загрузил с помощью GitHub Windows (ссылка в списке). Теперь всё необходимое в одном месте.

Python & MS Visual Studio

Пару недель назад на Хабре сообщили, что вышел патч, позволяющий осуществлять разработку кода, в том числе и для веб-контента, на языке python под MS Visual Studio. Собственно вот ссылка: Python & MS Visual Studio
Сам я никогда не работал с python под MSVS. С фортрано случалось, а вот с Python - нет. Может кому-то это будет полезно и интересно.

Python for Windows 3. Питон для виндоуз 3. Anaconda python

Продолжаем обзор пакетов для научных работ с Python, представленных на python.org. 
Мы рассмотрели уже Winpython и Python(x,y). В целом они очень похожи - предустановленные spyder, ipython notebook и scipy/numpy/matplotlib. Но есть один недостаток - пакеты в них сложно обновить. Точнее, я даже не знаю возможно ли это. То есть приходится работать с тем, что есть.
Вот в апреле 2014 вышел IPython версии 2.0, а в последней сборке, что  Winpython, что Python(x,y) - всего лишь 1.2.0-4.
В этом посте я советовал использовать WinPython. А в этом советовал Python(x,y). Для более продвинутых пользователей сегодня я советую использовать Anaconda python.

Python for Windows 2. Питон для виндоуз 2. Python(x,y)

Многие в науке работают под Windows. Это нормально. Работать под Linux, на мой взгляд, удел либо молодых, которым не лень осваивать новое и неизведанное, либо для пожилых, которые имеют закалку ещё под Unix. В любом случае, работа с *nix-подобными системами требует определенного уровня работы с ОС, это не "уверенный пользователь ПК". Ну и требуется знание английского, конечно.
Для не объемных и не вычислительных задач MS Excel успешно заменяет все языки программирования. Много-много диссертаций было написано и успешно защищено с помощью MS Word и MS Excel. Но кому-то очень нужны ЯП! А отказываться от MS Word очень не хочется. Да и неудобно это, что говорить, если де-факто формат *.doc стал в нашей стране официальным форматом любой отчётности. Поэтому раз гора не идёт к Магомеду, то пусть ЯП в виде python придёт на Windows.

Python for windows. Питон для виндоуз. Winpython

Цель: Разобраться в азах языка программирования Питона
Методы: WinPython, python, numpy, scipy, matplotlib, basemap
Задачи:
1) Установить на windows Питон;
2) разобраться в основных модулях Питона, которые необходимы для построения "научного конвейера";
3) "Научный конвейер". На примере реанализа NCEP/NCAR разобрать полный цикл обработки гидрометеорологических и океанологических данных: от чтения netcdf файла до рисования карты, пригодной для презентации/публикации.

Хочу предложить читателям моего блога взглянуть на язык программирования Питон/Python. Недавно я начал активно использовать его для решения своих научных задач (построение карт различных метеорологических параметров по данным различных реанализов в формате netcdf). Python позволяет легко читать netcdf формат, что для пользователей windows очень актуально. Ncdump, конечно, хорош, но требует всё равно постобработки. К тому же большие файлы  (а таких в научных задачах большинство) он "жуёт" плохо. Установить же библиотеку netcdf на windows, как я понимаю, задача достойная эпитета "эпическая".
А вот Питон/Python работает с netcdf легко и непринуждённо! К тому же сейчас для Питона написаны и свободно распространяются модули, которые позволяют создавать графику, в том числе и географические карты, очень высокого класса. Таким образом, с помощью Питона можно создать конвейер полного цикла по производству научной продукции (чтение данных, обработка и преобразование данных, анализ данных, графическое представление результатов).
Конечно, у Питона есть и недостатки. Но о них мы поговорим как-нибудь потом. А теперь перейдём к решению поставленных задач.

Fortran и Windows 8. Compaq Visual Fortran и Windows 7. Windows x64 и fortran

Задача: Поставить компилятор fortran-а на компьютер/ноутбук с операционной системой Windows 8 

Методы решения: Geany, CVF 6.1 и выше

Дорогие пользователи Compaq Visual Fortran версии 6.1 и выше!

Только что поставил CVF6.1 на ноутбук ASUS S46CB с операционной системой Windows 8. Работает правда из под оболочки Geany версии 1.23 (можно ниже), а не родной оболочки CVF.

Итак, инструкция по установке компилятора CVF и Geany на Windows 8.

GrADS и Windows. Продвинутое рисование или как сделать 2D из 4D?

Цель: Освоить новые возможности GrADS для анализа гидрометеорологической информации

Средства: GrADS

Рассмотрим GRIB-файл "model.grb". Пусть в нём содержатся данные о нескольких гидрометеорологических параметрах на нескольких вертикальных уровнях за период в несколько дней на сетке, охватывающей весь земной шар, т.е. поработаем с каким-нибудь реанализом или модельной продукцией =). Требуется получить вертикальный разрез вдоль 90 градуса восточной долготы зональной компоненты скорости ветра u. Ну и представить это в приличном для публикации виде.

GrADS и Windows. Читаем и рисуем файлы netcdf

Цель: Есть файл в формате netCDF. Хочется получить карту какой-либо гидрометеорологической величины за какой-нибудь временной срез в Windows 7 ОС.
Средства: GrADS

Сейчас многие метеорологические и не только данные лежат в сети Internet в формате netcdf. Это удобно - единый формат компактного хранения данных, для общения с которым существует множество программ. Причём не только под Linux ОС, но и Windows ОС. Одной из таких программ является GrADS.

"Обёртка" Питона для Фотрана или F2PY using Windows

Цель: Научиться превращать написанные на Фортране подпрограммы в питоновские модули
Средства: Python, Numpy, MinGw

У Николая Колдунова есть прекрасный пост о модуле для питона (python) F2PY: F2PY – ускоряем вычисления в Питоне в 500 раз . Там очень хорошо изложено как соединить функционал языка программирования Питона и наработки (в виде подпрограмм и функций) в Фортране.
Однако Колдунов описывает процесс установки и работы f2py под Linux ОС. Я же хочу поделиться опытом использования f2py (очень базовый уровень) под Windows 7 ОС.

Итак, на сайте Scipy.org - F2PY_Windows есть инструкция на английском языке "F2py для Windows". Пройдём её вместе.

Fortran и ОС Windows 7

Задача: Поставить компилятор fortran-а на компьютер/ноутбук с операционной системой Windows7 (на 64 разрядную)
Методы решения: Geany, CVF, gfortran, MinGW

Для пользователей ОС Windows XP самой распространённой "программой с фортраном" является, наверное, Compaq Visual Fortran. Так бы и сидел научный брат за старым, но никем не отменным сине-зелёным фортаном, но повальный переход на новые 64 разрядные ОС (в т.ч. и Windows7) привёл к неизбежным переменам. Несмотря на то, что у CVF есть версия для 64 разрядных ОС, конкретно под Windows7 полноценно CVF отказывается работать.
Перед пользователем встаёт вопрос: как быть? Как вариант - можно снести Windows7 и поставить Windows XP, где CVF работает отлично. А можно перейти на какой-либо дистрибутив ОC Linux и программировать на свободном программном обеспечении (СПО, gfortran и g95). Правда для консервативного пользователя такое решение представляется слишком радикальным.
А ведь хочется как: работать под новенькой Windows7 и пользоваться всеми благами прежних программным пакетов. Преемником фирмы Compaq (последним продуктом CVF, кажется, стала версия 6.6) по поддержке и развитию фортрана стала фирма Microsoft с программным продуктом Microsoft Visual Studio (MSVS). Причём компилятор фортрана в него необходимо ставить отдельно, он не входит в дистрибутив по умолчанию. Для чистой совести также необходима лицензия MS.

Есть компромиссные варианты.

Вариант I: gfortran

Можно установить БЕСПЛАТНЫЙ и СВОБОДНО распространяемый компилятор gfortran под Windows7 и работать с ним через Geany.
Он с успехом справляется с подавляющим большинством научных задач, решаемых на фортране. И gfortran и Geany являются СПО, так что на них можно работать как под ОС Windows, так и под ОС Linux.

Вариант II: CVF через Geany

Есть один маленький фокус. Если установить на компьютер с Windows 7 или 8 Compaq Visual Fortran (CVF) и во время установки оставить все параметры по умолчанию, то можно будет "подцепить" компилятор CVF (df) через Geany или любой другой IDE (например, Notepad++).

NetCDF для Windows

Несколько полезных ссылок для работы с форматом netcdf под windows:

1. CF conventions and the netCDF file - http://badc.nerc.ac.uk/help/formats/netcdf/index_cf.html

2. CDL EXAMPLE - http://badc.nerc.ac.uk/help/formats/netcdf/nc_example.html

3. NCGEN - http://www.unidata.ucar.edu/software/netcdf/docs/ncgen-man-1.html

Про торрент

Проблема:  Переместил скаченные с торрентов файлы в другую папку для удобства. На всех торрентах появилась ошибка: отсутствуют файлы. Повторите хеширование.
 
Решение: Правой кнопкой кликаем на торент в списке -> "дополнительно" -> "загружать в" и указываем новое место куда мы до этого переместили файл. Затем в программе-качалке опять кликаем на торент в списке "повторить хеширование". После проверки "Запустить". Всё, готово! Раздача возобновилась! =)

Создание списка имён файлов в виде текстового файла

Задача: Нужно получить список названий файлов, содержащихся в некотором каталоге, и записать его в текстовый файл
Методы решения: использование командной строки или cmd


Пусть есть несколько файлов, где записаны некоторые данные. Для обработки в одной программе на фортране ВСЕХ файлов удобно создать список имён этих файлов. Это делается, чтобы вычитывать имена из этого списка и, подставляя названия в оператор OPEN, открывать/закрывать эти файлы в цикле. Но как получить список имён файлов в виде текстового файла?

Одним из вариантов решения этой проблемы является использование командной строки.

Командная строка вызывается обычно по пути:

ПУСК - Все программы - Стандартные - Командная строка

Можно запустить её по-другому:

Пуск - Выполнить - cmd

Полезно знать некоторые команды для ориентирования в командной строке:

ls  - вывод списка файлов и подкаталогов в указанном каталоге

dir - отображает полный путь текущего каталога

cd - вывод имени, либо смена текущего каталога

Пусть все файлы лежат в папке-каталоге, куда вызывается командная строка (C:\Users\Pavel\). Если файлы лежат в другом каталоге, к нему нужно прийти с помощью команды cd, задав либо полный путь (1), либо отображая текущие папки в каталоге командой dir и переходя к ним последовательно при помощи команды cd (2):

(1) cd C:\Users\Pavel\Downloads\Exp_data\

(2) dir

<список файлов и папок. Среди них есть папка Downloads>

cd Downloads

dir

<список файлов и папок. Среди них есть папка Exp_data>

cd Exp_data

* Если после набора хотя бы одного символа в командной строке нажать TAB, то она дополнит этот символ до имени файла или папки, которые есть в текущем каталоге. Повторное нажатие TAB поможет выбрать среди схожих названий (если они есть) нужное.

Собственно теперь само решение. Набираем команду:

dir /b > list.txt

В текущем каталоге будет создан файл с именем "list.txt", в котором будут содержаться имена всех файлов данного каталога + имя нового файла list.txt. Достаточно открыть файл, убрать новое имя и - вуаля - список файлов готов!