私たちはこれまでNASA Earth Exchange (NEX)チームとともに、研究者の皆様による地球科学データのアクセスと計算処理が、より容易に、効率的になるようにして参りました。そのゴールは、多くの重要なデータセットを専従の研究者、学生、そして民間の科学者といった、より広範な利用者からアクセス可能にすることです。 この重要なプロジェクトは、OpenNEXと呼ばれています。
今日に至るまでは、データがダイナミックに更新され、またサイズも巨大（数十テラバイト単位）であることから、研究者がこのデータにアクセスするのは、ロジスティクスの面で困難でした。ダウンロード帯域、ローカルストレージ、そしてオンプレミスの計算処理能力の限界が、インハウスでの計算処理を非現実的にしてきました。
本日、私たちは、Amazon Machine Images (AMI)やチュートリアルもあわせて、最初のデータセット群をご利用いただけるようにしました。NASAは、データセットについてと、AWS上でどのように計算処理するか学びたい方々のために、同時にバーチャル・ワークショップのシリーズを開催する計画です。
このデータセット群は、Amazon S3に保存され、s3://nasanexという名前で見つけることが出来ます。一つずつ見てみましょう。
Data for Climate Assessment
これまでNASA Earth Exchange Downscaled Climate Projectionsとして知られていました。このデータセットの内容は以下の通りです：
The NASA Earth Exchange (NEX) Downscaled Climate Projections (NEX-DCP30) データセットは、Coupled Model Intercomparison Project Phase 5 (CMIP5)で実行されたGeneral Circulation Model (GCM)と、Fifth Assessment Report of the Intergovernmental Panel on Climate Change (IPCC AR5)のために開発されたRepresentative Concentration Pathways (RCPs)として知られる四つの音質効果ガス排出シナリオから得られた、アメリカ合衆国本土のスケールを落とした気象シナリオから成ります。このデータセットには33個のモデルから得られた、スケールを落とした予測と、全てのモデルの個々のRCPについて計算された統計値が含まれます。これらのデータセットの目的は、微細なスケールでの気象勾配やローカルな地形が気象条件に与える効果に左右されやすいプロセスへの気象変化のインパクトを評価するのに利用できる、高細密で偏りを補正した気象変化の予測を提供することです。個々の気象予測は、1950年から2005年まで（過去への遡及的実行）と2006年から2099年まで（将来の予測）の毎月の平均最高気温、最低気温、降水量を含みます。
このデータセットにはs3://nasanex/NEX-DCP30でアクセスできます。データの出所、フォーマット、構造、属性要件を詳細にお知りになりたい場合は、詳細ページとtech noteをご参照ください。
Landsat Global Land Survey
ランドサットは過去40年間、宇宙から採取した中解像度のリモートセンシングデータを蓄積してきました。これは、農業、地理学、林学、地域計画、教育、地図作成、全地球的変化の研究に従事する人々にとって、かけがえのない資源です。ランドサット画像は、非常事態への対応や災害救援にとっても計り知れない価値を持ちます。
公式の説明は以下のとおりです：
これまでに、U.S. Geological Survey (USGS)とNASAは共同で、ランドサット衛星の画像から全地球的な地形データセットを作りました。ひとつは1970年代のもの、そして、1990年頃、2000年頃、2005年頃の各々ひとつずつ。これらはそれぞれその時点で用いられたランドサットの主観測センサーから作られています。1970年代はMultispectral Scanner (MSS)、1990年はThematic Mapper (TM)、2000年はEnhanced Thematic Mapper Plus (ETM+)、2005年はTMとETM+の併用です。
このデータセットにはs3://nasanex/Landsatでアクセスできます。より深くお知りになりたい場合は、詳細ページとプロジェクトの詳細をご参照ください。データセットを参照し、アクセスするには、Landsat toolsもご利用可能です。
MODIS Vegetation Indices
これまでMOD13Q1 (Vegetation Indices 16-Day L3 Global 250m) として知られていたこのデータセットの内容は以下の通りです：
単純さ、使いやすさ、そして高い知名度から、Vegetation Indicesはユーザーコミュニティにおいて幅広く利用されて来ました。非常に一般的な利用方法の中には、全地球的な生物地球科学、水文学モデリング、農業のモニタリングや予測、土地利用計画、覆域の分類と覆域の変化の検知が含まれます。Global MODIS vegetation indicesは植生の空間的、時間的な一貫性を持つ比較を提供できるように設定されています。それぞれ、469ナノメーター、645ナノメーター、858ナノメーターの波長を中心とする、青色、赤色、近赤外線の反射率が、MODIS daily vegetation indicesを決定するのに使用されています。MODIS Normalized Difference Vegetation Index (NDVI)は、NOAAのAdvanced Very High Resolution Radiometer (AVHRR) NDVIを補完し、歴史軸に沿った応用分野に対して、時間的な継続性を提供しています。MODISには、樹冠による背景への影響を最小化し濃密な植生の状態でも感度を維持する新しいEnhanced Vegetation Index (EVI) も含まれます。EVIは、煙による残留大気汚染や、ピクセル以下の薄い雲を除去する青色帯も用います。MODIS NDVIとEVIは、大気水、雲、重エアロゾル、雲の影の影響をマスクした、補正済みの大気による双方向の表面反射率から計算されます。全地球のMOD13Q1データは、16日毎に、正弦曲線図法によるレベル3グリッドである250メートルの空間解像度にて利用できます。250mの青色帯は無いため、EVIのアルゴリズムは、残留大気効果の補正のために500mの青色帯を利用しますが、人為的操作の影響は無視できます。Vegetation indicesは、植生の状態の全地球的なモニタリングや、覆域やその変化を示す成果物に利用されます。これらのデータは全地球的な地球生物化学的、水文学的プロセスや、全地球的、あるいは地域的機構のモデリングの入力として使用できます。これらのデータは、一次生産や覆域の変化を含む、地表の生物物理学的な属性やプロセスの特性を評価するためにも使用できます。
このデータセットにはs3://nasanex/MODISでアクセスできます。より深くお知りになりたい場合は、 詳細ページとデータの説明をご参照ください。MODIS toolsもお役に立つはずです。
Webification Data Access Framework
今日行われたAWS/NASA hackathonにあわせて、NASAは、Webification (略称、w10n) と呼ばれる、オープンソースツールを発表しました。このオープンソースツールは、上記に説明したようなデータセットへのアクセスをより簡単にします。全てのデータはURLにてアクセスでき、結果はJSONまたはバイナリ形式で戻されます。
このWebification toolは、EC2のAMI (米国西海岸（オレゴン）リージョンのami-fc0f97cc)を用いたウェブサービスとして、または、ソースコードの形式でご利用いただけます。始めていただくにはinteractive Webification tutorialをクリックしながら進んでください。
Webification toolにはビジュアルな側面もあります。データを抽出し、JASONに変換した後は、下のような、インタラクティブで組み込まれたビジュアライゼーションを作成できます：
AWS CLIでのアクセス
AWS Command Line Interface (CLI) を用いてデータセットにアクセスすることもできます。インストールし、構成し、データセットをレビューするにはこのようにします：
$ aws s3 ls s3://nasanex
Bucket: nasanex
Prefix:
LastWriteTime Length Name
------------- ------ ----
PRE Landsat/
PRE MODIS/
PRE NEX-DCP30/
lsコマンドを次々に実行し、バケットの内容を探索し、ご興味のあるファイルをひとつでも複数でもダウンロードしてください：
$ aws s3 cp s3://nasanex/NEX-DCP30/NEX-quartile/rcp26/mon/atmos/tasmax/r1i1p1/v1.0/CONUS/tasmax_quartile75_amon_rcp26_CONUS_209601-209912.nc .
download: s3://nasanex/NEX-DCP30/NEX-quartile/rcp26/mon/atmos/tasmax/r1i1p1/v1.0/CONUS/tasmax_quartile75_amon_rcp26_CONUS_209601-209912.nc to tasmax_quartile75_amon_rcp26_CONUS_209601-209912.nc$ ls -l tasmax_quartile75_amon_rcp26_CONUS_209601-209912.nc
-rw-rw-r-- 1 jbarr jbarr 1088838203 Sep 29 08:03 tasmax_quartile75_amon_rcp26_CONUS_209601-209912.ncもっと知るには
OpenNEXプロジェクトをもっと知るには、NASAのOpenNEXのページや AWSパブリックデータセットのページをご覧ください。
-- Jeff;
この記事はAWSシニアエバンジェリスト Jeff Barが綴るAmazon Web Services Blogの記事、 Process Earth Science Data on AWS With NASA / NEX Public Data Setsを吉荒祐一 (Facebook, Twitter)が翻訳したものです。