Quantcast
Channel: Amazon Web Services ブログ
Viewing all articles
Browse latest Browse all 906

高速、簡単、無料で試せるRDS MySQLからRedshiftへのデータ同期

$
0
0

すでにご存知かもしれませんが、私はAmazon RDSの大ファンです。データベースの維持・管理ではなく、アプリケーションに注力できる事実を、とても気に入っています。また、Amazon Redshiftによる破壊的な価格、パフォーマンス、容易な管理性についても興奮しています。ペタバイト級のフル・マネージドなデータ・ウェアハウスは、1時間あたり$0.25且つ1TBあたり年間$1,000以下でご利用いただけます(USリージョンでの価格)。最近のPinterest社Monetate社Upworthy社のポストからもわかるように、多くのお客様にご賛同いただいています。

多くのAWSのお客様は解析処理を行うために、運用上のトランザクション・データをRDSからRedshiftに移動させたいと思っています。最近まで、これは若干複雑な作業でした。数週間前に、RDSチームは行ベースのバイナリ・ロギングを有効にすることにより、作業を簡素化しました。結果として、AWS Partner Network(APN)パートナーが、RDS MySQLからRedshiftへデータを継続的にレプリケートする製品を開発することができるようになりました。

データ連携に特化したAPNパートナー2社、FlyData社Attunity社、はRDS MySQLからRedshiftへ継続的にデータをレプリケートするために、行ベースのバイナリ・ロギングの仕組みを活用しています。両社共にRedshiftの2か月間の無料トライアルと併せて、製品の無料トライアルを提供しています。幾つかの簡単な設定手順を実施後、これらの製品は自動的にRDS MySQLからRedshiftへスキーマとデータをコピーし、同期状態を維持します。これは複雑なデータ・ローディングの仕組みの実装や不必要な負荷をRDSインスタンスにかけることなく、最新のデータを持つRedshift対して、高パフォーマンスのレポートや解析処理を実現します。

RDS MySQL 5.6をご利用の場合、下記のように行ベースのロギングを有効にすることにより、データベース・インスタンスから直接レプリケートができます。RDS MySQL5.5をご利用の場合、MySQL 5.6のリード・レプリカを構成し、レプリケーション・ツールをレプリカを利用して、Redshiftへ同期するように設定します。これら2つの製品について詳しく知りたい方は、Fly Data社のFree Trial Guide for RDS MySQL to RedshiftまたはAttunity社の無料トライアルRDS MySQL to Redshift Guideをご覧ください。AttunityのトライアルはAWSマーケット・プレースからご利用いただけます。そちらか数クリックで起動、Redshiftとの連携を開始することが可能です。

 Informatica社SnapLogic社もRDSとRedshift間のデータ連携を実現しています。SQLベースの仕組みを用いて、Amazon Redshiftクラスタに転送するデータを割り出しています。Infomatica社は60日間、SnapLogic社は30日間の無料トライアルを提供しています。

上記4つのデータ連携ソリューションは、全てのRDSデータベース・エンジン(MySQL、SQL Server、PostgreSQL、Oracle)で利用できます。またAWS Data PipeLineを用いて(最近のRedshift関連の機能追加)、RDSデータベース・インスタンスとRedshiftクラスタ間でデータの移動が可能です。もし、解析処理が必要であれば、これらツールの利点を活用し継続的にデータをロードしつつ、Redshiftによるデータ解析を実現するには最適なタイミングです。

Amazon RDS MySQL 5.6 行ベース・ロギングの有効化
下記にMySQL5.6における行ベース・ロギングの有効化にする方法を示します:

1. Amazon RDSコンソールを開き、左ペーン内のParameter Groupsをクリックします。

2. Create DB Parameter Groupボタンをクリックし、mysql5.6ファミリー内に新規のパラメータ・グループを作成します。

3. 詳細ビュー内で、Edit Parametersボタンをクリックします。そして、binlog_formatパラメータをROWに設定します:

 詳細は「MySQLデータベースログファイルを利用する」をご参照ください。

 APNパートナーによる継続的なRDS・Redshift間レプリケーションの無料トライアル
FlyData社は、継続的且つ自動的にRDS MySQL 5.6のデータをRedshiftと同期するのかを理解いただくために、step by step guideビデオ・デモを公開しています。そして30日間の無料枠で開始することができます。新しいbinlog_formatROWbinlog_checksumNONEと設定したパラメータ・グループを作成し、上記のガイド内に記載されている幾つかのパラメータを調整します。

AWSのお客様は、すでにRDSからRedshiftへの継続的なレプリケーションのためにFlyDataを使用しています。例えば、自動車の相乗りサービスを提供するスタートアップ企業のSidecar社は、顧客がどのようにサービスを利用しているかを解析するために、1日数百万のレコードを2つのRDSからRedshiftへ同期しています。Sidecar社によると、分析処理が3倍高速になり、リアルタイムにより近いデータ・アクセスは、利用者とドライバへ高い利便性を提供します。FlyDataを利用した場合のデータの流れになります:

Attunity CloudBeamは、RDS MySQL 5.6からRedshiftへ継続的に差分変更データを反映するために、configuration guideを公開しています(AWS Marketplaceから直接5日間の無料枠で開始できます)。新しいbinlog_formatROWbinlog_checksumNONEと設定したパラメータ・グループを作成します。AttunityをRedshift連携に関する構成の追加情報は、こちらのquick start guideをご参照ください。

Redshift無料トライアル
Amazon Redshiftを始めて使われる方向けに、無料トライアルとして最初の2か月間にdw2.largeノード(16GB RAM、2仮想コア、160GB SSDストレージ)を各月750時間ご利用いただけます。これはシングルノード構成で、2か月の間起動し続けるのに十分な時間となります。また、dw2.largeのマルチノード構成を構築して、大規模なデータ・セットでテストすることも可能です。但し、無料トライアル枠をより早く消費します。各月750時間は全リージョンで起動する全dw2.largeノードで共有されます。

まずRedshiftを無料枠で使用するには、Redshiftコンソールからクラスタを起動し、ノード・タイプとしてdw2.largeを選択します:

 ビッグデータ・ウェビナー
更に知識を深めたい方は、ぜひAWS Big Data Webinarにご参加ください。スタートアップ企業のCouchsurfing社がどのようにAttunityの継続的なCDCを活用し、ETL処理を3か月から3時間に短縮し且つコストを約4万ドル削減したかをご紹介します。

八木橋

 

 

 


Viewing all articles
Browse latest Browse all 906

Trending Articles