FC2ブログ

スポンサーサイト

このエントリーのカテゴリ : スポンサー広告

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

【GAEでMapReduceを使おう!】環境準備編

このエントリーのカテゴリ : 【GAEでMapReduceを使おう!】

【GAEでMapReduceを使おう!】GAEの制約とMapReduceの活用で記載したように、まずはappengine-mapreduceの環境づくりからです。

なお、前提としてGoogleAppEngineのアプリ開発環境があるものとして話を進めます。

appengine-mapreduceの取得】
Google App EngineのMapReduceはappengine-mapreduceというモジュールが公開されています。
 http://code.google.com/p/appengine-mapreduce/

ここの「Downloads」にはモジュールはなく、「Source」にはSubversionのURLが記述されています。

appengine-mapreduce

Subversionでダウンロードしてみました。
Subversionのクライアントですが、私はTortoiseSVNを使っています。
使ってみたい方はこちらを参考にインストールしてみてください。

TortoiseSVNを使っている人は、まずダウンロードするフォルダを作成して、
そこで右クリックして「SVN CheckOut」を選びます。

googlemapengine-mapreduceのチェックアウト

チェックアウトはtrunkフォルダで行います。
「URL of Repository」に「http://appengine-mapreduce.googlecode.com/svn/trunk」を指定します。
するとソースがダウンロードできます。

【appengine-mapreduceのビルド】
どうやらAntを使って自分でビルドするようです。
googleappengine-mapreduceの構造

Antをインストールしていない方はこちらなどを参考にインストールしてみてください。
trunk/javaフォルダ直下にbuild.xmlがあるので、そのフォルダにてantを実行してみます。
googleappengine-mapreduce-ant1

ビルド成功しました。
会社内でプロキシを利用している環境の場合、Antが失敗することがあります。
その場合はbuild.xmlに設定を追加します。

target="init"が初期処理のようなので、そこに追加しておきます。

antのプロキシ設定

ビルドが成功すればtrunk/java/distフォルダにjarが生成されます。

distの中身

appengine-mapreduce.jar以外はtrunk/java/lib以下と同じです。
ビルドする対象はappengine-mapreduce.jarのみのようです。

jarを見てみると、hadoopを使っているみたいです。
GoogpeAppEngine上でHadoopが使えるラッパーが提供されているようです。

また、trunk/java/example以下にサンプルアプリケーションも含まれています。
こちらはそのままローカルのEclipse環境で動作および確認ができます。

次はいよいよ実装ですが、まずは何を開発するかを先に説明します。
【GAEでMapReduceを使おう!】実装編1:追加開発部分



ここで実装したアプリはこちら
 ・日別の報告数と路線数のグラフ
 ・日別時刻別の報告数集計表



バックナンバー
【GAEでMapReduceを使おう!】GAEの制約とMapReduceの活用
【GAEでMapReduceを使おう!】環境準備編
【GAEでMapReduceを使おう!】実装編1:追加開発部分
【GAEでMapReduceを使おう!】実装編2:モデルの実装
【GAEでMapReduceを使おう!】実装編3:MapperとReducerの実装
【GAEでMapReduceを使おう!】実装編4:MapReduce起動サーブレットとweb.xml
【GAEでMapReduceを使おう!】実装編5:cronで日次処理にする
【GAEでMapReduceを使おう!】管理コンソールでMapReduce状況を確認する
【GAEでMapReduceを使おう!】MapReduceを使ってみた感想
【GAEでMapReduceを使おう!】JavaでのShardの増やし方
スポンサーサイト

テーマ : Google関連
ジャンル : コンピュータ

コメントの投稿

非公開コメント

プロフィール

toronic

Author:toronic
IT関係で10年働いたのでそろそろ独立したいと考えているけどなかなか一歩が踏み出しきれないありきたりなプログラマ

カテゴリ
ブックマーク
最新記事
月別アーカイブ
検索フォーム
最新コメント
ブロとも申請フォーム

この人とブロともになる

メールフォーム

名前:
メール:
件名:
本文:

スポンサーリンク
リンク
一攫千金?
RSSリンクの表示
QRコード
QRコード
    助成金
    上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。