FC2ブログ

スポンサーサイト

このエントリーのカテゴリ : スポンサー広告

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

【GAEでMapReduceを使おう!】管理コンソールでMapReduce状況を確認する

このエントリーのカテゴリ : 【GAEでMapReduceを使おう!】

【GAEでMapReduceを使おう!】GAEの制約とMapReduceの活用で設計したとおり、MapReduceの実装ができました。

実際に動いているかどうか確認してみます。
"/mapreduce/status"にアクセスしても確認できますが、せっかくなのでGoogleAppEngineの管理コンソールにリンクを貼ってみます。
WEB-INFフォルダにappengine-web.xmlがありますが、ここに追記します。

<admin-console>
 <page name="mapreduce" url="/mapreduce/status"/>
</admin-console>



これを追記するだけで管理コンソールにリンクができます。
管理コンソールからログインし、対象のアプリケーションの管理画面に行くと、"custom"に"mapreduce"というリンクがあります。

管理コンソール

これをクリックすると、MapReduceの処理一覧画面が表示されます。

MapReduceメニュー

行数分だけMapReduceが実行されたことになります。
一番上の行を見てみると、Time elapsedが00:00:45とあるので、45秒かかったということですね。
"detail"リンクをクリックしてこの処理の詳細を見てみます。


MapReduceの結果

一番上のグラフですが、棒グラフが4本並んでいますが、4並列で処理した、ということになります。
「4 shards」と呼び、このshardの数は変更可能です。

縦軸は各shardで処理したレコード数になります。
shard 1が12000強、shard 2が6000くらいで、平均して10000くらいでしょうか。
かれこれ1ヶ月くらい動かしていますが、いつもshard1が多く、shard2が少なくなっています。
クセなんですかね。

で、一番下にorg.apache.hadoop.mapred.Task$Counter:MAP_INPUT_RECORDS39731(874.84/sec avg.)とあるので、レコード件数は3万9千、約4万レコードです。874.84/sec avg.は1秒あたりの処理レコード数ですね。おおよそ39731レコード/45秒と同じです。

また、今回は自動で日次処理を行うためにmapreduce.xmlには何も記載しませんでしたが、mapreduce.xmlに処理を定義すればこの管理コンソール上から手動でMapReduce処理を実行できるようになります。




ここで実装したアプリはこちら
 ・日別の報告数と路線数のグラフ
 ・日別時刻別の報告数集計表



【GAEでMapReduceを使おう!】GAEの制約とMapReduceの活用
【GAEでMapReduceを使おう!】環境準備編
【GAEでMapReduceを使おう!】実装編1:追加開発部分
【GAEでMapReduceを使おう!】実装編2:モデルの実装
【GAEでMapReduceを使おう!】実装編3:MapperとReducerの実装
【GAEでMapReduceを使おう!】実装編4:MapReduce起動サーブレットとweb.xml
【GAEでMapReduceを使おう!】実装編5:cronで日次処理にする
【GAEでMapReduceを使おう!】管理コンソールでMapReduce状況を確認する
【GAEでMapReduceを使おう!】MapReduceを使ってみた感想
【GAEでMapReduceを使おう!】JavaでのShardの増やし方
スポンサーサイト

テーマ : Google関連
ジャンル : コンピュータ

コメントの投稿

非公開コメント

プロフィール

toronic

Author:toronic
IT関係で10年働いたのでそろそろ独立したいと考えているけどなかなか一歩が踏み出しきれないありきたりなプログラマ

カテゴリ
ブックマーク
最新記事
月別アーカイブ
検索フォーム
最新コメント
ブロとも申請フォーム

この人とブロともになる

メールフォーム

名前:
メール:
件名:
本文:

スポンサーリンク
リンク
一攫千金?
RSSリンクの表示
QRコード
QRコード
    助成金
    上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。