FC2ブログ

スポンサーサイト

このエントリーのカテゴリ : スポンサー広告

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

【GAEでMapReduceを使おう!】JavaでのShardの増やし方

このエントリーのカテゴリ : 【GAEでMapReduceを使おう!】

サイトはコチラ→http://monitorequest.appspot.com/traininfo/

【GAEでMapReduceを使おう!】MapReduceを使ってみた感想にて、

【課題】
2.Mapper処理の負荷軽減
 →shardを増やしてみる



と書いたので、早速やってみました。
shardの数を4から8に変更してみます。

でもあまりいい情報は見つからず。(情報収集は日本語中心なので…)
でも、
http://code.google.com/p/googleappengine/issues/
によれば、mapreduce.xmlでのshardの数を定義できるようです。

<property>
 <name human="Number of shards to use">mapreduce.mapper.shardcount</name>
<value template="optional">8</value>
</property>



今回の実装の場合、MapReduceを開始するサーブレットで全部定義していたので、
同様に設定してみました。

【GAEでMapReduceを使おう!】実装編4:MapReduce起動サーブレットとweb.xmlで説明したMapReduce起動サーブレットに1行追加するだけです。


@Override
public void doGet(HttpServletRequest req, HttpServletResponse resp) {
 Configuration conf = new Configuration(false);
 try {
  conf.setClass("mapreduce.map.class",
   TrainInfoDataRailMapper.class, Mapper.class);
  conf.setClass("mapreduce.inputformat.class",
   DatastoreInputFormat.class, InputFormat.class);
  conf.set("mapreduce.mapper.shardcount", "8"); ←ここを追加



結果はこうなりました。

Shard追加後

前回と比べると、以下になります。
・4 Shards …45秒、874.84処理/秒
・8 Shards …52秒、690.86処理/秒

うーん、遅くなっている気がするが、どうなんだろう。
遅くなっても処理負荷が低く(CPU時間が短く)なっていればいいんだけど。

もう少しデータ取ってから考えてみよう。


MapReduceの結果




ここで実装したアプリはこちら
 ・日別の報告数と路線数のグラフ
 ・日別時刻別の報告数集計表



【GAEでMapReduceを使おう!】GAEの制約とMapReduceの活用
【GAEでMapReduceを使おう!】環境準備編
【GAEでMapReduceを使おう!】実装編1:追加開発部分
【GAEでMapReduceを使おう!】実装編2:モデルの実装
【GAEでMapReduceを使おう!】実装編3:MapperとReducerの実装
【GAEでMapReduceを使おう!】実装編4:MapReduce起動サーブレットとweb.xml
【GAEでMapReduceを使おう!】実装編5:cronで日次処理にする
【GAEでMapReduceを使おう!】管理コンソールでMapReduce状況を確認する
【GAEでMapReduceを使おう!】MapReduceを使ってみた感想
【GAEでMapReduceを使おう!】JavaでのShardの増やし方
スポンサーサイト

テーマ : Google関連
ジャンル : コンピュータ

プロフィール

toronic

Author:toronic
IT関係で10年働いたのでそろそろ独立したいと考えているけどなかなか一歩が踏み出しきれないありきたりなプログラマ

カテゴリ
ブックマーク
最新記事
月別アーカイブ
検索フォーム
最新コメント
ブロとも申請フォーム

この人とブロともになる

メールフォーム

名前:
メール:
件名:
本文:

スポンサーリンク
リンク
一攫千金?
RSSリンクの表示
QRコード
QRコード
    助成金
    上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。