Amazon Elastic MapReduce使ってみた
http://d.hatena.ne.jp/nokuno/20110104/1294101936
このあたり見ながらやりました。公式HPは一部日本語化されてますが、まだまだ英語のとこもあるんでアレルギーある方には辛いかもしれません。
自分で触ってみた感触としてですが、
- 一度作ったジョブをちょこっと変えて再実行できないの?ジョブのコピーでもいいけど
- 課金のタイミングがわからない(まだ発生してない?)
- データはS3に置くのはわかるんだけど、mapper/reducerはS3でいいのかな?
- ってかS3でフォルダ名大文字ありなのに、EMRは大文字アウトって・・
- んでS3のBacket, 大文字から小文字にできないし。
やっと動いた。ってインスタンス起動おせえ!今回試したやつは手元で30secくらいで終わる奴なので、インスタンスの起動>>処理時間になってしまった。次はデータ量10〜100倍で試してみるか。
・・って計算し終えたのに「Shut down as step failed」って出てこけたぞ。なんだこれ!!!!