White scenery @showyou, hatena

If you have any comments, you may also send twitter @shsub or @showyou.

Amazon Elastic MapReduce使ってみた

http://d.hatena.ne.jp/nokuno/20110104/1294101936
このあたり見ながらやりました。公式HPは一部日本語化されてますが、まだまだ英語のとこもあるんでアレルギーある方には辛いかもしれません。


自分で触ってみた感触としてですが、

  • 一度作ったジョブをちょこっと変えて再実行できないの?ジョブのコピーでもいいけど
  • 課金のタイミングがわからない(まだ発生してない?)
  • データはS3に置くのはわかるんだけど、mapper/reducerはS3でいいのかな?
  • ってかS3でフォルダ名大文字ありなのに、EMRは大文字アウトって・・
  • んでS3のBacket, 大文字から小文字にできないし。

やっと動いた。ってインスタンス起動おせえ!今回試したやつは手元で30secくらいで終わる奴なので、インスタンスの起動>>処理時間になってしまった。次はデータ量10〜100倍で試してみるか。

・・って計算し終えたのに「Shut down as step failed」って出てこけたぞ。なんだこれ!!!!