White scenery @showyou, hatena

If you have any comments, you may also send twitter @shsub or @showyou.

Entries from 2015-01-01 to 1 year

年末の流れ

ここ数日いろいろあったのですが、日記を書くのも雑になってしまったので、軽く書いておきます。 大学で講義しました 電気通信大学で一コマ、Hadoopのインストールの演習をしました。準備不足などもあり至らないところも多かったと思います。やはり事前準備…

Dockerでshmmaxが小さい云々対策

Docker 1.0 でDBを動かすときの共有メモリの設定 - No way! など昨年書かれているのだけど、どうも今のバージョンはdocker -d -e lxcしてlxc-driverを使っても、kernel.shmmaxが変更できない。OSはUbuntu14.04LTS+docker1.6.2。 もしかしたらDockerのアップ…

Spark + Jupyter notebook起動

ネットにいろいろ情報転がってるけど、Spark 1.5.1, Jupyterバージョン不明だと、 IPYTHON_OPTS="notebook" ./bin/pyspark じゃないと繋がらない気が(--profileが効かない)

Greenplum DatabaseがOSSで公開されたのでビルドしてみた

注)個人の所感なんで所属会社等の意見とは違うかもしれません Greenplum Databaseとは? 雑に言うと並列動作するPostgreSQL8.2です。Pivotal社の製品ですがソースが公開されました。 http://greenplum.org/ Pivotal、高速データ分析が可能なデータベース「G…

今年もあと三ヶ月なので3ヶ月でやりたいことを書いておく

最近は朝起きるのが辛いのと、家に帰宅してから新しいことを学ぶ余裕もない感じに忙しく、すっかりダメ人間と化している。 今週で10月に入るので、意識低くともできるとこからやっていきたいと思う。 英語 本来は英会話スクールに行こうと思ったが、仕事の方…

Ambari + EC2 spot instanceでHadoopクラスタを30分で作る

軽い事前準備はいりますが、Ambariを使うと複数台のHadoopクラスタを30分くらいで一気に作ることができます。 タイトルではEC2 spot instanceとか書いてますが、単にマシン大量に用意しているだけなんで別にAzureとかGCEでも他のIaaSでもいけるかもしれませ…

EC2にsshキーで入れなくなった件

久々に新規でインスタンスを建てたのだけど、作成したのが公開鍵で入れず、毎回root@ec2-なんとか’s password:と聞かれる。ちなみに公開鍵は新規での作成と手持ちの公開鍵の両方使用。手元の鍵のpermissionは設定済み。 原因判明。OSのイメージが古いからっ…

外資に転職して1年が経ちました。

外資に転職して1年が経ったので個人的にメモ。 業務内容はコンサルタントという肩書で、売った製品のデリバリー(導入)や、導入支援を行ってます。また場合によっては営業と一緒にお客さんの悩みについて聞きにいったりします(この辺りはプリセールスっぽい)…

Thinkpad X220を買った

ヤフオクで1万円代で入手できるのがあったので、入手。普通は落札に2万円かかる模様。X220はX230以降と違いキーボードががっちりしていて、X200sではなかったESCキーの大型化がされていてVimmerにも使いやすい。またメモリも最大16GBと手元のMacBookAir(…

きんいろDeepLearning

http://deep-learning-hackathon.connpass.com/event/12867/ このイベントに参加して、DeepLearning(Caffe)を回してみました。 大体これまで上がってる記事で、ゴチうさでDeepLearningされてるのがあったので対抗してきんモザでやってみました。n番煎じです…

データ集計・分析環境のあれこれ

現在自分の主業務はデータ集計・分析基盤の構築なのだけども、意外とまとまった情報ってなさそうなのでまとめてみる。まずは雑多に並べてみて、あとで整理します。あと自分が触ってないものもあります。 ・何を使っていくべきか? まず機械学習とか分析する…

Nasneを買った

PS3のTorneが残り少なくなってきたので、Nasneを買ってみた。 今までのTorneと操作感変わらず、iPadからも操作可能ってあたりが便利そう。外から観るのかって疑問はあるが。

#ingress UPV 10000行くための行動方法

UPVは、今(2014年12月)時点ではもう少し増えてるかと思いますが、少し前はA16のエージェントでも2000程度でした。私は5000強です。恐らく日本の人でUPV10000ってのもそうそういないと思うので、10000目指したいと思います。 とか書いてましたが、3ヶ月でUPV1…

横須賀・猿島に行ってきた

2月はいろいろありましたが、とりあえず生きてます。 たまたま軽く休みができたので、今日でingressのキャンペーン終了だとか言う横須賀まで行ってきました。 ちょうど行った時間が14:00時だったので、無人島の猿島を散策できる、ぎりぎり最終の便に乗ること…

2chの専用ブラウザ以外データ取得禁止の話について

全然関係ないですがtwitterでも似たような残念な話がありました。 もともとTwitterはAPIを公開していたのですが、初期の頃はそれが恐ろしく不安定だったため、Webのページをスクレイピングしていました。Twitter社はスクレイピングを認めてはいなかったと思…

生きてます

日記あまり書いてないですが元気です。 今月は中古PCとNUC買いました。 あと久々にingressで歩きまわってます。大体一日10km, 20万APくらい。