はじめに 全然データマイニングとは関係ないけど昔から思っていること。特に今日じげんが上場した今日だから考えをまとめてみようと思います。平尾くんはものすごく尊敬しているし、昔から人として憧れているし、今でも自分の身近に居てどの起業家よりも憧れ…

はじめに タイトルからすぐに誤解を生みそうなので先にいっておくとデータサイエンティストに対してのネガティブな記事ではありません。自分としてはもっと世の中にデータを生かしてビジネスをより良くしていくことに対して価値を感じてくれる組織が一社でも…

はじめに いきなり数学っぽいで最近競技データマイニング界（そんな言葉があるかわからないがアルゴリズムの精度を競う大会）「Deep Learning」について調べていて思ったこと。別にDeep Learning自体には触れる気はないのでご興味のある方は以下のスライドを…

はじめに データマイニングの仕事をやっているとよく『最適化』という言葉に出くわすことがある。例えば、『データマイニングの技術を使って広告効果を最適化してます』とか『うちのゲームはデータ分析によってユーザーに対して最適なコンテンツを出し分けて…

Big data is like teenage sex 検索で引っかかったどこぞやの大学の人の言葉を引用してみました。 Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone... http://t.co/tREI1mRQ— danariel…

まずは Adtech Tokyo 2013で思ったこと。といっても、「このテクノロジーは流行る」「これからの時代はこれだ」という話ではなくテクノロジーと販売方法について思ったこと。 今回のAdtechはDSPとかDMPとか、流行のキーワードを売りにしている会社がとにかく…

別にGoogle Chartを使ってもいいんだけど、カスタマイズできないしかっこいいグラフ作れないからHighChartとGoogle SpreadsheetとGoogle App Engineでデータをグラフ化するやつを作ってみた。ついでにはてぶにもはれるようにしてみた。 仕様 グラフ自体は以…

データセクションさんのご好意でTwitterやFacebookに投稿された内容の時系列データをいただいたので、今日は選挙だしソーシャルメディアの情報からいろいろと分析をしてみました（最下部に今回分析したデータの元データも公開しています）。 データについて …

前回のエントリーではどちらかというと技術的な区分で今回のエントリーではデータマイナーとして持っていると愛される（＝仕事を湯水の如くふられる）ために必要なソフトスキルについての経験的なメモ。 せっかくデータマイナーをやるなら、マネーボールのピ…

「データマイニングを仕事とする人＝データマイナー」はどういう人たちがいるかということについて ビックデータとかで世の中がバズってるけど「僕はデータマイニングをやってます！」といったときに適切にその人がやっている業務領域を把握している人ってか…

タイトル通り「グリーを辞めました」ということで心機一転、はてなダイヤリーからはてなブログに移行して更新を真剣に再開しようかと。 <以下Facebookに記載した内容から転記> グリーには２年前の４月に新卒として入り、ドリランドの担当・編成の担当・FPの…

会社でAndroidのQAテスト環境が必要になったので、構築したときのメモ sunのJDKとJREを入れる repositoryの追加 >sudo add-apt-repository ppa:ferramroberto/java 一覧をupdateする >sudo apt-get update インストール >sudo apt-get install sun-java6-jre…

Updated packagesCRAN - Package AMORE A MORE flexible neural network packageCRAN - Package Amelia Amelia IICRAN - Package animation Demonstrate Animations in StatisticsCRAN - Package Bolstad Bolstad functionsCRAN - Package bear Average bioe…

Updated packagesCRAN - Package agilp Extracting and preprocessing Agilent express arraysCRAN - Package apTreeshape Analyses of Phylogenetic TreeshapeCRAN - Package apcluster Affinity Propagation ClusteringCRAN - Package apsrtable apsrtable…

Updated packagesCRAN - Package animation Demonstrate Animations in StatisticsCRAN - Package arulesSequences Mining frequent sequencesCRAN - Package BradleyTerry Bradley-Terry Models – this package is now deprecated in favour of 'BradleyTer…

RSCTC2010というのに統計解析のコンテストに出場して（一応）世界で９６人中３位になりました。 → http://tunedit.org/challenge/RSCTC-2010-B?m=leaderboard このコンテストが何をやるコンテストだったかというとDNAマイクロアレイのクラスタリングのコンテ…

Updated packagesCRAN - Package AquaEnv AquaEnv - an integrated development toolbox for aquatic chemical model generationCRAN - Package apcluster Affinity Propagation ClusteringCRAN - Package BLCOP Black-Litterman and copula-opinion pooling…

Updated packagesCRAN - Package Amelia Amelia IICRAN - Package actuar Actuarial functionsCRAN - Package agricolae Statistical Procedures for Agricultural ResearchCRAN - Package aroma.affymetrix Analysis of large Affymetrix microarray data s…

前回に書いた高速SVDをさらに高速化する方法すごく賢い方法！というわけではないのででも、賢い方法ではない分導入はとても簡単です。 実行までの道のりは以下の感じ。１．Revolution Rを導入する以前、少し紹介したRevplution Rをインストールするダウンロ…

FastSVDという関数をRで見つけたので 早速使ってみました。 パッケージの作成者が公開している ベンチマークテストを用いて自分のPCで 200×50000の行列をSVDしてみたところ 通常 = 39秒 fastSVD = 17秒 おお、なかなか早くなる。 というわけでRpy２を使って …

Updated packagesCRAN - Package BioPhysConnectoR BioPhysConnectoRCRAN - Package BiplotGUI Interactive Biplots in RCRAN - Package backtest Exploring portfolio-based conjectures about financial instrumentsCRAN - Package bifactorial Inferences…

CRANのパッケージのアップデートの状況を週一回くらい日記にポストしようと思ってPythonを使って投稿をしてみた。参考にしたのはこちらhttp://d.hatena.ne.jp/muzila/20090725/1248534479思ったよりも全然簡単にできた。後はこの情報を俺以外に欲しがってい…

Yesterday's Updated packagesCRAN - Package BioPhysConnectoR BioPhysConnectoRCRAN - Package bifactorial Inferences for bi- and trifactorial trial designsCRAN - Package farmR Mixed Integer model of Arable FarmsCRAN - Package Guerry GuerryCRA…

Rのパッケージの更新情報を自動アップロードしようとしたわけだが、まだ改良の余地がいっぱい。。。CRAN - Package bvpSolve Solvers for boundary value problems of ordinary differential equationsCRAN - Package contrast A collection of contrast met…

バイト先で「業界の不条理さ」について少々聞いたのでハイテク産業の技術経営で有名なキヨノリ（榊原清則先生）の研究会に参加していたときに学んだ知識などを元に少しお話を書いてみる。特にその時学んだ「統合型企業のジレンマ」を元に少し考えてみた（詳…

アクセスの結果を見てみると、ダイナミックベイジアンネットワーク関連で検索をかけてきている人が結構いるみたいなのでRとPythonと使ってダイナミックベイジアンネットワークを生成するスクリプトをしたにはってみる。入力に用いることができるデータ形式は…

今回のコンテストでもあったことなのだけど、審査員4人中3人が満点、1人が最低点をつけるという事態に出くわした。自分が出るコンペはとにかくよくもめる。リクルートのインターンでやったときももめたらしいし、ほかでももめたという話をよくきく。 今まで…

先ほど、発表が終わり最終的に最優秀賞をいただきました。評価されてよかったです。賞を取れたところで実際、ちゃんとビジネス化できなきゃいけないので、バイト先で頑張りたい。（少し前まで違うエントリーを書いてたけど、適切ではないと思ったのでシンプ…

修論が一昨日終わったのでヤフオクでリアルマネートレードでゲーム内通貨を買う人（擬似課金しやすいユーザー）の分析をしてどういう趣向を持った人が多いか分析をした （ブランドデータバンクとかと、やりたいことは同じ。） 材料1.Yahoo API Yahoo オーク…

大学の同級生から情報をもらったので読んでみた。 （原文はこちら：http://nsaunders.wordpress.com/2009/11/30/a-brief-survey-of-r-web-interfaces/） 1．Rweb １９９９年にアップデートを終了。すごく解析が遅いなどなど、問題いっぱい。2．R-Online 実行…