統計学、機械学習などを使って身近な世界を分析したりするブログです

データを分かりやすく見せるためのグラフリテラシー

AIやデータサイエンスが注目されるに伴い、世の中は加速度的にデータドリブン化しています。特にビジネスにおいては、個人の勘や経験だけではなく、データやファクトにもとづいて意思決定がなされるべきという考えはもはや一般常識であると言っても過言では…

データアナリティクスによる『体感』で雨を予測する方法

我々の身の回りはデータで溢れています。人口統計、視聴率、売上、株価、内閣支持率、例を挙げれば枚挙に暇がありません。その中でも、最も身近なデータといえば、天気予報でしょう。外出する前に、傘を持っていくべきかどうかの判断に必要なデータが天気予…

AIで解決すべきビジネス課題を見つけるただ1つの質問

なんでもかんでもAIで解決したいこのご時勢、皆様いかがお過ごしでしょうか。日々のニュースではありとあらゆる企業がAIに注力し、データサイエンティストの採用と育成に悪戦苦闘している様子がうかがえます。「やっぱこの時代、AIっしょ!」うんうん。そう…

米国500社の財務諸表ビッグデータ分析で見えた7つの事実

最近よくビジネスニュースというか経済ニュースを見ていて思うんですが、注意しないと各企業についてバイアスがかかるリスクがあるなぁと。メディアが悪いと言えばなんとなく悪い感じがしてきますし、賢い人がすごいと言えばなんだかすごい気がしてきます。…

データで見るM1グランプリ2017 〜本当に一番面白かったのはどの漫才だったのか〜

2001年、第一回M1グランプリが開催されました。当時高校生だった僕はブラウン管のテレビにかじりつくように見ていたことを思い出します。2017年、M1も今回で13回目となりましたが、あのヒリつくような緊張感と感動は第一回の頃から変わらないばかりか、より…

データで見るM1グランプリ2017 〜データ取得編〜

今回はTwitter APIを用いてデータを取得しています。なお、大量のツイートを取得しようとするといろんな取得制限がかかって結構エラーが出ます。そこで、こちらのサイトを参考にさせていただきました。素晴らしいコードで、全くエラーが出ません。ailaby.com…

機械学習を使って自分に映画をおすすめしてみた

なんかいい映画ないかなぁと思うことは誰にだってありますよね。ちょっと時間ができた時なんかに、映画でも見てみようかと。でもこれはそんなに簡単なことではありません。世の中にある映画なんて多すぎて一体いくつあるのか分からないくらいですし、一回選…

機械学習を使って自分に映画をおすすめしてみた 〜スクレイピング編〜

本編をご覧のみなさんこんにちは。本編をご覧になっていないみなさんもこんにちは。こちらの記事ではスクレイピング編をお送り致します。言語は慣れたPythonを選択しています。映画レビューサイトは、利用規約やデータ表示の構造から、みんなのシネマレビュ…

機械学習を使って東京23区のお買い得賃貸物件を探してみた

さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。www.analyze-world.c…

機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜前処理編〜

さて、前回のブログで足立区の賃貸物件を取得しました。www.analyze-world.com同様にして、東京都23区の物件も取得してしまいましょう。今回僕が取得したところ、合計で200,060件になりました。csvファイルで70MBほどですので、Excelだと重すぎて処理スピー…

機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜スクレイピング編〜

こんにちは、Shoです。今年の6月にミシガン大学ロスを卒業し、晴れてMBAホルダーとなりました。12月までは大学に残って機械学習の研究をしているのですが、いよいよ帰国の時が近づいてまいりました。来年の頭から東京に戻るので、どのへんに住もうかなぁと思…