統計学、機械学習などを使って身近な世界を分析したりするブログです

2017-01-01から1年間の記事一覧

データで見るM1グランプリ2017 〜本当に一番面白かったのはどの漫才だったのか〜

2001年、第一回M1グランプリが開催されました。当時高校生だった僕はブラウン管のテレビにかじりつくように見ていたことを思い出します。2017年、M1も今回で13回目となりましたが、あのヒリつくような緊張感と感動は第一回の頃から変わらないばかりか、より…

データで見るM1グランプリ2017 〜データ取得編〜

今回はTwitter APIを用いてデータを取得しています。なお、大量のツイートを取得しようとするといろんな取得制限がかかって結構エラーが出ます。そこで、こちらのサイトを参考にさせていただきました。素晴らしいコードで、全くエラーが出ません。ailaby.com…

機械学習を使って自分に映画をおすすめしてみた

なんかいい映画ないかなぁと思うことは誰にだってありますよね。ちょっと時間ができた時なんかに、映画でも見てみようかと。でもこれはそんなに簡単なことではありません。世の中にある映画なんて多すぎて一体いくつあるのか分からないくらいですし、一回選…

機械学習を使って自分に映画をおすすめしてみた 〜スクレイピング編〜

本編をご覧のみなさんこんにちは。本編をご覧になっていないみなさんもこんにちは。こちらの記事ではスクレイピング編をお送り致します。言語は慣れたPythonを選択しています。映画レビューサイトは、利用規約やデータ表示の構造から、みんなのシネマレビュ…

機械学習を使って東京23区のお買い得賃貸物件を探してみた

さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。www.analyze-world.c…

機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜前処理編〜

さて、前回のブログで足立区の賃貸物件を取得しました。www.analyze-world.com同様にして、東京都23区の物件も取得してしまいましょう。今回僕が取得したところ、合計で200,060件になりました。csvファイルで70MBほどですので、Excelだと重すぎて処理スピー…

機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜スクレイピング編〜

こんにちは、Shoです。今年の6月にミシガン大学ロスを卒業し、晴れてMBAホルダーとなりました。12月までは大学に残って機械学習の研究をしているのですが、いよいよ帰国の時が近づいてまいりました。来年の頭から東京に戻るので、どのへんに住もうかなぁと思…