統計学、機械学習などを使って身近な世界を分析したりするブログです

Python

新年の抱負を立てるかわりにTwitter APIでbotを作った話

新年が明けたら、一年の抱負を立てる。これは極めて一般的な行為でしょう。多くの人が抱負を立て、それを公開する人もたくさんいます。 抱負を立てるというのは、素晴らしいことです。目標を持って、それに向かって進むわけですから、目標がなく、ただ闇雲に…

米国500社の財務諸表ビッグデータ分析で見えた7つの事実

最近よくビジネスニュースというか経済ニュースを見ていて思うんですが、注意しないと各企業についてバイアスがかかるリスクがあるなぁと。メディアが悪いと言えばなんとなく悪い感じがしてきますし、賢い人がすごいと言えばなんだかすごい気がしてきます。…

データで見るM1グランプリ2017 〜データ取得編〜

今回はTwitter APIを用いてデータを取得しています。なお、大量のツイートを取得しようとするといろんな取得制限がかかって結構エラーが出ます。そこで、こちらのサイトを参考にさせていただきました。素晴らしいコードで、全くエラーが出ません。ailaby.com…

機械学習を使って自分に映画をおすすめしてみた 〜スクレイピング編〜

本編をご覧のみなさんこんにちは。本編をご覧になっていないみなさんもこんにちは。こちらの記事ではスクレイピング編をお送り致します。言語は慣れたPythonを選択しています。映画レビューサイトは、利用規約やデータ表示の構造から、みんなのシネマレビュ…

機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜前処理編〜

さて、前回のブログで足立区の賃貸物件を取得しました。www.analyze-world.com同様にして、東京都23区の物件も取得してしまいましょう。今回僕が取得したところ、合計で200,060件になりました。csvファイルで70MBほどですので、Excelだと重すぎて処理スピー…

機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜スクレイピング編〜

こんにちは、Shoです。今年の6月にミシガン大学ロスを卒業し、晴れてMBAホルダーとなりました。12月までは大学に残って機械学習の研究をしているのですが、いよいよ帰国の時が近づいてまいりました。来年の頭から東京に戻るので、どのへんに住もうかなぁと思…