PythonによるWebスクレイピング入門に参加してきた

11月1日にキャンパスプラザ京都で行われたPythonによるWebスクレイピング入門に参加してきました。

まず初めにスクレイピングをするにあたっての注意点やマナーについての話がありました。スクレイピングするときは、やる前にアクセス先がどれぐらいのトラフィックまで耐えられるか考えたり、WebAPIがあるか確認したり、スクレイピングしようとしてるデータの著作権的な問題を確認したり、、、など知らないことがたくさんあったのでとても勉強になりました。

次にPythonとかBeautifulSoupの簡単な説明があったあとハンズオンに移りました。ハンズオンでは3つの課題が出されました。最初の課題はhtmlから指定された日本語テキストを抜き出すだけだったのですぐ出来るかと思いきや出力が文字化けしてて正しいのかどうかが分からず、、、。時間もあまり無かったので多分出来てるということにして課題2と3をやりました。2と3はそんなに難しくなくて、天気情報が存在するhtmlから最高気温と最低気温を抜き出すというものでした。今回はBeautifulSoupを使いましたが他にもPythonにはスクレイピングに使えるライブラリが色々あるそうです。

ハンズオンの後は企業講演がありました。楽天さんの開発現場やfreeeさんのオフィス(人をダメにするチェアとか笑)の話が聞けて良かったです。

交流会では他の参加者とプログラミングとかについて色々話せたので楽しかったです。様々な知見が得られたのでとても有意義な時間でした。

関西の方の勉強会に参加するのは初めてでしたがとても楽しかったです。