5ch(旧2ch)をスクレイピングして、過去流行ったネットスラングの今を知る - にほんごのれんしゅう
5ch(旧2ch)ではここ数年はTwitterを使用するようになってしまいましたが、ネットのミームの発信地点であって、様々なスラングを生み、様々な文化を作ってきたと思います。 学生時代、2chまとめとか見ていたので、影響を受けてきたネット文化で、感覚値からすると、どうにも流行り廃りがあるようです。 5chの過去ログを過去18年ほどさかのぼって取得する方法と、懐かしいネットスラングのドキュメントに占める出現具合を時系列でカウントすることで、時代の変遷でどのように使用の方法が変化したのか観測することができます。 文末に「orz」って付けたら若い人から「orzってなんですか？」と聞かれて心身共にorzみたいになってる— ばんくし (@vaaaaanquish) October 19, 2018 図1. 今回集計したorzの結果 例えば、今回集計した5chの書き込み500GByte程度のログからで
Python による Web スクレイピングにようこそ！ — Python で行う Web Scraping ドキュメント
Python による Web スクレイピングにようこそ！¶ このドキュメントの資料は https://github.com/takahiromiura/web-scraping にあります。 データ分析をするときにデータをどこから取ってきますか？ Web から？その場合は、どうデータにしますか？ 手作業で？ 少々のデータなら、手作業でできるでしょうが、大規模なデータをとるには、このアプローチは時間か金銭のどちらかを犠牲にしなければならないでしょう。 このドキュメントでは、Python で Web スクレイピング、Web クローリング、つまり、自動で Web からデータをとってくるという作業を行うための基本的な知識を書いてます。 まず最初に、Python とは何かを学んでいきます。 それから、Python の基礎的な文法を学んでいきます。 Python の基礎を学んだら、Python でデー
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Google Spreadsheetで効率的に物件を探す - hitode909の日記
11月に引っ越したのだけど，そのときにGoogle Spreadsheetを活用して，いい感じに物件を探すことができた． そのときに実践したこととか，気をつけたことなどを共有します． 要件を決める 最初に，どういった要求があるのか明らかにする．いま住んでる家の気に入らないところを挙げていくと明らかになると思う．僕は以下のような条件で探した． インターネットが無料であること*1 料理したいのでガス二口以上 風呂とトイレが別であること ゴミ出し大変なので敷地内にゴミ置き場があること 布団を干せること 静かであること 家賃8万円以下 荷物少ないので狭くてよい SUUMOで検索する SUUMOとかで検索する．適当だけどこんな感じ．家賃でソートするよりは，新しい順とかでソートするほうがよさそうな物件見つかりがちだった． 二条城前駅、烏丸御池駅、京都市役所前駅、三条京阪駅、東山駅の賃貸・部屋探し情報一
プリキュアで学ぶワンライナーWebスクレイピング - Qiita
「確かに人事にはLinuxができる人が欲しいとは言ったが、まさか顔合わせでcurlとgrepでプリキュア全員の名前を端末で出力するような奴が来るとは思わなかった。」 — ぐれさん (@grethlen) 2014, 10月 21 クローラー／Webスクレイピング Advent Calendar 2015の7日目です。 IT企業を志望する就活生の方々は「FizzBuzzで100まで数えろ」とか「素数を表示しろ」とかいきなり言われても、得意な言語でならサクッと実装できるスキルは身につけておきたいですね。いつ面接で聞かれるかわかりません。 そして当然のごとく「プリキュア全員表示しろ」と言われても対応できるようにしておくべきでしょう。文字列処理、Webスクレイピングの基本が身についているかどうかがこの問い一つでわかります。面接で既に出題された方も少なくないのでは？ そこで、いくつかのアプローチでW
クックパッドのデータを研究者に公開します - クックパッド開発者ブログ
こんにちは。検索・編成部の原島です。 大学の研究者にお会いすると、「クックパッドのデータを研究に使用したいんですが...」と相談されることがあります。料理に関する研究をしているけれど、実際のデータがないため、なかなか研究が進まないという相談です。 料理に関する研究が進まないのは、クックパッドにとっても残念なことです。これらの研究は、クックパッドのサービスを改善するための「芽」でもあります。データがないだけで芽が育たないのは、非常に悲しい話です。 このような現状を打破するため、本日から、クックパッドのデータを研究者に公開します。このエントリでは、我々が準備してきたデータ公開の仕様について QA 形式で解説します。 誰が利用できるの？ 申請していただいた研究者です。ただし、公的機関（e.g. 大学、独立行政法人）の研究者に限ります。申請時には、クックパッドと国立情報学研究所（後述）による審査が
シェルスクリプトを使って「これから毎日金相場をスクレイピングしようぜ？」という話 - Qiita
クローラー／スクレイピング Advent Calendar 2014 今日は水曜日なのに、金のお話。 田中貴金属工業という会社があります。この会社のWebサイトにある、「本日の貴金属情報」では、毎日の金相場情報(地金情報)が公開されています。 この情報は毎日更新されるので、前日の金相場情報を見ることはできません。そこで今日のAdvent Calendarでは、この金相場情報をスクレイピングする方法を紹介してみようと思います。 シェルスクリプトでスクレイピング クローラー／スクレイピング Advent Calendar 2014の記事を見てみると、RubyでNokogiriやMechanizeを使ってみたり、Pythonでurllibやrequestsを使ってみたり、はてはKimonoを使ってみたりしています。 筆者はPython書けな...今日はちょっと趣向を変えて、シェルスクリプトで泥臭
ヤフー「つぶやき感情分析」で、衆議院議員の人気度を見る - プログラマでありたい
ネットを見てると、面白いサービスが出ていました。 ヤフー株式会社は12日、ソーシャルメディア上の投稿を検索できるYahoo!検索の「リアルタイム検索」において、「つぶやき感情分析」の正式版を公開した。 つぶやき感情分析は、Twitter上の投稿を分析し、検索したキーワードについてユーザーがどのような感情を持っているかを、「ポジティブ」「ネガティブ」の割合でグラフ表示する機能。2013年9月にベータ版として提供を開始し、今回、正式版として公開した。 ヤフー「つぶやき感情分析」、Twitter上の感情を「ポジ／ネガ」で判定 -INTERNET Watch Twitterの情報をもとに、感情分析をするというサービスです。簡単にいうと、入力されたキーワードに対して、世間は好きか嫌いかを出すというサービスです。こういったことをやりたいなぁと思って、Twitterのデータを大量に収集したり、そのデータ
Just another Ruby porter, 2014-9-c
■ 1日ごとの最低気温をもとめる さいたま市の1時間ごとの気温データはとりあえず20日と21日だとこんな感じ。 2014-09-20 01:00 18.5 2014-09-20 02:00 18.0 2014-09-20 03:00 18.1 2014-09-20 04:00 17.5 2014-09-20 05:00 17.5 2014-09-20 06:00 17.5 2014-09-20 07:00 18.0 2014-09-20 08:00 18.6 2014-09-20 09:00 18.7 2014-09-20 10:00 19.0 2014-09-20 11:00 19.4 2014-09-20 12:00 19.7 2014-09-20 13:00 20.2 2014-09-20 14:00 20.5 2014-09-20 15:00 20.7 2014-09-20 16:
Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath - プログラマでありたい
RubyでHTMLやXMLをパースする構文解析ツールの定番は、Nokogiriです。スクレイピングする際の必需品で、なくてはならないモジュールの１つです。ただ色々なことが出来る反面、どこから取りかかれば良いのか解り難い部分もあります。自習を兼ねて、Nokogiri概要と主要な機能を紹介してみます。 Nokogiriとは何か？ ReademeによるとNokogiriとは、「HTMLとXMLとSAXとXSLTとReaderのパーサー」で、特徴としては、XPathとCSS3セレクター経由で探索する機能を持つことのようです。他にもHTMLやXMLのビルダーの機能を持っていますが、HTMLとXMLのパーサー（構文解析器）と覚えておけばよいでしょう。 Nokogiriのクラス構造 Nokogiriは、なかなか巨大なライブラリです。10以上のモジュールと70以上のクラスで構成されていて、yardでダイア
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
スクレイピングのためのNokogiri利用メモ - それはそれ、これはこれ
スクレイピングのチュートリアルを書いてみた。 参考：http://nokogiri.rubyforge.org/nokogiri/Nokogiri.html まだまだたくさんのクラスやメソッドがあるが(読んでない)、HTMLのスクレイピングに限定すれば多分これくらいで十分。 2014-02-16追記 なんかたくさんブックマークされていることに気づいたので、サンプルコードのRuby1.9/2対応のアップデート。 Mechanize周りも修正。WWW::Mechanize → Mechanize 等 (0) 前提知識 Ruby、HTML、DOM、CSSセレクタまたはXPath (1) クラス構造の理解 Nokogiri::HTML::Document < Nokogiri::XML::Document < Nokogiri::XML::Node < Object Nokogiri::XML::
数十行の簡単なスクリプトでWebコンテンツの更新を検知し通知する - すぎゃーんメモ
以前にも似たようなのは書いたのだけど。 某アイドルグループに、ついに待望のファンクラブが作られた。もちろんすぐに入会しました。 そこではその子たちのマネージャーさんが不定期に日記を更新してくれるのだけど、残念なことにRSSとかも無いし、自分でログインして覗いてみないと更新されているかどうかを知ることができない。 自動化せずにはいられない。 ということで、更新チェックするプログラムを書くのだけど、、、 コンテンツが「更新されたか否か」を判定するためには、「一定間隔でコンテンツの内容をチェック」し、「前回チェックしたときと比較して差異があるか否か」を調べる必要がある。 「一定間隔で内容をチェック」すること自体は、cronなどを使えば簡単にできる(ここではWWW::Mechanizeでログイン、Web::ScraperでコンテンツHTMLの解析を行う)。 けど、「前回チェックしたときと比較して差
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SlideShareのスライドをダウンロードできるサイトを作りました。