PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
膨大なデータから最適な結果を得るための検索エンジン·Cloud Mining MOONGIFT
Cloud Miningはタグクラウドや全文検索を使った構造化データに向いた検索エンジンです。 Webサイトで常に必要になるのが検索エンジンです。最近は全文検索エンジンが人気ですが、より大量の構造化データを検索するのに最適な検索エンジンとしてCloud Miningを紹介します。 デモです。IMDBを解析した検索エンジンです。 画面上部にタグ（検索キーワード）が出ています。 さらにタグを追加します。 最終的に1件にまで絞り込まれました。 こちらも別な検索エンジンです。 Cloud Miningは全文検索としてSphinxを使い、データからタグクラウドを生成したり、絞り込んだ件数の表示、年数や共演者などのデータをピックアップもできます。複雑な構造データから望んだレコードを取り出すのに使えそうです。 Cloud MiningはPython製のオープンソース・ソフトウェア（GNU Affero
charles leifer | Using python and k-means to find the dominant colors in images
Using python and k-means to find the dominant colors in images October 23, 2012 17:23 / algorithms python / 17 comments I'm working on a little photography website for my Dad and thought it would be neat to extract color information from photographs. I tried a couple of different approaches before finding one that works pretty well. This approach uses k-means clustering to cluster the pixels in gr
動画を一枚の画像に敷き詰め、グリッチしてまた動画に戻す - 閉村観光
僕は.modや.sidなどの音楽ファイルをバイナリを壊してグリッチ音を作ったりするのですが、映像などには全く明るくないので以下の内容はすでに何方かがやっていたりする話なのかもしれない。 さて以下の文章を読みました。 要約 : Apple iPhone5のページのJPEGとJSとcanvasタグによるビデオの実装がやばいという話 上の内容からちょっとした疑問がわきまして、動画を一枚の画像に敷き詰め、その「敷き詰め画像」をグリッチしてまた動画に戻したらどうなるか？。 １．まず動画(http://archive.org/details/BflOggGX1963)を準備します。お猿さんがシェイクスピアを叩いています。 ２．ffmpegなどで動画から画像の連番を書き出します。３０秒ほど抜き出しましょう、全部で９００枚です。 ３．「敷き詰め画像」を作ります。コードはpythonです。 import I
Google の Leak Finder を使ってみました - WebOS Goodies
先日、 Google から Leak Finder というツールがリリースされました。主に Closure Library を対象として、メモリリークの検出を行うツールです。 Closure Library は比較的規模の大きいアプリケーションに使われることが多く、その分メモリリークの危険も高いので、こうしたツールはとてもありがたい。さっそく試してみました。 インストール Leak Finder は Python で構築されているので、 Python の処理系（バージョンが明記されていないのですが、たぶん 2.6 か 2.7？）が必要です。もっとも、 Closure Library で開発をしているならすでにインストール済みでしょうから、それを使ってください。 インストール先のディレクトリはどこでもいいのですが、私は ~/leak-finder ディレクトリを作成して、そこにすべてを入れる
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
LDAP/ADとの認証連携もできるGit/Hg管理·RhodeCode MOONGIFT
RhodeCodeはGit/Hgに対応したリポジトリ/プロジェクト管理システムです。 最近流行のVCSと言えばGitとHgをはじめとする分散型バージョン管理ではないでしょうか。企業内でこれらのリポジトリを使っているならその管理に利用したいのがRhodeCodeです。 プロジェクト一覧です。 一つのプロジェクトを表示しました。cloneするURLやコミットログも表示されています。 コミットやマージの状態がビジュアル化されています。 タグ一覧です。 コミットの内容です。 別なリポジトリです。こちらはGitです。 コミットログを見ると差分が確認できます。 RhodeCodeはリポジトリのPull/Pushサーバになり、コードレビューも行えます。さらに全文検索を持っています。企業用途に嬉しいのがLDAPやActiveDirectoryを使った認証に対応していることではないでしょうか。APIもあり、
PythonでWeb開発入門 みんなのPython Webアプリ編 HTML版(無料) | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
ブロックチェーンの入門書を書きました。暗号やハッシュなどを含め，基礎からブロックチェーンの仕組みを学べる書籍です。いろんな方に「新しい技術を学ぶことの楽しさ」を感じ取ってくれたら著者として嬉しいです:-)。お金は技術的にどのように定義されるのか。 一部読者から高い評価をいただき，絶版となりながら中古市場でプレミア価格がついていた拙著「みんなのPython Webアプリ編」のHTML版をお送りします。Pythonを使って，Webアプリを開発するための方法を，基本的な事柄から積み重ね式に解説した書籍をHTMLにしたのが本コンテンツです。 編集部のご厚意で作ってもらった配布用PDFをベースに作っています(PDF作成だけでなく，出版契約の解除など必要な手続きを快く受けて頂いた担当様にはとても感謝しております)。構成などは著書をベースにしていますが，HTML化する過程で少し手直ししてあります。特にP
オープンソースで学ぶ社会ネットワーク分析
本書は社会ネットワーク分析の基礎理論への理解を、オープンソースのプログラミング言語Pythonを使って体感しながら深めるための書籍です。ソーシャルネットワーク分析の背景となる理論を学びたいスタートアップ企業や、社会学の理論をプログラミング言語を使って実践的に研究したい研究者などにとって、役立つ知識を学ぶ助けとなります。なお本書はEbook版のみの販売となります。 2012/7/20 誤植等を修正してファイルをアップデートしました。2012-7-20版をダウンロード可能です。 2013/5/20 誤植を修正してファイルをアップデートしました。2013-5-20版をダウンロード可能です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場
独自のQ&Aシステムを作ろう·Askbot MOONGIFT
AskbotはCNPROGから派生したQ&Aプラットフォームです。 Yahoo!知恵袋やOKWaveなどQ&Aサービスは人気があります。そんなQ&Aシステムとして海外で有名なのはStackOverflow.comですが、そのクローンとも言えるのがAskbotです。 トップページです。StackOverflow.comに似ています。 質問詳細画面です。 ログインです。ユーザ登録の他、各種ソーシャルサービスを使ってログインできます。 ユーザプロフィールです。 タグ一覧です。 回答のない質問の一覧です。 バッジ機能にも対応しています。 AskbotはDjangoで作られており、CNPROGから派生したシステムになっています。質問、投票、回答、バッヂ、タグなどQ&Aシステムに必要な仕組みは網羅しています。 AskbotはPython/Django製のオープンソース・ソフトウェア（GPL v3）です
MITにてSICPのクラスが復活!? | gihyo.jp
コンピュータサイエンスを学ぶ古典として『計算幾プログラムの構造と解釈』（注1）があります（通称、「SICP」）。MIT（マサチューセッツ工科大学）で、この書籍を教材にプログラミング入門のカリキュラムが組まれていることで有名でしたが、年が経つにつれ内容が合わなくなってきたことにより、もとはSchemeという言語を使っていたのがPythonに変わり、教材も新しくなっています。 この流れを嘆き悲しむ人は少なくなく、本家MITでもそのような人が多かったのかどうかはわかりませんが、Independent Activities Period（IAP）という1月の4週間で学生や教師が自由にクラスを作ることができるしくみにより復活（？）しました。「ゾンビ」と名付けられたクラスのページには講義資料や演習問題などが公開されています。 教材はSICPを踏襲しつつ言語のみをPythonに置き換えている
Djangoで書かれた開発用ドキュメントビューワー·Read the Docs MOONGIFT
Read the DocsはDjango製のドキュメントビューワーで、Python向けのドキュメントフォーマットSphinxに対応しています。 Pythonで作られたソフトウェア、ライブラリのドキュメントを閲覧、検索できるソフトウェアがRead the Docsです。Sphinxで書かれたドキュメントを読み取り、リッチな表示をしてくれます。 トップページです。様々なプロジェクトが登録されています。 登録されているソフトウェアのトップページです。バージョンやリポジトリなどの情報も載っています。ここからePubやmanpageのダウンロードもできます。 ビルドのリザルト一覧です。 ドキュメントです。右側に見出しが並んでいて左側に内容が記載されています。 次のトピックにも対応していてさくさく読めます。 検索機能ももちろんあります。 ユーザごとの参加プロジェクトです。 Read the Docsは
スマートフォンにも使える。SVGでグラフを描画するPythonライブラリ·svgplotlib MOONGIFT
svgplotlibはSVGで各種グラフを描画するPythonライブラリです。 Webシステムを作っていて悩みどころになりやすいのがグラフ表示です。もし利用言語がPythonで、スマートフォンへの対応も考えないといけない時にはSVGでグラフを描画するsvgplotlibが良い選択肢になるかも知れません。 グラフの例です。上にコードが書いてある通り、30度ごとに中心から70の線を引いています。 TeXを組み込んで数式を表示することもできます。 棒グラフです。 ガントチャートです。 折れ線グラフです。二つのデータを表示しています。 円グラフです。タイトルやラベルも表示できます。 対応しているのはTeXシンタックス、円グラフ、棒グラフ、ガントチャート、XYグラフとなっています。SVGなのでインラインに出力して表示できるのが魅力かもしれません。 svgplotlibはPython製のオープンソース
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
[Webサービス] Pythonプログラミングを2時間で学べる43個のチュートリアル動画。 | Last Day. jp
[Webサービス] Pythonプログラミングを2時間で学べる43個のチュートリアル動画。 最終更新日： 2012/03/19 Python はじめにプログラミングが楽しくなってきました。([Programming] 猫とRubyを始めました 基礎文法まとめ | Last Day. jp) Youtubeには沢山の動画がアップロードされているのは皆さんご存知だと思いますが、今の時代プログラミングもYoutubeで学べてしまうんです。 今日紹介するのはPythonというプログラミング言語のYoutubeチュートリアル動画です。 初心者向けです。動画は英語ですが、スクリーンキャストを見ながらなのでわかりやすいです。 Python チュートリアルPython Programming Tutorial – 1 – Installing Python Pythonをインストールする所から教えてくれま
PythonやLuaをWeb上で実行。LLVMをJavaScriptに変換する·Emscripten MOONGIFT
EmscriptenはLLVMをJavaScriptに変換するソフトウェア。PythonやLuaをWebブラウザ上で実行できる。 EmscriptenはPython/JavaScript製のオープンソース・ソフトウェア。LLVM（Low Level Virtual Machine）という技術がある。ソースコードをアーキテクチャに依存しない中間コードに変換し、最適化した上で各マシン向けにネイティブなコードを出力することでより効率的なバイナリを作成できるというものだ。 Python実行例 つまりLLVMが生成する中間コードを使えば、元々の言語は気にせずに動くという訳だ（おそらく）。それを実証してくれるプロジェクトがEmscriptenだ。 EmscriptenはLLVMの中間コードをJavaScriptに変換するソフトウェアだ。つまり中間コードにさえ変換できれば、それをJavaScriptに変
Pythonドキュメントの日本語訳のPDFがすごい - 偏った言語信者の垂れ流し
先日公開されたPythonドキュメントの日本語訳のPDFがすごい。なにがすごいって、ページ数が合わせて3000ページぐらいあるところが。 ダウンロードファイル一覧 - Python Japanese Environment - OSDN いつもお世話になってます。ドキュメントの著者、翻訳者の方々に感謝。 追記 このPDFはSphinxというドキュメンテーションシステムを使って出力されてます。 オリジナルはreStructuredTextという形式のテキストファイルです。 Overview — Sphinx 1.4.3 documentation Sphinx-Users.jp — Python製ドキュメンテーションビルダー、Sphinxの日本ユーザ会 Google Project Hosting
Pythonを使う理由と作った物(ソース付)
みなさん、Pythonってご存知でしょうか？ ニシキヘビ。。ではないです。 プログラミング言語のPythonです。 ↓Pythonのロゴ。蛇が2匹です。 このPython。日本国内では、それほど知名度は高くないのですが、2010年で最も成長したプログラミング言語にも選ばれるなど、急速に人気の高まりつつある言語です。2011年にはPHPとC++を抜かして3位になれそうな勢いです！では、このPython、どうして急に人気がでてきたのでしょうか？理由は大きくわけて3つあると思います。 Pythonが急に普及し始めた理由 GAEで動作する これが最大の理由だと思います。Googleのサーバを使って簡単にサービスを提供できます。1日あたり1GBまでの転送なら、料金は一切かかりません ※1。無料利用分を超えて使った場合も、課金設定(1日当たりの支払い額の上限）を設定するだけで、簡単にサーバを増強できま
Python製表計算ソフトウェア·Pyspread MOONGIFT
PyspreadはPython製の表計算ソフトウェア。 [/s2If] PyspreadはPython製のオープンソース・ソフトウェア。ビジネスの場で最も多く利用されているのではないかと思われるのが表計算ソフトウェアだ。MS Excelのようなローカル型はもちろん、今ではGoogle SpreadsheetのようなWebアプリケーション型も存在する。 ツールバーもあり、意外としっかりしている そんな表計算ソフトウェアではあるが、単なる情報入力だけでなくマクロや計算式を埋め込んでこそ真の価値が表れてくるだろう。VBAで組むのは嫌だ、というPythonプログラマーはPyspreadを試してみても面白そうだ。 PyspreadはPythonで作られた表計算ソフトウェアだ。単なる文字入力もできるが、面白いのは各セルに入っているのはPythonオブジェクトという点だ。そのため計算式もPythonのコ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pyjaco: The Python-to-Javascript Compiler