PythonにおけるPub/Subパターンの実装
Pub/Subパターンとは Pub/Subパターンとは、イベント駆動型プログラミングのデザインパターンです。Publisher（発行者）が発行したイベントをBroker（仲介者）が取りまとめ、Subscriber（購読者）に伝達します。イベントはBrokerが管理しているため、PublisherとSubscriber同士は疎結合となります。 What is Pub-Sub? Rails Publish-Subscribe Pattern Tutorial | Toptalより Observerパターンとの違い 同じイベント駆動のデザインパターンにObseverパターンがあります。 ObseverパターンとPub/Subパターンの大きな違いは、イベントをどこで管理するのかにあります。Obseverパターンは、観測者と観測対象が直接イベントのやり取りを行いますが、Pub/Subパターンでは、E
ThreadPoolExecutorのinitializerについて調べたのでメモ - 静かなる名辞
概要 ThreadPoolExecutorにはinitializerという便利そうなオプションがあります。でもリファレンスの説明があっさりしていて、挙動がよくわからなかったので調べました。 先に断っておくと、このオプションはPython3.7で追加されたもので、それ以前のバージョンでは存在しません。その場合の代替案も書いておくので参考にしてください。 はじめに とりあえず先に書いておくと、concurrent.futures.ThreadPoolExecutorは以下のように使えるものです。 import time import threading from concurrent.futures import ThreadPoolExecutor def job(t): print("in job:", t, int(time.time()) % 1000, threading.get_i
concurrent.futures: 並行処理 in Python
概要 Global Interpreter Lock (GIL) の制約により、 1つのPythonインタープリタでは同時に1つのスレッドしかコードを実行できない。 したがってCPUバウンドなピュアPythonコードを threading でマルチスレッド化しても速くならない。 subprocess による外部プログラム実行やI/OなどGIL外の処理を待つ場合には有効。 一方 multiprocessing は新しいインタプリタを os.fork() で立ち上げるので、 CPUバウンドなPythonコードもGILに邪魔されず並列処理できる。 ただし通信のため関数や返り値がpicklableでなければならない。 それらの低級ライブラリを使いやすくまとめたのが concurrent.futures (since 3.2) なので、とりあえずこれを使えばよい。 新しい asyncio (sinc
pthread のキャンセル
●キャンセルとは pthread には、他のスレッド (あるいは自分自身でもよい --- 普通は pthread_exit しますが) の実行を終了するための手段としてキャンセルが用意されています。 キャンセルは pthread_cancel() 関数を呼び出すことによって 要求することができます。 この関数を呼び出すと、引数で指定されたスレッドに対してキャンセルを要求します。 pthread_cancel() 関数自体は次のようなシンプルな関数なので、 取り消したいスレッドの ID さえ分かれば苦もなく呼び出せます。 int pthread_cancel(pthread_t thread); なお、pthread_cancel() 関数は、対象スレッドに対してキャンセルの要求を出すと、 そのスレッドが終了したかどうかとは無関係に、すぐに戻ってきます。 もし、そのスレッドが確実に終了するま
非同期処理の種類
概要 「非同期処理」と言っても、いくつかのタイプの用途があって、それぞれ書き方や使うクラス ライブラリが異なります。 大まかに言うと、以下のような用途があります。 バックグラウンド処理: 負荷の高い計算や、I/O待ちなどによって、CPUやスレッド資源を保持し続けないために、別スレッドでの計算やI/O待ちを行います。 並列計算: マルチコアCPUの性能を最大限引き出すために、同じ計算を複数のコアで同時に実行します。 データ並列: 同じ処理を異なるデータに対して繰り返し行います。 タスク並列: 異なる処理が独立して動いていて、その間で非同期にデータのやり取り（非同期データフロー）を行います。 C# 5.0 で導入された非同期メソッド（「非同期処理」参照）は、前者のバックグラウンド処理を簡単化するものです。 一方、データ並列には.NET Framework 4 で導入された Parallel ク
スレッド局所記憶 - Wikipedia
スレッド局所記憶（英: thread local storage, TLS）は、静的もしくは大域的なメモリをスレッドごとに局所的に使用するためのコンピュータプログラミングの方法である。 プロセス内のスレッドはすべてアドレス空間を共有しており、同じプロセスのスレッドから参照する際、静的変数やグローバル変数は同じメモリ番地に配置される。 一方スタック上の変数はすべてのスレッドが自分のスタックを持つためスレッドに対して局所的であり、異なるメモリ番地に存在する。 同じ静的変数・グローバル変数を参照する二つのスレッドが（変数をスレッドに対して局所的にすることで）実際には異なるメモリ番地を参照できることが望ましい場合がある。たとえば典型的な例としてC言語のエラーコードを格納する変数 errno がある。 少なくともメモリアドレスを格納できるサイズの変数をスレッドに対して局所的にすることが可能なら、メモ
yunoの雑記帳 - ThreadLocalStorage
スレッドローカルストレージ(Thread-Local Storage)に関するメモ。 スレッド固有ストレージ(Thread-Specific Storage)、 またはスレッド固有データ(Thread-Specific Data)とも呼ばれる。 間違いがあったらごめんね。 何それ † 簡単に言うと、スレッドごとに異なるグローバル変数(static変数でも良い)。 通常のグローバル変数は、プロセスごとに別々で、スレッド間では共有されるけれども、TLSはスレッドごとに別々の記憶領域を持つ。 VC++では以下のように宣言する。 __declspec(thread) int x; __declspec(thread) extern int y; __declspec(thread) static int z; gccでは以下のように宣言する。 __thread int x; extern __th
マルチスレッド開発ガイド： 3.2 スレッド・ローカル・ストレージを利用して同期を軽減する | iSUS
この記事は、インテル® ソフトウェア・ネットワークに掲載されている「Use Thread-local Storage to Reduce Synchronization」 (http://software.intel.com/en-us/articles/use-thread-local-storage-to-reduce-synchronization/) の日本語参考訳です。 編集注記: 本記事は、2011 年 5 月 4 日に公開されたものを、加筆・修正したものです。 はじめに 同期処理はオーバーヘッドを伴うため、マルチスレッド・プログラムのパフォーマンスを妨げる恐れがあります。条件によっては、スレッド間で共有するデータ構造の代わりに、スレッド・ローカル・ストレージ (TLS) を使用することで、同期を軽減し、プログラムの実行速度を向上できます。 この記事は、「マルチスレッド・アプリ
スレッドローカルストレージ ‐ 通信用語の基礎知識
同じプロセスは同じメモリー空間を共有している。 スタックはスレッドごとに異なるためスタックに記憶される変数は局所的となるものの、同じプロセスであれば異なるスレッドであっても同じ静的変数やグローバル変数が参照できる。 しかし、同じ変数でもスレッドごとに一意でなければ困るものもある(例えばerrno変数など)。 このような用途のため、スレッドごとに用意される局所的な領域を、スレッドローカルストレージという。
Pthreadsプログラミング
これまで、UNIXでのマルチスレッドに対応したライブラリやAPIの実装は、ベンダーごとにまちまちで、プログラミング方法も統一されていませんでした。現在は、POSIXがPthreadsとして規定したライブラリが、業界標準として普及しています。本書は、このPthreadsライブラリを使ったマルチスレッドプログラムの設計、プログラミング、デバッグを、銀行のATMマシンの例題プログラムを設計、開発しながら解説します。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用ください。 正誤表1（第2刷時修正） Phreadsプログラミング 第2刷修正 viペ
UNIX上でのC++ソフトウェア設計の定石 (6) - memologue
鉄則6: マルチスレッドプログラミングの「常識」を守ろう POSIXの標準関数のうち、非スレッドセーフであるものの一覧を把握し、使わないようにせよ 自作の関数はスレッドセーフにせよ 共有変数はロックして参照・更新せよ C++を使っているなら、関数を同期化する方法に注意せよ 説明: (1) POSIXの標準関数のうち、非スレッドセーフであるものの一覧を把握し、使わないようにせよ もしPOSIXプラットフォームでマルチスレッドのプログラミングを行うなら、いくらかの最低限の知識、つまり「常識」を知り、厳守する気持ちで望みましょう。 ...まずは、「スレッドセーフ」の意味を理解しましょう。スレッドセーフな関数とは、「複数のスレッドが同時に呼び出しても問題ない関数のこと」です。こういう関数は次のどちらかの性質を満たしています。 局所的静的変数(関数内のstatic変数)や非局所的静的変数(大域変数)
C#での、正しいマルチスレッドプログラムの書き方を求めて - 情報科学屋さんを目指す人のメモ
タグ Windows / インストール / Linux / 設定 / エラー / Java / Eclipse / AutoHotkey / TeX / C# / VisualStudio2008 / 対策 / Subversion / LaTeX / Vista / 方法 / CentOS / Android / Microsoft / Windows7 / Office / バージョン管理 / プログラミング / eclipse / PowerPoint / SSH / Ubuntu / WindowsVista / コマンド / ショートカット / .NET / Desire / VisualStudio / 便利 / P2P / Unix /
軽量スレッドブームだと思うので、そこらへんの情報をまとめてみる - 金利0無利息キャッシング – キャッシングできます - subtech
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HashMapからConcurrentHashMapへの移行
Hash Table Vs Concurrent HashMap and it’s internal working
非同期処理の基礎
NetBSD Kernel Developer's Manual KTHREAD(9)
kthread"(9)" - NetBSD Manual Pages
Linux + スレッド のススメ
Thread scheduling and related interfaces in NetBSD 5.0