TCPパケットを解析して構造化ログでダンプするツール tcpdp を作った - Copy/Cut/Paste/Hatena
やっと形になってきました。 github.com 「データベースのクエリログを取得したい」 例えば、データベース（RDBMS）のクエリログを取得したいとき一番確実な方法は、そのRDBMSに備わっているログ機構を利用することです。 一方で、全てのクエリログを出力するとなるとそれなりにIO負荷がかかることが予想されるので、負荷状況によってはクエリログ出力（のIO負荷）を別サーバに分離したくなります。 では、どうすればよいかというと、例えば アプリケーションサーバとデータベースサーバの間にプロキシサーバを挟んでそこで記録することでIO負荷を分離する アプリケーションサーバ側で（notアプリケーションで）記録することで（大抵、サーバ台数の多い）アプリケーション側にIO負荷を分散する というような方法を思いつきます。 そこで、「もし、TCPコネクション上に流れている（例えば）クエリログを解析してログ
模倣サイトとして各所から注意喚起が出されているサイトについて徳丸さんに聞いてみた
高橋: こんにちは、高橋です。今日は徳丸さんをお招きして、今話題の『模倣サイトとして各所から注意喚起が出されているサイト』についてお話を伺います。徳丸さん、よろしくお願いします。 徳丸: 徳丸です。よろしくお願いします。 高橋: まず問題のサイトですが、NTT東日本、NTTドコモ、日本銀行、外務省、総務省など様々なサイトを模倣したサイトが見つかっていて、各社、各省庁が注意喚起をしているというものです。詳しくは、北河拓士さんのまとめをごらんください。 徳丸: これ、総務省のサイトだと、http://www.soumu.go.jp.○○○.org/ のように、ドメイン名の先頭が本物と同じだし、中身も同一だしで、見た人がびっくりしたのでしょうね。 高橋: はい。これはパクリのサイトではないのですか? 徳丸: パクリではありません。PROXYサーバーの一種で、元のサイトのアクセスして、その内容をそ
Reverse Proxy がなぜ必要か - naoyaのはてなダイアリー
フロントエンジニアに知ってもらいたいリバースプロキシの重要性 | RickyNews この記事が目に入って読んでみた。なるほど、昨今は Reverse Proxy は便利な L7 ルーター的なものとして認識されているのだな、と思った。URL の Rewrite や、VirtualHost 云々。確かに Reverse Proxy の便利な側面ではある一方、それらは Nginx などの Reverse Proxy でなければ実装が不可能かと言えばそんなことはないものでもある。 自分は Reverse Proxy はもうすこしサーバー/インフラ的な側面でその役割を捉えている。今更何をというものでもあるが、昼休みがてら時間があるので簡単に書いてみよう。 Reverse Proxy はWebシステム全体のリソース最適化のためのパーツ Reverse Proxy のインフラ的な視点での役割は「Web
Proxyデバッグソフト「Charles」がすごい
Proxyデバッグソフト「Charles」がすごい 最近、色々な業務でMacのProxyデバッグソフト「Charles」が大活躍しています。 主に次のようなケースで利用しています。 本番環境にあるJavaScriptやCSSを修正して欲しい 本番環境がASPだったりしてローカルで環境を生成できない際にチャールズを利用してJavaScriptファイルやCSSファイルだけローカルのファイルを参照することができます。 メニューのToolsからMap Localを選択、Map Fromにサーバー上のURLを、Map Toにローカルパスを記述します。そうするとPCからURLにアクセスする際にローカル上のファイルに差し替えられます。 URLは存在しないものでも大丈夫なので、Ajaxなどを実装するには架空のURLをローカルのファイルに向けておけば大丈夫です。 本番環境にあるJavaScriptやCSSを
NginxでSSLラッパー - taslamの日記
クライアント---(HTTPS)---Nginx---(HTTP)---Webサーバ という使い方もできる。 user nginx; worker_processes 4; error_log /var/log/nginx/error.log; pid /var/run/nginx.pid; events { worker_connections 1024; } http { upstream web { server 192.168.0.8:80; } # Webサーバに振り分け server { listen 443; server_name www.taslam-example.jp; # --------------- SSLの設定ここから --------------- ssl on; # サーバ証明書（サーバ証明書に中間CA証明書を連結したもの） ssl_certificate
nginx: Setup SSL Reverse Proxy (Load Balanced SSL Proxy)
nixCraft → Howto → CentOS → nginx: Setup SSL Reverse Proxy (Load Balanced SSL Proxy) A reverse proxy is a proxy server that is installed in a server network. Typically, reverse proxies are used in front of Web servers such as Apache, IIS, and Lighttpd. How do I setup nginx web server as SSL reverse proxy? When you’ve multiple backend web servers, encryption / SSL acceleration can be done by a reve
CentOS / Redhat: Install nginx As Reverse Proxy Load Balancer
nixCraft → Howto → CentOS → CentOS / Redhat: Install nginx As Reverse Proxy Load Balancer How do I configure nginx as failover reverse proxy load balancer in front of two Apache web servers under CentOS / RHEL 5.x? nginx is a Web and Reverse proxy server. Nginx used in front of Apache Web servers. All connections coming from the Internet addressed to one of the Web servers are routed through the n
仙石浩明の日記: Android 端末上で透過型プロキシを動かしてみる 〜 VPN のように使えて、しかも省電力
透過型プロキシ (Transparent Proxy) というのは、 ブラウザから 「見えない」 プロキシのこと。 ブラウザ自身は WWW サーバにアクセスしているつもりなのに、 ブラウザが送信したリクエストをプロキシが横取りし、 プロキシから出し直す。 サーバからのレスポンスは当然プロキシに返り、 プロキシがそれをブラウザに送信するのだけど、 パケットがブラウザに届くまでの間に送信元アドレスが書き換えられて、 サーバから直接レスポンスが届いたようにブラウザからは見える。 フツーの 「見える」 プロキシは、 ブラウザ等でプロキシ設定が必要であるのに対し、 透過型プロキシだと設定が不要。 だから一部の ISP (インターネット接続プロバイダ) などで、 フツーのプロキシの代りに使われていたりする (ユーザにプロキシ設定の方法を説明する必要がなくてサポートコストが削減できる)。 あるいは企業等
Corkscrewを使ってHTTP経由でSSHのトンネリング接続を行う - builder by ZDNet Japan
本記事では、「Corkscrew」というクロスプラットフォームプログラムを利用し、HTTP経由でSSHのトンネリング接続を行う方法を紹介する。 あなたには、出社してから必要なファイルを自宅に置き忘れてきたことに気付いたという経験はないだろうか？あるいは、出先でこういった忘れ物に気付いたことはないだろうか？企業やISPのなかには、こういった状況への対応を困難にする厳しいファイアウォール設定がなされているところもある。そして実際に、こういった厳しい設定が絶対に必要だというケースが存在している一方で、それほどではないというケースも存在している。とは言うものの、HTTPプロキシの使用が強制され、SSHが使えない環境であっても、HTTPプロキシを経由してSSHに接続することが可能なのである。 先に述べておくが、本記事は外部へのSSHアクセスがポリシーで明示的に禁じられている環境において、ファイアウォ
Varnish cache - Wikipedia
Varnishは高負荷な動的サイト向けの高性能HTTPアクセラレータ。FreeBSDの有力開発者であるPoul Henning-Kampによって書かれた。他の多くのHTTPアクセラレータはクライアントサイドのプロキシやWebサーバとして開発が始まったのに対して、VarnishはゼロからHTTPアクセラレータとして設計された。VarnishはSquid cacheより10～20倍高速であると公式サイトには書かれている。
Exchangeを使いつつ、Outlook以外のクライアントを利用する·DavMail MOONGIFT
DavMailはWindows/Mac OSX/Linux向けのオープンソース・ソフトウェア。グループウェアのような仕組みやメール、認証を統合して管理すると運用コストが低減し、さらにそうしたデータを活用したシステム化も考えられるようになって便利だ。それをいち早く実現しているのがマイクロソフトのExchangeサーバだ。 実行中 Exchangeは企業内での利用で便利と感じつつも、そのクライアントがOutlookに依存するのが嫌だという人も多いだろう。もっと自由にクライアントを選択したいという時にはDavMailを使ってみよう。DavMailはいわゆるプロキシとしてExchangeのデータをオープンにしてくれる。 DavMailが対応しているプロトコルはPOP/IMAP/SMTP/CalDAV/LDAPとなっている。メール関係とカレンダー、そしてアドレス帳データがオープンになる。これによりT
チームリーダー日記 : [記事]EC2でHAProxy
Load Balancing in Amazon EC2 with HAProxy http://agiletesting.blogspot.com/2009/02/load-balancing-in-amazon-ec2-with.html 全体的に ■設定ファイルの書き方 かなり普通な感じの書き方。mod_proxy_balancerの書き方と雰囲気は似てる。というか、普通な感じ。 ■maxconnの値 デフォルトで2000になっている。 それを超えるとキューされる。 25,000くらいがいいと思うよ、とのこと。 ■だいたいの性能 かなりいい。 20,000コネクションくらいのアクセスが来てるとき、ec2のsmallインスタンスでCPU使用率１％くらい。 これ以上のアクセスが来たら、HAProxy以外の部分がボトルネックになってるだろうから、これで十分だよね。 メモ：smallインスタ
HAProxy - The Reliable, High Perf. TCP/HTTP Load Balancer
Quick News Dec, 5th, 2023 : HAProxy 2.9.0 release This release has received a lot of small changes that are difficult to summarize. Most of them were aimed at improving performance and resource usage in general (zero-copy forwarding, QUIC's smaller footprint for closed connections, improved scalability), others focusing on better integration with other components (support for the AWS-LC crypto lib
TrafficServerProposal - INCUBATOR - Apache Software Foundation
Traffic Server Note: Traffic Server was been promoted to a top level project on April 21, 2010. As a result, the homepage, SVN directory, and wiki links have changed. Abstract Traffic Server is fast, scalable and extensible HTTP/1.1 compliant caching proxy server. Proposal The goal is to create an Apache top level project to Open Source the existing Yahoo! Traffic Server code. Traffic Server (TS f
SafeSquidによるインターネットアクセス管理
コンテンツフィルタリング機能を持つプロキシが必要な場合、高価な統合脅威管理マシンが必ずしも必要なわけではない。それらに匹敵する機能を持つオープンソースのSafeSquidは、ユーザーが20名以下の小さなオフィスであれば、その機能のほとんどが無料で利用できる。 コンテンツフィルタリング機能を持つプロキシは、ネットワーク全体のユーザーやグループを対象としてインターネットへのアクセス権を制限できる。こうしたプロキシは、キーワード、URL、DNS、MIME、画像によるフィルタリング機能によって、好ましくないコンテンツをブロックできなければならない。また、アクセス先のURLを監視して詳細なリポートを生成することでインターネットにおけるユーザーの活動を証明する記録を取ったり、信頼できるウイルス対策サーバにアクセスしてウイルスやマルウェアからの保護機能を提供したりする必要もある。すべてを求めるのは欲張り
Apacheのmod_proxy_balancerを使うときはretryを設定すべき - 射撃しつつ前転
今作っているサービスは、Apacheのmod_proxy_balancerを使ってロードバランシングしている。しかし、バックエンドのサービスサーバを一旦落としてから復帰させると、コネクションがしばらくつながらないという問題に悩んでいた。1分ぐらい放置するとつながるようになるんだけど、1分は結構長い。 よくわからないのでソースを読んでみたところ、mod_proxy_balancer.cを眺めた感じ、ap_proxy_retry_workerという関数がコネクションの再確立をしているのではないかと思えた。しかし、関数の定義を眺めてみると、現在時刻がエラー発生時刻とworker->retryを足した数字よりも大きければworkerのstatusからPROXY_WORKER_IN_ERRORのビットを下ろしているだけで、コネクションの確立がどうのこうのなんて関数はまったく呼ばれてない。ここでなにが
F5がファイル仮想化アプライアンスを発売 － ＠IT
2007/12/17 F5ネットワークスは12月17日、ファイル仮想化アプライアンス「F5 Acopia ARX」を発売した。価格は税別で660万円から。Acopiaは既存のファイルシステムに接続するプロキシとして動作するため、導入に当たって既存ファイルシステムの交換などが不要。プロトコルはCIFSとNFSをサポートする。Acopiaは、2007年9月13日にF5ネットワークスが買収を完了したAcopia Networks社が開発した同名の製品を販売するもの。 Acopiaは、クライアント要求、リソース容量、ネットワークの状態を監視してリアルタイムに対応。データのマイグレーション、自動ストレージティアリング（階層化）、データレプリケーション、ダイナミックな負荷分散のオフロードなどの機能を提供する。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SIOS Tech. Lab - エンジニアのためになる技術トピックス
模倣サイトとして各所から注意喚起が出されているサイトは、模倣サイトではなくAnonymous Proxyサービスと呼ばれるもの
IBM Developer