Goのロギングライブラリ 2021年冬 - moriyoshiの日記
この記事はPySpa Advent Calendar 2021の14日目のエントリーとして書かれました。昨日のエントリーは冷凍食品でウキウキ引きこもり生活 でした。ちなみに私も70ℓの冷凍庫を購入しましたが本当にライフチェンジングでした。 総論: なぜログが必要か 可観測性 たとえ目的は自明でも、その動作までが自明なアプリケーションというものはほぼ存在しません。現実の世界のアプリケーションというものは、動作パラメータだったり実行環境だったり、起動時点でのさまざまな要因によって挙動を変えるものだからです。そして、そうしたアプリケーションにはライフサイクルというものがあります。ここでいうライフサイクルは、アプリケーションの処理が実行されるにつれ、アプリケーションの内外との情報のやりとりで生じる大局的な状態の変化のことです。アプリケーションが並行処理を行うようなものであれば、個々の並行処理の単位
Write and view logs | Google App Engine standard environment docs | Google Cloud
Send feedback Write and view logs Stay organized with collections Save and categorize content based on your preferences. This page describes the logs that are available for App Engine apps, and how to write, correlate, and view log entries. App Engine collects two types of logs: Request log: Logs of requests sent to your app. By default, App Engine automatically emits a log entry for each HTTP req
GAE Flexible Environmentでアプリケーションのログを出力するためにやったこと。 - Qiita
GoogleAppengine Flexible Environmentでのログ出力 皆さん、アプリケーションを作るときにはログはアプリケーションサーバ上のストレージに吐き出してますか〜？？ GAE/go (Standard Environment）ではgoogle.golang.org/appengine/logを利用すればよしなにログビューアーに出力してくれ、ログのフィルタなどもかんたんに行なえ、「なんて素晴らしいんだ！！」と感動したことだと思います。 しかし、GAE/FEでは何もせずともログビューアに出力してくれるというわけではありませんでした。 色々苦労して期待通りに出力するところまでできたので、いろいろ調査したことを含め、いつか誰かの役に立つかもしれないので細かく書いてみようと思います。 ログ出力作戦（第一世代） 最初に考えたログ出力方法としてはStackDriverLoggin
Echoを使ってGAE/Go1.12(第二世代)でいい感じにログを出す - Qiita
概要 GAE第二世代+Go v1.12でechoサーバーを構築する(2019年度版) ではこんなこと書きました。 上記の通り、もう google.golang.org/appengine は使えなくなりました。 代わりに、標準のlogパッケージを使えばいいみたいです。 (省略) うん。こいつは楽ですね。 はい、こんな感じで表示されます。 たしかに表示はされるのですが、以前のGAEログとくらべて非常に貧弱です。このログの出力で開発をすすめるのにはちょっと不安がありました。 AppEngineの第二世代からは、規則にのっとってログを出力する必要があるようです。 https://cloud.google.com/appengine/docs/standard/go112/writing-application-logs ただちょっとそれを独自実装するのは面倒だなーって思ってて、探したところありま
ドキュメントベースの型安全なモバイルアプリ行動ログ基盤の構築 - クックパッド開発者ブログ
こんにちは。PlayStation 5が一向に買えない@giginetです。普段はモバイル基盤部というところでiOSの基盤開発をしています。 皆さん、行動していますか？我々は日々Webサービス上で様々な行動をしています。サービス開発において、改善に活かすための効率的な行動ログの収集方法はしばしば課題になります。 今回は、サービス開発者がモバイルアプリ上で簡単にログを定義し、分析を行えるログ基盤を導入した事例について紹介します。 行動ログとは何か モバイルアプリの行動ログとは、ユーザーのアプリ上の操作や利用状況を取得、集積するためのものです。 例えば、特定の画面を表示したり、特定のボタンをタップしたり、といったユーザー操作を起点として送信されています。 集められたログは、サービス開発のための分析や実態把握に役立てられます。 最近はFirebase Analyticsなど、PaaSの形態で提供
GraphQL(Kotlin)とStackdriver Traceの美しさに惚れました。 - shiraji’s diary
GraphQL(Kotlin)とStackdriver Traceがすごくいい感じだったから見て欲しい。 実装 ここで公開したアプリに修正を加えてみました。 shiraji.hatenablog.com github.com ライブラリの追加 spring-cloud-gcp-starter-traceを使い、Stackdriver Trace*1利用するため、gradleに変更を加えます。 repositories { mavenCentral() jcenter() + maven(url = "http://repo.spring.io/libs-milestone") } dependencies { + val springCloudGcpVersion = "1.1.0.RC2" + compile("org.springframework.cloud:spring-cloud
GAE のログに憧れて – google-cloud-jp – Medium
Google App Engine (GAE) は GCP の他のサービスとの連携が豊富で非常に便利なのですが、その中でも個人的に好きな機能の一つに、Stackdriver Logging に出力されるログの見やすさがあります。 Logging from Google App EngineGAE のログは、上記画像のようにアクセスログとアプリケーションログを一箇所にグルーピングして表示してくれるので、両者のログを行ったり来たりする必要がありません。これは日々の開発や運用で非常に役に立ちます。 今回はこの GAE のようなログ表示に憧れて、他の GCP サービス(特に GKE)でも似たようなことを行えないか模索してみた結果をお話ししたいと思います。 TL;DR条件付きですが、GKE でも以下のようにログをグルーピングして表示することができました。 Logging from Google Ku
並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi
こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 fluentd と同様にプラグイン型のアーキテクチャを採用 しているため、RubyやJavaで簡単なコードを書くことで、様々なファイルフォーマットやストレージに対応することができます。一方で fluentd とは異なり、高速性やトランザクション制御、スキーマを使ったデータのバリ
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Big Sky :: Windows でも色付きでログが出せる golang のライブラリ「go-colorable」書いた。
golang には logger が星の数ほどあるのですが go言語におけるロギングについて — さにあらず コマンドラインオプションについて 分かり辛いので、僕の分かった事だけをメモしておきます。 ログの出力処理は glog.go#output を読めば大体分かります。 -logtostderr これを指定... http://blog.satotaichi.info/logging-frameworks-for-go その殆どがエスケープシーケンスを使って色を出しており、Windows で動かすと残念な表示になる物ばかりでした。 まさかログに色を付けたいという理由だけで ansicon を使うのは悲し過ぎるし、そもそも「ansicon 使ったら負けだと思ってる」ので、go-colorable というライブラリを書きました。 golang の logger はその殆どが標準パッケージの
CloudWatch Logsエージェントを検証してみた
先日リリースされたCloudWatch Logs、監視ツールを開発していた者としては注目せざるを得ません。 特に、ログ監視エージェントにはこだわりがあるので、CloudWatch Logsエージェントの細かな動作に興味をもちました。 そこで、今回はCloudWatch Logsエージェントを5つの観点から検証してみました。 はじめに ログ監視エージェントにとって重要な5つのポイントを考えてみました。 メッセージラッシュ ロングメッセージ ログローテーション 一時的な通信断 エージェント停止 メッセージラッシュ 障害発生時等に短時間に大量のメッセージが発生することをメッセージラッシュと呼びます。 このメッセージラッシュが発生した際にも、安定して動作してメッセージをロストせずに監視できることは、ログ監視エージェントにとって重要なポイントです。 そこで、メッセージラッシュを意図的に発生させ、ロス
0x74696d | Logging with Docker
August 3, 2013 I spent a couple of days this week working on a new deployment design using Docker. Obviously Docker is a new project, so the documentation is a bit of a mess and not quite keeping up with progress on the code. You come to expect that on fast-moving open source projects, so we figured no biggie. But the one almost-deal-breaker for us was trying to figure out logging, so I thought I'
開発メモ#6 : ログの取り扱い : GrowthForecast, Amazon S3, Treasure Data で心労ゼロ - naoyaのはてなダイアリー
開発メモ#6 です。前回から少し間があいてしまいました。 開発メモ#2 : AWS でのホスト / クラウドネイティブなデプロイ - naoyaのはてなダイアリー で書いたように、EC2 へのアプリケーションのデプロイにあたっては Elastic IP の利点を活かしてカジュアルにホストを入れ替えまくっています。ちょっとこのデプロイは慎重になりたいな、と思ったらスナップショットからインスタンスを立ち上げては切り替える、の繰り返し。 この運用をしていると、スナップショットとの差分ができやすいのは chef-solo で吸収するというのが前回、前々回のはなし。 もう一点問題があります。アクセスログやアプリケーションのログです。フロントエンドのサーバをあっちこっち切り替えているうちに、そのままではログが分断されてしまう。ホストを Terminate しようものならログは消失してしまいます。 この
Hunting Field: 「標準出力に色をつけたい！」と思ったときは、このコマンド使ったらいいと思う。
「標準出力の色を変更するためのコマンド」を作った。 これを使えば、tailしているログに任意に色をつける事はもちろん、 pingなど標準出力されるもの全部に色をつける事ができる。 複雑な着色ルールでも、yaml形式の設定ファイルで簡単に設定できる。 結構うまくできた気がする。 経緯この前、標準出力に色をつける方法を知った。 そのログ、色つきでtailしたくないですか？ ふと探してみると、色つきtailがあった。 pctail - CCZE に似た、Python で書かれた色つき Tail やってる事は同じ。何を使って置換するかが違うだけかな。 チョット読んでみたが・・・、色のつけ方いまいち。 せめて、IPアドレスは色変えてほしい。 そしてログだけではもったいない。 いろんなコマンドの標準出力に色をつけたい。 しかし、前みたいにperlをパイプラインでつなぎまくるのはいけてない。（って言われ
Distributed Logging: Syslog-ng & Splunk - igvita.com
By Ilya Grigorik on October 22, 2008 If you haven't already, I encourage you to take Splunk for a test drive. While there is no shortage of distributed log aggregators on the market, few if any come with as much flexibility and firepower when it comes to indexing and search when you need to find a needle in a haystack of log data. After deploying it for a collection of Ruby applications using a si
SLF4J+LogBackではLog4jのDailyRollingFileAppenderのバグが修正されてる - 矢野勉のはてな日記
Java 私の日記のアクセスログで検索キーワードを見ると「DailyRollingFileAppender」というのがよく出てくるようなので書いときます。 Log4jの開発が行われてるのか行われてないのかよく分からないくらい停滞してますが、SLF4J(commons loggingに該当）とlogback（log4jに該当）の開発をlog4j開発者が行ってるようなので、今後Java界隈ではこっちに重きが置かれるかもしれません。 commons loggingがクラスローダがらみでいろんな細かい点で問題があるってことでSLF4Jが開発されたようです。log4jにもいろいろ問題が残ってて、そっちはlogbackでやっているっぽい。logbackはlog4jの正統後継者を目指しているようなので、logger, appenderやLevelの考え方などもそのまま引き継いでいます。logbackのペ
Log4j管理JSP - 現場のためのソフトウェア開発プロセス - たかのり日記
Log4jについて調べていたんだけど、dev2dev（BEA）より「Log4j管理JSP」というツールが公開されていることを知りました。 http://www.beasys.co.jp/dev2dev/resourcelibrary/utilitiestools/adminmgmt.html#Log4jAdministrationJSP ↑を使うと、ログレベルを動的に変更できます。 ミッションクリティカル系のシステムだと、簡単に再起動できないことが多いので、かなり便利なツールですね。 インストールも、WebアプリのディレクトリにJSPを1つ配置するだけなので、とっても簡単♪ 実行すると、次のような画面が表示されます。
Ruby remote logging - juretta.com
# == Synopsis # # Simple remote debug class # # == Author # Stefan Saasen s@juretta.com # # == Copyright # Copyright (c) 2005 juretta.com Stefan Saasen # Licensed under the same terms as Ruby. # == Version # Version 0.1 ($Id: logger.rb 5 2006-01-01 12:51:04Z stefan $) require 'socket' require 'singleton' require 'timeout' class SimpleLogger include Singleton attr_writer :port, :
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.masuidrive.jp/articles/2006/09/25/rails-rss-feeds-for-exception-logger
Testable Logger from Teytek Consolidated Industries