こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work

C言語（C++を含む）を習得したい人，ポインタを勉強したい人はgcc-14を使いましょう．難しいところは gcc-14 が丁寧に解説してくれます C言語の難しいところ 例を示します．C言語で記述された，たった６行のソースコードです int main() { int buf[10]; buf[10] = 0; return 0; } このソースコードには問題があります．初見でわかるでしょうか？ : : : 問題があるのは buf[10]=0 の部分です．C言語でやりがちなミスですが，これがバグやセキュリティホールの原因になります． C言語が難しい理由は二つあります．この手の問題を見逃しやすい点と，この手の問題を理解することが難しい点の二つです gcc 14 に解説してもらいましょう 上記の６行のソースコードをgcc14を使ってコンパイルしてみます ソースコードのファイル名は test.c と

X/Twitterで、打ち合わせすることが決まった相手に「日程調整ツールURLから調整お願いできますかと言うのはダメだ、危機感が足りない」という煽りツイートを見かけたので、「僕は気にしないけど」と言ったら、さまざまな角度から反応が返ってきて驚いた。*1 僕としては「こんなくだらんことで危機感とか言って煽るなよ」くらいに思って、気軽に書いたものだったが、何人かのひとたちから「こんなメール送ってくるやつとは会うのをやめるし取引は絶対にしない」とまで言われて驚いたのですね。 どうも日程調整というものはヒトの心の柔らかい何かに触れてしまう話題であるようです。 日程調整の方法とかどうでもいいことで消耗してないで、サクッと日程調整することで双方の負担を下げた方が合理的であるとは思ってはいるのだけれど「強くイヤだという人が現実に存在するのだから、その気持ちを無視するのは合理的ではない」と考えて、見かけた

先日こういうツイートが流れてきた。 Q:なぜ金融系では未だにCOBOLが使われるんですか？ A:お手元にExcelがありましたら任意のセルに「=4.8-4.7-0.1」って入れてみてください。— 遊撃部長F/S&RWAs (@fstora) 2024年6月6日 Q:なぜ金融系では未だにCOBOLが使われるんですか？ A:お手元にExcelがありましたら任意のセルに「=4.8-4.7-0.1」って入れてみてください。 普段我々がゴリゴリ馬車馬のように使っているソフトウェアでよく利用されている浮動小数点型、すなわちfloatやdoubleなどは特定の算術に弱いことが知られている。というかもうこの手の話題はあまりに拡散されてしまったので、なぜかネット民はみんな知っている基礎教養、三毛別羆事件とかデーモンコアみたいな感じになっている。 ちなみにこれはCOBOLかそうではないか、という軸が問題になっ

はじめに マイクロサービスアーキテクチャは注目されている．例えば，Netflixやebay, AmazonをはじめとするBig Techで採用されている．また，マイクロサービスアーキテクチャで設計されたシステムも研究のトピックとして注目されている．アカデミックな研究ではマイクロサービスアーキテクチャで設計されたシステムやデータセットの収集が難しく，そうした研究の多くが実験用のアプリケーションやデータセットを使っている． この記事では，Alibabaで動作するマイクロサービスアーキテクチャで設計されたシステムを分析した論文を紹介する．特にマイクロサービスアーキテクチャのシステムの規模や構造を主に扱う． 概要 Characterizing Microservice Dependency and Performance | Proceedings of the ACM Symposium on

期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、DBaaS/BaaS/その他編（2024年版） いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期限の制約なくずっと無料で提供される、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。 こうしたサービスは評価や一時的なテスト環境、あるいはホビー用途などに適しています。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2024年版としてまとめました。（有料サービスの追加機能として無料で提供されているものは除外しています）。 ただしこれらの無料のサービスは、提供側の都合により一時的に申し込みや利用が制限されたり、提供が終了することがあります。提供側の都合に留意しつつ、良心的な範囲でご利用

期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、主要クラウド/PaaS編（2024年版） いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期限の制約なくずっと無料で提供される、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。 こうしたサービスは評価や一時的なテスト環境、あるいはホビー用途などに適しています。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2024年版としてまとめました。（有料サービスの追加機能として無料で提供されているものは除外しています）。 ただしこれらの無料のサービスは、提供側の都合により一時的に申し込みや利用が制限されたり、提供が終了することがあります。提供側の都合に留意しつつ、良心的な範囲でご利用いただ

in Figma four years ago, we decided to develop our own solution. No other design tool offered this feature, and we didn’t want to use operational transforms (a.k.a. OTs), the standard multiplayer algorithm popularized by apps like Google Docs. As a startup we value the ability to ship features quickly, and OTs were unnecessarily complex for our problem space. So we built a custom multiplayer syste

DELISH KITCHENで扱うデータには、大別してレシピデータなどの主に入稿によってしか変動しないものと、お気に入りなどユーザの行動によって変動するものとが存在しています。 両者を比較すると、マスタデータの方は変動性が低い傾向があるため、キャシュについても異なる戦略が必要となります。 DELISH KITCHENのリリース当初から現在に至るまでのキャッシュ戦略の変遷や、その際どのような試行錯誤を経てきたか、また今後の展望について、Goの実装を交えてお話します。

RubyKaigi参加歴をふりかえる / Looking Back on My RubyKaigi Participation History #kaigieffectLT

これはサマリ（ここを更新していきます）情報提供（コメント）歓迎！！ イテレータによってGoはどう変わるのか Dive into gomock Data Race Detection In Go From Beginners Eye Go1.21から導入されたGo Toolchainの仕組みをまるっと解説 Cleanup handling in Go Custom logging with slog: Making Logging Fun Again! Goにconst型修飾を期待しなくてよい理由 GoのLanguage Server Protocol実装、「gopls」の自動補完の仕組みを学ぶ バイナリを眺めてわかる gob encoding の仕様と性質、適切な使い方 Unified Diff 形式の差分から Go AST を構築して feature flag を自動計装する Mapのパ

2023/8/9にリリースされたGo1.21 新たに導入されたツールチェーン(Go Toolchains) 次の内容を知ってもらい、Toolchainを使いこなせるようになること ・導入が必要となった背景 ・導入で期待されること ・具体的にはどう使うのか ・どんな挙動なのか

以下の文書はBashを使う前提の話。 Bashにはコマンド置換(Command substitution)というのがある。$(another-command)のように、$()でコマンドを括る記法だ。これを利用すると、括弧で括られたコマンドが実行され、その標準出力が文字列として取り出され、$()全体を置き換える。シェルスクリプトでは非常によく見る技術だ。 この$()でファイルの内容を読み出すというのを最近見た。このような用法は非常によく見る。 foo-command $(cat params.txt) しかし、より良い書き方があるのでこれを提唱したい。$(< params.txt)と書くことで全く同等のことができる。しかも速いのでこちらのほうが完全に上位互換となる。 foo-command $(< params.txt) この方法はBashのドキュメントのコマンド置換のコーナーにちゃんと書か

今話題の退職代行を使って会社を辞めた話なんだけど。 というか、話題になってくれたおかげで退職代行の存在を知り、この前、会社を辞めれたんだよね。 その会社の社長がヤバい人なので、これが広まり過ぎたら身バレ怖いし消すかも。 ということで書きます。 会社に入った経緯俺はギリ関東平野のFラン私大を卒業したものの、もともとのコミュ障をさらにこじらせて地元の実家に半分引き篭もりながら単発の倉庫仕分けなどのバイトを不定期でやっていた。 当然、満足に稼げないので、同年代と同じくらいの月収を目指そう、でもフルタイムで働くのはきつい、ということでパチスロを始める。 「俺は同年代と同じくらい稼いでいるんだぞ」という安心感が欲しかったんだと思う。 でもそんなうまいこと行くわけもなく、1ヶ月のバイト代が4時間で消えたこともあったよ。 6年くらいして、自分にパチスロの才能がないと思うようになり、kitaitiという人

『マンガ ドラゴンクエストへの道』は、エニックスが出版事業に参入してまだ日が浅い1990年2月に出版された。 同時期の「モンスター物語」などと同じB5判で、280ページ以上もある長編だ。 中身はご存じだろうが、堀井雄二と中村光一がエニックスと出会い、ドラクエ1を開発するまでの経緯をマンガにしたもの。 有名な本だ。 現在も本書は一線級の資料として扱われており、ときにはゲーム史の参考文献として使用されていることもある。 本の中にはフィクションともノンフィクションとも書いてないのだが、大部分は事実に沿って構成されているが、もちろん一部は脚色も入っているという見方が一般的である。 そこに罠があったという話を、今回やっていこうと思う。 いろいろあったが、結局入手するしかないという考えに至り、こうなった。 のち91年にガンガンコミックスから再編集版が出ているが、単純にオリジナル版のほうが内容が多いよう

CTO協会 2024年合同新卒研修のLT

2024/06/05に行われた、OCHaCafe Season8 #5 - Kubernetesで作るIaaS基盤で用いた資料です。 commpass: https://ochacafe.connpass.com/event/316645/

これは何？ いわゆる退職エントリです。タイトルの通り、今月末でメルカリを退職することになりました。 一度の離脱を挟んで足掛け5年勤務し、今日がメルカリの最終出社日でした。大変お世話になった会社なので、感謝の意を込めて個人的な振り返りを書き残しておこうと思います。 注記：ネガティブな内容はほぼ出てきません。「退職」という文字を見てネガティブな内容を期待されて記事を開かれた皆さま、ご期待に添えず申し訳ありません🙇 おまえ誰？ ML_Bear と申します。最近は機械学習エンジニアを名乗りつつ生成AI驚き屋も行わせていただいております。 メルカリ入社当初はデジタルマーケター兼データサイエンティストでした。後述の通り、メルカリ在籍中に機械学習エンジニアへのキャリアチェンジの機会をいただきました。 メルカリで何をしてたの？ ざっくりいうと、前半はデジタルマーケター兼データサイエンティストとして、後半

はじめに NTPとは？ 今回作るもの・レシピ 構築手順 (HW) 構築手順 (SW) シリアルポート・カーネル関連設定 gpsdのインストールと設定 ntpのインストールと設定 動作確認 PPS信号の取り込み 家庭内PCと同期テスト 性能評価（結果) 後日談 採用メッセージ はじめに こんにちは。ABEJA大田黒です。これはABEJAアドベントカレンダー2022の6日目の記事です！凄く唐突ですが....タイムマネジメントは社会人の基本！そしてタイムマネジメントを支えるPCの時計は精度をよくしたいですよね？！という事で、今回はGPS衛星 + RaspberryPiを使ったNTPサーバー (Stratum1)を構築方法について紹介します。 NTPとは？ ネットワークを使って時刻合わせをする有名な仕組みとしてNTP(Network Time Protocol)があります。電波時計のネットワーク版