NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース｜ミック
近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見られるように、RDBとNoSQLが鋭いトレードオフを発生させていたのに対して、NewSQLではそれが解消されているのが分かる。 RDB vs NoSQL vs NewSQL本当にそのような夢の実現に成功しているか、というのはまだ議論が続いているが（クエリのスループットを出すためにレイテンシを犠牲にしているので本当にトレードオフを解消はしていない、などの問題が指摘されている）、商用でも利用可能な製品としてGoogle Spanner、TiDB、YugabyteDB、Coc
米国連邦政府におけるクラウド戦略「Cloud First」の失敗と教訓｜ミック
本稿の趣旨は米国連邦政府のクラウド推進戦略、いわゆる「Cloud First」から始まる一連の政策が辿った経緯を概観することである。米国のクラウド戦略は、掛け声こそ勇ましかったものの、あまりうまくいかなかった。これは筆者の主観ではなく、連邦政府自身がそれを認めるレポートを出している。あとで具体的に見ていこうと思う。 本邦においてもガバメントクラウドが本格的に動き出している。さくらインターネットが政府公認のベンダーとして認証を受けたことが話題になったのはつい最近のことだ。本邦のクラウド戦略もかなり米国のそれを参考にしており、そのまま進むと同じ轍を踏む可能性もなきにしもあらずである（実際には米国と日本では政府の置かれている状況がかなり違うので、一概に米国と同じ道筋を辿るとは言い切れないのだが）。しかし、世界で最も積極的にクラウドを採用した政府がどのような点で成功し、どのような点で苦しんできたか
“LLM for SRE“の世界探索 - ゆううきブログ
ChatGPTが登場した当初、対話や要約、翻訳、コード生成などの典型的な言語タスクができても、SREやAIOpsの研究開発にはあまり関係ないのではないかと正直思っていた。AIOpsでは典型的にはいわゆるObservabilityデータ（メトリクス、ログ、トレースなど）が入力となるため、自然言語ではなく数値のデータを解析することが求められる。自然言語のタスクを研究対象としていなかったため、AIOpsとChatGPTに強い関係性は見いだせなかった*1。 しかし、自分で大規模言語モデル（Large Language Model: LLM）を日常的に使用したり、表題にあるようにSREのためのLLM（LLM for SRE, LLM4SRE）に関する論文を読むうちに、LLMのテキスト生成器としての性質よりもその優れた推論機械としての性質に注目するようになった。特にSREの障害診断は、人間の専門家が推
モデムをつなぐのに必要だったRS-232-CというシリアルI/F 消え去ったI/F史 (1/3)
RISC-Vも一段落したところで、さて次に何をやろうかと編集氏と話あっていた時に出たお題が「あとやってないのは消えていったインターフェースですかね。IDEとかSCSIとかRS-232Cとか」。うん、まぁそれはアリだな、なんて思いながら仕事をしていた時に、いろいろ筆者にお題を下さることで定評のある(?)岩崎啓眞氏が「RS-232Cだった時代を知らない人たちの方が圧倒的に多い」なんて事をPostされてて、これはちょうど手頃なお題ではないか、と確信した次第。 そうか…どんなPCでもたいていあった（もしくは準備可能だった）インターフェースがセントロとRS-232-Cだった時代を知らない人たちの方が圧倒的に多いわけだよなあｗ — 岩崎啓眞@スマホゲーム屋＋α (@snapwith) February 3, 2024 ということで、「昔のPCにはあったのに、もう今はどこに行ってしまったやら」というI/
HTTPが全てを飲み込む（前編）～HTTPの2層構造と、HTTP Semanticsとは何か？
Webを構成する重要な要素の1つであるHTTPは、その最新仕様で2層構造となり、バージョンに関係なく使えるSemanticsと、特徴の異なる通信仕様を定めたHTTP/1.1、2、3に分割されました。 さらに現在では、HTTPの上にあらためてUDPやIP、イーサネットなどのプロトコルを実装する提案が行われており、まさにHTTPは通信の全てを飲み込む勢いで進化しつつあります。 こうしたHTTPの最新動向の解説が、大手CDNベンダでエッジクラウドなども展開するFastlyが2023年11月8日開催したイベント「Yamagoya 2023」で同社シニアプリンシパルエンジニアの奥一穂氏が行ったセッション「HTTPが全てを飲み込む」にて行われました。 本記事ではこのセッションをダイジェストで紹介していきます。記事は以下の3つに分かれています。 HTTPが全てを飲み込む（前編）～HTTPの2層構造と、H
GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる
GitHub、1200台以上のMySQL 5.7を8.0へアップグレード。サービス無停止のまま成功させる GitHubが提供するGitHub.comは、世界最大のソースコード管理システムを始めとするソフトウェア開発者向け支援サービスを提供しています。 そのGitHub.comはRuby on Railsで構築されており、同社はつねにRubyとRuby on Railsをアップデートし続けていることを今年（2023年）4月に明らかにしています。 参考：GitHubは200万行規模のRailsアプリケーションであり、毎週RailsとRubyを最新版にアップデートし続けている そして同社はこのGitHub.comを支える1200台以上のMySQL 5.7を、GitHub.comのサービスレベルを維持したまま1年以上かけてMySQL 8.0にアップグレードしたことをブログで明らかにしました。 Up
もし明日、上司に「GPT-4を作れ」と言われたら？ Stability AIのシニアリサーチサイエンティストが紹介する「LLM構築タイムアタック」
オープンLLMの開発をリードする現場の視点から、開発の実情や直面する課題について発表したのは、Stability AI Japan株式会社の秋葉拓哉氏。Weights & Biasesのユーザーカンファレンス「W＆Bカンファレンス」で、LLM開発のポイントを紹介しました。全2記事。前半は、LLM構築タイムアタック。 「GPT-4を作ってください」と言われたらどう答える？ 秋葉拓哉氏：みなさん、こんにちは。秋葉と申します。それでは、発表させていただきたいと思います。 みなさん、さっそくですが、「GPT-4」ってすごいですよね。ここにいらっしゃっている方々はこれについては、もう疑いの余地なく、同意してくださるかなと思います。 では、質問なんですが、もし「GPT-4を作ってください。予算はあるんだよ」と上司に言われたら、どう答えますか？ ということをちょっと聞いてみたいですね。 これはけっこう意
絵文字を支える技術について｜nona
はじめにこちらはmhidakaが建立したAdvent Calendar Day.3となります。 こんにちは、はじめまして、のなと申します。mhidakaさんのTweetを見つけて、初めてAdvent Calendarなるものを書いています。なにかお作法間違っていたら大目に見てください、よろしくお願いします。 軽く自己紹介をさせていただくと、普段はGoogleでAndroidのTextまわりの開発を行っており、DroidKaigiやShibuya APKで発表させていただいたりしています。最近はほぼ絵文字の話しかしてないので、絵文字おじさんと思われてそうですが、普段の仕事は絵文字に限らず、Androidの文字表示の部分は大抵面倒をみています。 今回この機会をいただいたので、どんな内容を書こうか迷ったのですが、やはり皆が読んで面白い内容というと、絵文字になるのかなぁ、ということで性懲りもなく絵
Apache Iceberg とは何か - 流沙河鎮
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f
100万ユーザーをログアウトさせずに新認証基盤に移行した話
即戦力人材と企業をつなぐ転職サイト「ビズリーチ」は2009年にサービスを開始し、スカウト可能会員数は190万人以上（2023年1月末時点）のユーザーにご利用いただくサービスに成長しました。 今回、その「ビズリーチ」の認証基盤としてIDaaS（Identity as a Service）のOkta Customer Identity Cloud（Powered by Auth0）（以下Auth0という）の導入を行いました。 本記事では認証基盤を刷新するに至った背景とAuth0を用いて100万を超えるユーザーをログアウトさせることなく移行した方法についてご紹介いたします。 前提 本記事で得られる情報 本記事を読むことで以下のような情報を得ることができます。 IDaaSを選ぶ理由 IDaaSを用いて認証・認可を運用中のプロダクトに組み込んだ事例 運用中のプロダクトに組み込む際に発生しうる課題と対
限界ソーラー発電所、現在の機器構成 - はてなの鴨澤
現在のウチの屋上仮設発電所の機器構成を記録しておく。どんどん変わっていくのでスナップショットだ。 いまウチでは5.1kWのソーラーパネルと5kWhのLiFePO4バッテリーで運用している。これがどのくらいの電力に相当するかというと、普通のご家庭の電気需要（450kWh/月くらい=1日15kWh）に対し、晴れると20kWhほど発電するパネルの方はすこし余る程度（天気が悪い日があると足りない）。バッテリーの方は1日の需要の1/3程度（しかも全容量使ってはならない）なので、オフグリッドにはまるで足らず、ピークシフトには使えるという量である。ウチは普通のご家庭ではないが、電力需要はちょうどこのくらいなので、この数字で考えてほしい。 仮設状態なので、まだ商用電力をたくさん使っている。昼間は4.5kWのパネルが台所とエアコンを支え、600Wのパネルがその他の負荷を削る。台所の分はほぼ完全にオフグリッド
画面のないノートPC「Spacetop」を体験--ARメガネで無数のウィンドウを表示
筆者の膝の上には、小型のキーボードとトラックパッドが置かれている。しかし、ディスプレイはない。少なくとも、周囲からは見えない。しかし、拡張現実（AR）メガネをかけた筆者の目には、自分を囲むように湾曲した作業空間が広がり、数十ものウィンドウが開いているように見える。 筆者がこの「Spacetop」を初めて使ってみたのは1月、ラスベガスでのことだったが、開発元のSightfulは今回ついに同製品の先行アクセスプログラムを開始すると発表した。これまでARや仮想現実（VR）のヘッドセットを数多く見てきたが、こうした未来のゴーグルやメガネと連携するように設計されたユニークな周辺機器はほとんどなかった。Spacetopの最大の売りはゲームやソーシャルの体験ではなく、ノートPCを無数の仮想ディスプレイを備えたAR対応デバイスに変えることだ。 これを売りとするのが奇妙に聞こえるなら、筆者のようにすでにそれ
Pythonは遅い遅い言われてJITとか中途半端なことせずにフルネイティブコンパイラを作ったらどうですか？
回答 (13件中の1件目) JIT方式は中途半端なものではありません。もちろん万能でなんでも優れているわけでもありませんが以下の利点があります。 * プログラムは単一の機械独立、OS独立の形式で配布できる(実行時に実行環境の機械語に変換できる) * 配布形式が小さくなる。マシン中立なバイナリ表現にした場合は特に。 * 全体をネイティブコンパイルするのではなく、速度にシビアに関わる最内周ループや何度も実行される場所に限ってネイティブコンパイルすることで実行に必要なメモリフットプリントを減らすことができる。 * 実行時だけわかる情報を元にした最適化やコード生成が可能。例えば、 *...
Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%
Scaling up the Prime Video audio/video monitoring service and reducing costs by 90% The move from a distributed microservices architecture to a monolith application helped achieve higher scale, resilience, and reduce costs. At Prime Video, we offer thousands of live streams to our customers. To ensure that customers seamlessly receive content, Prime Video set up a tool to monitor every stream view
ChatGPTの仕組み、どのように機能しているか深く掘り下げて解説
ChatGPTをすでに使用している人は多いと思います。また、使用していなくても興味があり、これから使用してみようという人もいるでしょう。 ChatGPTはその仕組みが分からなくても使用できますが、どのように機能しているのか分かると今よりさらに使いこなせるようになるかもしれません。 How ChatGPT works: a deep dive by Dan Holick 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 ChatGPTがどのように機能しているか 終わりに ChatGPTがどのように機能しているか ChatGPTなどの大規模言語モデル（Large Language Model、以下LLM）は、どのように機能していると思いますか？ それらは驚くほどシンプルであると同時に非常に複雑なものです。 心の準備はいいですか？ では
複雑なシステムでは、すべての要素が正しくても障害が起きる。カオスエンジニアリングから継続的検証へ（前編）。JaSST'23 Tokyo基調講演
複雑なシステムでは、すべての要素が正しくても障害が起きる。カオスエンジニアリングから継続的検証へ（前編）。JaSST'23 Tokyo基調講演 Netflixが始めた「カオスエンジニアリング」は、現在では大規模なシステムにおける可用性向上の手法のひとつとして確立し、広く知られるようになりました。 そのカオスエンジニアリングという手法を定義したのが、元Netflixカオスエンジニアリングチームのエンジニアリングマネージャーを務めていたCasey Rosenthal（ケイシー ローゼンタール）氏です。 そのローゼンタール氏が、ソフトウェアのテストに関わる国内最大のイベント「ソフトウェアテストシンポジウム 2023 東京」（JaSST'23 Tokyo）の基調講演に登壇し、「Chaos Engineering to Continuous Verification」（カオスエンジニアリングから継続
Docker終焉は別にしないと思うけど、知っておいたほうがいい知識の補足を書く - inductor's blog
Docker一強の終焉にあたり、押さえるべきContainer事情 を読んで漠然とDockerが終わるって思った人、素直に手をあげてください。別にDockerは終わりません。なんかむしろWASMとかんばるぞって息巻いてて可愛いので頑張って欲しいと個人的には考えています。 その昔、Kubernetes 1.20からDockerが非推奨になる理由 - inductor's blog を書いたら炎上しました。最初の記事の書き方が良くなかったという反省はあるにせよ、世間一般で「Dockerは開発環境で使うやつ」という認識があまりにも広がりすぎているというのが良くわかる勉強の機会になりました。 逆を言うと、みなさんがこれらの記事を読む時には、Dockerという言葉に含まれる意味に注意して読んでいただきたいと思っています。Dockerには大きく分けて以下の意味が含まれると僕は考えています。 Docke
GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
シナリオライター講師DK氏が教える「低文章体力」での文章生成テクニック 榊一郎先生の「文章力は筋トレ」の話も
同じウェハなのにCore i9とi5を分かつ「決定的瞬間」とは
