ブラウザからDBに行き着くまでただまとめる
はじめに あなたはブラウザからデータベース(DB)に情報が行き着くまでにどんな技術が使われているか説明できますでしょうか？ どのようなプロトコルが用いられ、どの技術を駆使してサーバと通信しているのか、Webサーバでは何が行われ、どのようにして負荷が分散されているのか、トランザクションはどのように管理されているのか、そしてデータベースではシャーディングや負荷対策のためにどのような対策が取られているのか… なんとなくは理解しているものの、私は自信を持って「こうなっている！！」とは説明ができません。 そこで今回は「大規模サービス」を題材としてブラウザからデータベースに至るまでの、情報の流れとその背後にある技術について、明確かつ分かりやすく解説していきたいと思います。 対象としてはこれからエンジニアとして働き出す、WEB、バックエンド、サーバーサイド、インフラ、SREを対象としております。 1.
Ubuntu 22.04 LTS サーバ構築手順書
0 issue "letsencrypt.org" 0 issuewild "letsencrypt.org" 0 iodef "mailto:yourmail@example.jp" §OS再インストール さくらVPSのコントロールパネルから、OSを再インストールするサーバを選ぶ。 www99999ui.vs.sakura.ne.jp §OSのインストール操作 Ubuntu 22.04 LTS を選ぶ。 OSインストール時のパケットフィルタ（ポート制限）を無効にして、ファイアウォールは手動で設定することにする。 初期ユーザのパスワードに使える文字が制限されているので、ここでは簡単なパスワードにしておき、後ですぐに複雑なパスワードに変更する。 公開鍵認証できるように公開鍵を登録しておく。 §秘密鍵と公開鍵の作成 クライアントマシン側で生成した公開鍵を ~/.ssh/authorized_k
「多層キャッシュサーバー」を2人×2日で爆速開発 インフラリソースを10分の1にした、Go製サーバー開発の裏側
サイバーエージェントグループ横断でGoに関する知見を共有し合う社内勉強会「CA.go」。今回はその社外版として、「FIFA ワールドカップ カタール 2022」を全64試合無料生中継をした新しい未来のテレビ「ABEMA（アベマ）」のチームがGo活用事例を紹介しました。ここで登壇したのは、江頭宏亮氏。「ABEMA」のレコメンドに対する大規模アクセスを支えるGo製サーバー開発について発表しました。全2回。後半は、「Yatagarasu」に対するリクエストの具体例の説明と視聴者からの質問に答えました。前回はこちら。 Yatagarasuに対するリクエストの具体例を説明 江頭宏亮氏（以下、江頭）：次に、オリジンのYatagarasuへのリクエストを具体的にどのようにやっているのか、説明したいと思います。 先ほど見せたスクリーンショットだと、右側にモジュールが3つ並んでいたと思いますが、実際は縦スク
ブラウザキャッシュの仕組み
はじめに 最近Denoをよく触っており、DenoのSSRフレームワークであるFreshのミドルウェア・キャッシュについて調べている際にブラウザキャッシュのEtagヘッダが使用されており、気になったのでブラウザキャッシュの仕組みについて調べてみました。 Etagの正体 Etagとは、ブラウザキャッシュの仕組みの中で使用されるHTTPレスポンスヘッダーでリソースの特定のバージョンに関する識別子のことです。 Etagがあることでウェブサーバーは、コンテンツが変更されていない場合はレスポンス全体を再送する必要がないので、キャッシュがより効率的になる。 ブラウザキャッシュの設定について ブラウザキャッシュを設定する際に必要なHTTPレスポンスヘッダーはEtagを含めて以下の通りです。 Expiresヘッダー Cache-Controlヘッダー Last-Modifiedヘッダー Etagヘッダー そ
この個人サイトは自作OSで動いています
追記 (2022 5/29): サーバ代をケチるべくVercelに移行しました。動いていたソースコードは ココ に置いてあります。 あなたの予想に反して、このページが見えているでしょうか？このWebサイトは自作OSのKerlaが提供しています。 これは自作OS Advent Calendar 2021の23日目の記事です。 自作OS「Kerla」の紹介 Kerla（かーら）はRustで書かれたLinux ABI互換モノリシックカーネルです。今年の春頃から作り始め、DropbearというSSHサーバが動作する程度には基本的なUNIXの機能が実装されています。具体的には、ファイルの読み書きやUDP/TCPソケット、fork/exec、シグナル、擬似端末といったものです。 カーネル実装の雰囲気を軽く紹介すると、Kerlaでは以下のようにシステムコールが実装されています。 /// write(2)
最近、Terraform のベストプラクティス迷子です - サーバーワークスエンジニアブログ
技術 1 課の水本です。 最近 Terraform のリファクタリングを行っているのですが、ベストプラクティス迷子になっています。 HashiCorp でも明確な方針は打ち出していない為、Terraform を利用する各プロジェクトで方針を決めているのが現実のようです。 今回は私が出会ってきた問題と、それについての対応、見解を書き連ねていきます。 あくまでも私が思ったことですので、「こうしたほうがいいよ！」というネタも募集しています。 workspace 使うのか使わないのか問題 結論として、私自身は workspace という機能を知ったものの、使うことは考えませんでした。 Terraform では workspace という個別のエリアを設けることが可能で、これを prod や staging と命名し作成しておくと、完全に環境を分離できるというメリットがあります。 ただしデメリットと
AWSのECインスタンスに、あたかもシリアルポートでキーボードとターミナルを接続してトラブルシュートできる新機能「EC2 Serial Console」が登場
AWSのECインスタンスに、あたかもシリアルポートでキーボードとターミナルを接続してトラブルシュートできる新機能「EC2 Serial Console」が登場 クラウド上のインスタンスに対して何らかの操作を行う場合、SSHやRDPなどのプロトコルを利用してネットワーク経由で行う方法が一般的です。 しかし、例えばOS上のネットワーク設定を間違えてしまった、ドライバを削除してしまった、などのトラブルによりインスタンス自体のネットワーク接続が失われた場合、当然ながらSSH経由での操作もできなくなるため、トラブルシュートは面倒なものになります。 オンプレミスやデータセンターにあるサーバであれば、最後の手段としてサーバの場所まで操作員が移動し、サーバのシリアルポート経由でキーボードとターミナルを接続することによって、ネットワーク接続が失われたサーバに対しても設定変更の操作が可能です。 しかしデータセ
IPアドレスに縛られない新しい通信識別技術と既存のインターネットが共存するための国際規格が発行されました （METI/経済産業省）
欲しいデータ／コンテンツを取得する際に「場所（IPアドレス）」を指定して取りに行くのではなく、データ／コンテンツの「名前」を指定して取りに行く新しいネットワーク技術と、既存のインターネットが共存するための国際規格が発行されました。 この国際規格により、Society5.0 を支える重要な基盤要素であるIoTにおけるデータ通信が効率化され、様々な産業分野でデジタル化が促進されることが期待されます。 1．背景 現在の通信方式は、通信相手となるサーバの場所（IPアドレス）を指定し、常にそこまでデータ／コンテンツを取りに行くプロセスによって成立しています（図1参照）。この仕組みは、サーバ・端末の位置が変わらず、「一対一」の通信であることを前提として構築されたため、現在のようにサーバ・端末が移動し、「一対多」「多対多」の通信となる場面には十分に対応することができないことがあります。このようなケースで
管理者用初期化URLを踏んでWebサービスのデータをふっとばした話 - Qiita
自己紹介 本職のエンジニアではありませんが、ちょっとICT系に詳しそうなやつって感じで、部署のサーバ管理を任されたりもしています。 背景 私の（当時所属していた）部署では、毎年、数週間かけて前年の各人の業務実績をとりまとめて一つの冊子（PDF）にするという仕事があり、この作業を少しでも自動化するため、Webサービスが内製されました。当初は単純に各ユーザが自分の業務実績一覧をテキストで用意してアップロードするというものでしたが、秘伝のタレのように毎年少しずつ改良されたり、大幅に作り直されて別システムから業務データを取り込んでからブラウザ上で編集できるようになったりしつつ、なんやかんやあって私が引き継ぎます。他にやりたい人もなく、ひとり鯖管です。OSはCentOS6でした。 このシステムでは、毎年新しいデータを編集するため、その作業開始時にデータを初期化する必要があります。この作業も自動化し、
「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」を１年掛けて整理した
こんにちわ。rwle1212です。 本記事は JAWS Days 2020 で話す予定でしたが、昨今の事情によりオンライン開催となったため、登壇予定の内容を記事にしたものになります。 登壇していれば諸般の事情により左手首を骨折したネタが使えたのですが、ブログでは伝わらないので非常に残念な思いをしております。という話はどうでも良いので本題に入ります。 50分の登壇内容なので少々長くなりますが、お付き合いください。 JAWS Days 2019で登壇した内容の振り返り昨年の JAWS Days 2019 で「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」という内容で登壇しました。 まずは上のリンクに添付されているスライドを5分位で読めると思うので一読頂いて、下の文に進んで頂ければと思います。 そもそもInfrastructure as Cod
大規模オンプレミスなヤフーのサーバーインフラの裏側 〜 サーバー調達や運用の流れを紹介します
OEM系→ODM系にシフトした背景ですが、1つは 価格競争力 です。 インフラにおいてプライスは重要な指標です。 また昔と今でヤフーのサーバーの買い方に違いがある事もポイントになっています。 昔のヤフーは、いろいろな部門が、いろいろな構成のサーバーを、いろいろなタイミングで購入していました。 この結果、納期面で有利なOEMを第一選択肢としていました。 またいろいろな構成のサーバーが入る事を考慮した結果、自営保守ではカバーしきれない範囲も多く、ベンダーが提供するサポートに依存している部分もありました。 しかし最近では 自社クラウド環境の普及により、決まった部門決まった構成決まったタイミングで購入するように になってきたため、 納期に関して余裕を持ったスケジューリングができるようになりました。 またクラウド環境で利用できるサーバーはかなりハイスペックなため、価格の数％の違いも大きなビジネスイン
全世界で使われるWebサーバーの開発元「NGINX」にロシア警察の強制捜査、従業員拘束＆機器押収へ
世界中のウェブサービスで利用される無料かつオープンソースのWebサーバー「nginx」を開発するNGINXがロシア警察からの強制捜査を受けた ことがわかりました。この背景には、「ロシア企業がnginxの所有権を主張している」という問題があるとのこと。従業員による情報から、警察によって従業員が拘束され、機器が押収されたことも明らかになっています。 Rambler заявила о правах на Nginx – Бизнес – Коммерсантъ https://www.kommersant.ru/doc/4190259 Telegram: Contact @thebell_io https://t.me/thebell_io/4311 Russian police raid NGINX Moscow office | ZDNet https://www.zdnet.com/ar
【ノーカット掲載】オンプレミスかクラウドか。社内を二分する論争にDeNA南場智子が出した"答え" | フルスイング by DeNA
コスト・品質ともに最高レベルを実現していた、DeNAのオンプレミス。しかし2018年6月、DeNAは全社方針としてそのオンプレミスを捨て、3年の移行期間をかけクラウドに全面移行することを決定しました。 なぜDeNAは経営の意思決定として、当初「3倍のコストになる」と言われたクラウド全面移行に踏み切ったのか？ 本記事では「クラウドシフト決定の判断」に至る経営者の思いを語った『Google Cloud Next ’19 in Tokyo』でのDeNA代表取締役会長 南場 智子（なんば ともこ）講演内容をノーカット掲載します！ 「経営の言語」と「技術の言語」両方話せる人材を信頼する 私がDeNAを立ち上げたのは、1999年。今からちょうど20年前です。もともと、経営コンサルタントをしていました。得意なのは戦略や提携。それからマーケティングや分析などですね。一緒に起業した仲間も、同じファームから連
gumiのCTOが教える、正しいゲーミングWebサーバーの作り方
2019年5月22日、『神姫PROJECT』などソーシャルゲームの企画・開発を手がける株式会社テクロスが主催するイベント「TECH x GAME COLLEGE」が開催されました。第20回となる今回のテーマは「正しいゲーミング Web サーバーの作り方」。株式会社gumi、CTOの幾田雅仁氏が、自身の経験をもとにさまざまな事例について解説します。前半パートとなる今回は、マイクロサービス設計のコツや、整合性を保つための考え方について語ります。講演資料はこちら 正しいゲーミングWebサーバの作り方 幾田雅仁氏（以下、幾田）：株式会社gumiの幾田と申します。よろしくお願いいたします。 本日は「正しいゲーミングWebサーバの作り方 ～あるいは、正しいデータストアとの付き合い方の話～」というタイトルで、マイクロサービスでどうやって設計したのか、そもそもゲーム本体のRDSやNoSQLなどをどう組み合
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 1
「ペパボ研究所」、SSL証明書の動的読み込みに関する論文を国際会議「IEEE COMPSAC（アイトリプルイーコンプサック） 2018」のワークショップ『ADMNET 2018』で発表 | GMOペパボ株式会社
「ペパボ研究所」、SSL証明書の動的読み込みに関する論文を国際会議「IEEE COMPSAC（アイトリプルイーコンプサック） 2018」のワークショップ『ADMNET 2018』で発表 GMOインターネットグループのGMOペパボ株式会社（代表取締役社長：佐藤 健太郎 以下、GMOペパボ）で、インターネットに関する新技術の創造と実践に取り組む研究開発組織「ペパボ研究所」は、ウェブサービスにおける大量のSSL証明書の動的読み込みに関する論文が、2018年7月23日（月）～27日（金）に開催される、コンピュータソフトウェア分野の主要な国際会議「IEEE COMPSAC（アイトリプルイーコンプサック）2018」のワークショップ『ADMNET 2018』に採択され、同会議で研究成果を発表いたします。 本論文は、レンタルサーバーやホームページ作成サービスのように、高集積マルチテナント方式（※1）で提供
NGINX Unitが正式リリース。PHP、Go、Pythonなどに対応した軽量アプリケーションサーバ
NGINX Unitが正式リリース。PHP、Go、Pythonなどに対応した軽量アプリケーションサーバ オープンソースで開発されている軽量なアプリケーションサーバ「NGINX Unit」の正式版がリリースされました（「Announcing NGINX Unit 1.0 | NGINX」）。 NGINX Unitは、軽量なWebサーバとして知られるNGINXの開発者であるIgor Sysoevが設計し、NGNIXのソフトウェア開発チームが実装を担当したもの。昨年の9月にパブリックプレビュー版が登場しており、今回それがバージョン1.0に到達しました。 参考： 日本Nginxユーザ会が発足。開発者Igor Sysoev氏が語る、Nginxが生まれ、商用化された理由 － Publickey NGINX Unitの主な特長は、動的制御が可能なためコンフィグレーションやアプリケーションの入れ替え、バー
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側 - LINE ENGINEERING
みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 10個 のお年玉が付与されます。 こういったメッセージが受信されます ユーザーは自分がもっているお年玉を友だちに直接送ったりグループに送信することができ、お年玉を受け取
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SadServers - Linux & DevOps Troubleshooting Interviews
「詐欺メールが来たからサーバーを攻撃しといた」禁断の文字列を入力する攻撃が発想の勝利→「これが現代の呪詛返しか…」
