同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
RedisでTTLが不正なアイテムを探す | DevelopersIO
こむろ＠札幌です。 寒い。 *1 まずはこちらをご覧ください このグラフは ElastiCache（Redis）の BytesUsedForCache の3ヶ月にわたるメトリクスです。 波があるものの単調増加しているのが分かります。そしてある期間で急転直下しています。 細かい波は Expire による自動削除。後半の不規則な小さい波と巨大な急転直下が Eviction による強制的なアイテムの削除によるものと思われます。 背景 背景です。 Spring Boot 2.1.0.RELEASE Java ベースの Webアプリケーション（APIサーバー、一部UIを提供している） マスタデータのCacheやSession情報を Redis に格納している Redis 周りのライブラリは以下を利用 spring-boot-starter-data-redis spring-session-data
Redisの25倍のスループットDragonflyを試してみる
インメモリデータストアを現代風に再実装したら? 高速なデータアクセスのためのインメモリデータストアとしては、RedisやMemcachedが有名です。ただし、これらは10年以上前に設計されており、Memcachedに至っては、2003年と約20年前です。 長い年月を経て、機能追加や最適化が進む一方で、どうしても設計の古さも目立ってきます。 その課題を解決すべく開発されたのがDragonfly です。 全ての操作がアトミック 高スループットでもミリ秒未満のスループット を目指し、Redis/Memcached互換なAPIを提供します。 Redisの25倍のスループットを誇り、1インスタンスで百万オーダーのQPSをさばけます。 開発者が実施したAWS EC2上のベンチマークによると、Dragonflyは本家RedisやRedisのマルチスレッドforkであるKeyDBよりも圧倒的なスループット
ElastiCache redisの運用 重要な初期設定 | 優技録
このままだとEC2のAutoScaling等で削除した後もコネクションが残っては溜まり続けて障害に繋がる危険性があるのです。だからシステムに合わせて適切に設定していきます。 具体的には60秒あたりが無難 リリース時の注意 timeout設定(コンソールにて設定) Cache Parameter Group新規作成 新規作成したCache Parameter Groupのパラメータを編集します timeout 0 → 60 Cache Parameter Groupの付け替え 3-1. [Cache Clusters]⇒[対象を選択]⇒[Modify] 3-2. Cache Parameter Groupのセレクトボックスから新規作成したグループを選択して【Modify】をクリック キーに必ずtimeoutを設定しておくこと キーにTTLの設定を必ず行って下さい 必ずTTLが減少して消えてい
ElastiCache (Redis)のクラスターモードの作成メモ - Qiita
概要 ElastiCache (Redis)のクラスターモードの作り方を確認した時のメモです。 環境 ElastiCache Redis 4.0.10 参考 Redis 用 Amazon ElastiCache Amazon ElastiCache のドキュメント Command reference - Redis Redis latency problems troubleshooting redis-cli, the Redis command line interface ElastiCache (Redis)をクラスターモードで作成する クラスターを作成する 「クラスターモードが有効」にチェックを入れます 「シャード数」に3、「シャードあたりのレプリカ」に1を指定すると、マスターノードが3つ、それぞれのマスターに1つのスレーブノードが作成されるので、計6ノードが作成されます。 1つ
サーバレスRedisを提供する「Lambda Store」登場。無料で256MB、25同時接続まで利用可能
キーバリューストアを高速なインメモリデータベースとして提供するRedisを、AWS上のマネージドデータベースとして提供する新サービス「Lambda Store」が登場しました。提供元は同名の新興ベンダLambda Storeで、現在AWS上で利用可能です。 AWS上のマネージドなRedisデータベースは、すでにAWSが提供する「Amazon ElastiCache」や、RedisLabsが提供する「Redis Enterprise」などがあります。 今回登場したLambda Storeの特長は、その名前が示すとおりRedisをサーバレスモデルで提供するため、使った分だけ料金が発生する従量課金になっている点にあります。これにより、月額料金のほかのサービスよりも圧倒的に安いと同社は主張。 さらに、Lambda Storeを利用しているサービスが成長し、大量のアクセスが発生するようになった場合、
redis clusterを自力で構築してみた - Qiita
redis clusterを構築する際は、redis-tribという便利なツールがありますが、ここではredis-tribを使わずに自力でclusterを構築する手順を書きます。 ※redis-tribを使った方が安全に、簡単に構築できますし、いろんな機能があるのでちゃんと作るときはredis-tribを使うのを強く推奨します。 redisを3台起動する [redis clusterの作り方]を参考に3台起動してください。(参照先URLの手順は3まで行います) ここでは7000～7002 portを使って3台でクラスタを構築します。 redis.confにてcluster-enabled yesとするとcluster-config-fileに設定されたファイル名のクラスタ設定ファイルが作られます。 ただ起動しただけだと、こんな感じ
Amazon ElastiCache for Redis とは - Amazon ElastiCache for Redis
Amazon ElastiCache は Redis エンジンと Memcached エンジンの両方で動作します。関心のあるエンジンのガイドを使用してください。必要なエンジンがわからない場合は、このガイドの「Memcached と Redis の比較」を参照してください。 ElastiCache for Redis の概要 Redis を使用する既存のアプリケーションは、ほとんど変更することなく ElastiCache を使用できます。アプリケーションに必要な情報は、デプロイした ElastiCache ノードのホスト名とポート番号だけです。 ElastiCache for Redis には、重要な本番稼働用環境へのデプロイに対してサービスの信頼性を高めるのに役立つ複数の機能があります。 キャッシュノードの障害の自動検出と復旧。 レプリケーションをサポートする Redis クラスターでの、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS EC2にredisをインストールする - Qiita
NAVER D2