Meta's Transparent Memory Offloading Saves Them 20~32% Of Memory Per Linux Server - Phoronix
Meta's Transparent Memory Offloading Saves Them 20~32% Of Memory Per Linux Server Written by Michael Larabel in Linux Kernel on 20 June 2022 at 06:15 PM EDT. 29 Comments Meta's engineering team today published an interesting blog post about Transparent Memory Offloading (TMO) as a new Linux kernel feature they developed that is already used in production on Facebook/Meta servers. Within Meta's dat
インテル、ついに不揮発性のメインメモリ「Intel persistent memory」発表、実稼働デモ公開。2018年に新型Xeon「Cascade Lake」とともに登場予定
Intel persistent memoryはデータの保持に電力を必要としない、不揮発性メモリの一種だ。データをメモリからストレージに保存する必要がなくなるなど、コンピュータのアーキテクチャを一変させる可能性を持つ。 現代のコンピュータは基本的にメインメモリとしてDRAMを利用しています。DRAMはアクセスが高速な一方、容量あたりの単価は高く、それゆえ大量にコンピュータに搭載することが難しく、またデータを保持し続けるのに電力を必要とします。 このDRAMの能力と性質を補完するため、一般に現代のコンピュータには二次記憶装置として大容量で安価かつ電力がなくてもデータを保持し続けられるハードディスクドライブなどのストレージを備えています。 こうした現代のコンピュータの構造を一変させようとインテルが5月16日に発表したのが、大容量かつ低価格、しかもデータの保持に電力を必要としない、同社とマイクロ
メモリを消費するけど重複排除されない perl ワンライナー
► 2024 (1) ► 3月 (1) ► 2022 (6) ► 4月 (1) ► 3月 (4) ► 1月 (1) ► 2021 (8) ► 12月 (1) ► 11月 (1) ► 5月 (2) ► 4月 (2) ► 3月 (1) ► 1月 (1) ► 2019 (3) ► 12月 (1) ► 9月 (1) ► 6月 (1) ► 2018 (3) ► 12月 (2) ► 11月 (1) ► 2017 (4) ► 12月 (1) ► 9月 (1) ► 2月 (1) ► 1月 (1) ► 2016 (9) ► 11月 (1) ► 10月 (1) ► 8月 (2) ► 6月 (1) ► 5月 (2) ► 2月 (1) ► 1月 (1) ► 2015 (9) ► 12月 (3) ► 10月 (2) ► 8月 (1) ► 6月 (1) ► 3月 (1) ► 1月 (1) ► 2014 (19) ►
“第3のメモリー”の衝撃、ストレージとDBが一変する
出典：日経コンピュータ 2012年12月20日号 pp.70-77 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 2012年、DRAMでもフラッシュメモリーでもない“第3のメモリー”の量産出荷が始まった。DRAM並みに高速でありながら、フラッシュ同様に電源をオフにしてもデータが消えない「新世代不揮発性メモリー」だ。新メモリーによってコンピュータのアーキテクチャーは激変し、入出力（I/O）の大幅な高速化が実現すると共に、消費電力は激減する。 コンピュータには、高速だが電源をオフにするとデータが消える「主記憶装置（メインメモリー）」と、低速だがデータが消えない「外部記憶装置（ストレージ）」という2種類の記憶装置がある。 こんなコンピュータアーキテクチャーの常識が一変する可能性が出てきた。DRAM並みに高速でありながら不揮発性を備えた「新世代不揮発性メモリー」の量産出荷が始
Fusion-io、10億IOPSの新技術「Auto Commit Memory」発表。ストレージなんてレベルじゃない、パーシステントなメモリだ
現代のコンピュータにおいて、メモリとストレージはプロセッサと並ぶもっとも基本的な構成要素です。高速なアクセスを担当するのがメモリ、データの永続性を保証するのがストレージです。 Fusion-ioは、ストレージ性能に換算すると10億IOPSという超高性能を実現するAuto Commit Memory（ACM）を発表。ACMとは、永続性を備えた新しいタイプのメモリだと説明しています。 ACM is a new memory type that uses the underlying flash to present a persistent memory directly to applications. ACMはフラッシュを基盤に用いた新しいタイプのメモリであり、アプリケーションに対して永続性を備えたメモリを直接提供する。 Fusion-ioは、PCIeスロットに接続する高速なサーバ内蔵型フ
Linuxメモリ管理の最先端を探る（2/2） － ＠IT
小崎 資広 2008/5/22 VM（仮想メモリ）の改善 昔からのLinuxユーザーの方は、カーネル2.4の時代に、一時期VM（仮想メモリ）が不安定で悩まされていたことを覚えている方もいるかもしれません。 現在のVMは、Andrea Arcangeliの作成した割とシンプルな設計なVMに、Rik van Rielの作成したページフレームからページテーブルエントリを逆引きするためのreverse mappingという機能を追加したものが基本となっています。 これは、コードの複雑さと性能の間でバランスの取れた、なかなか評判のいいものだったのですが、カーネル2.6の登場から約5年がたち、だんだんアラが目立つようになってきました。 というのも、当時は一般的なパソコンのメモリ量は256M～512Mbytes程度で、サーバでも4Gbytesの壁を超えるようなマシンはまれでした。しかし、DRAMの急激な
DDR2メモリがまた下落、1GB=780円、2GB=1,480円に
ゆるやかな値下がりが続くDDR2メモリだが、今週、ついに1GB 780円、2GB 1,480円という格安価格が飛び出した。ソフマップ 秋葉原 本館（5F）が「リニューアルオープン特価」として販売しているPC2-6400品で、「数はそれなりにある」（同店）という。 この価格で販売されているのはKINGMAXのパッケージ品。「ジャンク扱い」などの保証条件もついておらず、お買い得感はかなり高い。なお、先週のPC2-6400最安値は1GB 1,170円、2GB 1,980円だ。 なお、メモリチップの市場単価は現在、1Gbit品で0.88ドル、512Mbit品で0.4ドル前後とされる。 メモリ相場全体の状況については「メモリ最安値情報」（22日調査/掲載予定）も参照のこと。 □関連記事 【2008年11月15日】メモリ最安値情報 http://www.watch.impress.co
減り続けるメモリ残量！ 果たしてその原因は!?
物理メモリ使用状況の把握には何を使う？ では、ストレージとの同期情報まで加味したメモリの使用状況監視を行うには、どうすればよいのでしょうか？ 実は現在（注2）のところ、「これで完ぺき」という方法はありません。ただ、それでは困るので、ここでは次善の策としてActiveとInactiveを監視する方法を挙げます。 ActiveとInactiveはvmstat -aやcat /proc/meminfoなどと入力することで取得できます（図5）。 Activeはページキャッシュや無名ページ（注3）のうち、最近利用したり、まだストレージとの同期が取れていない「捨てられない」ページです。Inactiveは、同じくページキャッシュや無名ページのうち、最後にアクセスされてからある程度時間がたち、ストレージとの同期も完了していて、すぐに捨てられるページです。よって、/proc/meminfoの出力でいうところ
携帯電話の本体メモリ、秋から一気に32GBまで向上へ
500万画素カメラの搭載や音楽再生機能など、大容量コンテンツを扱うことが多くなった携帯電話ですが、ついに本体メモリが32GBにまで増大することが明らかになりました。 現在発売されている携帯電話の中で最も記録容量の大きいiPhone 3Gの16GBモデルの2倍にあたるという、とんでもない容量ですが、ソニー・エリクソンがiPhone 3Gに対抗して大容量ウォークマンケータイを発売する可能性などはあるのでしょうか。 詳細は以下の通り。 業界最大 32ギガバイトの組込み式ＮＡＮＤ型フラッシュメモリなどの新製品発売について このリリースによると、東芝は43ナノメートルの製造プロセスを用いた32ギガビット（4GB）のNANDチップ8枚を組み合わせた、業界最大容量の32GBの組み込み機器向けメモリを開発したそうです。主に携帯電話などへの搭載を目的としており、HD画質で4時間、SD画質で7.3時間、ワンセ
daily dayflower - 2007-05-24 ■[linux][pc] SC420 では物理メモリ 4GB はフルフルに使えない
最近メモリが安いので，Dell PowerEdge SC420 にメモリ 4GB とおごってみました。ところが OS から見えるメモリは 3GB 強程度。さらっと調べた感じだと， PAE を有効にすればできるよ，たぶん x86_64 な OS だと大丈夫だよ，たぶん という意見がよく出てくるのですが，私の環境では PAE カーネルにしてもだめでした。ということであれこれ探し回って，4GB（以上）のメモリを使うために何が必要なのかを調べてみました。 結論ですが， ハードウェアサイドの要件として IA32 の場合 CPU が PAE（物理アドレス拡張）に対応していること といっても 4GB もメモリを詰めるような環境では当然対応してます チップセットが 8GB 以上のメモリをサポートしていること MCH（昔でいう North Bridge）が 33 bit 以上のアドレス空間を利用できる必要が
![daily dayflower - 2007-05-24 ■[linux][pc] SC420 では物理メモリ 4GB はフルフルに使えない](https://cdn-ak-scissors.b.st-hatena.com/image/square/02bffaa5470ee1a2d972f0b2c39305ca932a4756/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12921228815719320363%2F10257846132645968519%2F1538704199)
革命の日々！ linuxのmlockが凶悪な件について
諸卿もご存知の通り、Linuxのメモリアロケーションはmalloc(), mmap()した段階ではメモリ割付をせず、最初にメモリにアクセスしたときに行うという俗に「first touch」と呼ばれるアロケーションポリシーを採用している。 さて、んでは、このmmap()したけどまだ実際にはメモリ割付されているないアドレスにたいしてmlock()したらどうなるか。 というと、この時点でメモリ割付が走る。 走るのはいいんだが、これがまたベラボーに遅い。 別にLinuxカーネルのアルゴリズムが悪いわけではなくて、メモリ割付をする＝そのページを０クリアするという事なので、DRAMのアクセス速度が超えられない壁となって立ちはだかるわけだ。 じゃあ、どのくらい時間がかかるか計算してみよう。 まず、DRAMをDDR2 PC5300と仮定しよう。イマドキ、こんなもんよね。 これでアクセス速度理論値 5300
Kernel/Internal/メモリ管理 - PukiWiki
ストレートマッピング カーネル仮想空間は物理アドレスにそのままの順番でマッピングされる。 カーネル空間のアドレスの変換は以下のように行われている。 virt_to_phys()ではアドレスからPAGE_OFFSETを引く phys_to_virt()ではアドレスにPAGE_OFFSETを足す include/asm/io.h pre> static inline unsigned long virt_to_phys(volatile void * address) { return __pa(address); } static inline void * phys_to_virt(unsigned long address) { return __va(address); } /pre> include/asm/page.h #if CONFIG_X86_4G_VM_LAYOUT #
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Memory_pressure - linux-mm.org Wiki
2.6.32 Linux kernel Virtualization memory De-Duplication
IBM Developer
「32bit と 64bit の差異」（1） Linux Square － ＠IT
503 - Service Unavailable