PostgreSQLのメモリアーキテクチャを知る
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「AWSエンジニアがGCPメインの会社に転職してみた」を読んでいただいた方々、ありがとうございます。 初めまして、GMOアドマーケティング インフラ開発部のhakumaiです。今年1月にHRTech系企業からGMOアドマーケティングに転職してきました。現職では、女子向けメディア「めるも」のインフラ業務に携わり、日々業務に励んでおります。今回は、私が転職してみて感じたインフラ技術のギャップの一部についてお話しいたします。 前職でのインフラ環境・経験について前職のHRTech企業で触っていたインフラ環境は、ほぼAWSでした。インフラの保守運用業務に加え、新規プロダクトのインフラアーキテクチャ設計構築を経験したこともあり、V... 今回は2回目の投稿になります。 前回と同様に、「AWSエンジニアから見たGCP」
はじめてのPostgreSQLモニタリング入門 / PostgreSQL 11 Monitoring
多言語化対応における TypeScript の型定義を通して開発のしやすさについて考えた / TSKaigi TypeScript Multilingualization
PostgreSQLでSQLチューニングや障害状況調査に使ったクエリ達まとめ - $shibayu36->blog;
最近PostgreSQLでSQLチューニングや、DBが詰まった時の状況調査をいろいろやった。その時に便利だったクエリ達をまとめていく。PostgreSQLのバージョンは9.6系です。 SQLチューニングなどに便利だったクエリ達 それ以降に実行するSQLの実行時間を表示する。参考 https://morumoru00.wordpress.com/2011/05/08/postgresql-sql%E5%87%A6%E7%90%86%E6%99%82%E9%96%93%E3%82%92%E8%AA%BF%E3%81%B9%E3%82%8B%EF%BC%88timing/ \timing 実際にクエリを実行して実行計画や実行時間を表示する。クエリが実行されるので破壊的な操作も実行されてしまうことに注意。トランザクション張って最後にROLLBACKしましょう。参考 https://www.post
PostgreSQL 10正式リリース。論理レプリケーションで特定のテーブルのみ複製、テーブルパーティショニングの容易な構成など
オープンソースのRDB、PostgreSQL 10正式版がリリースされた。新機能には論理レプリケーション、宣言的パーティショニング、パラレルクエリの改善による性能向上などがある。 オープンソースのリレーショナルデータベースとして開発されているPostgreSQLの最新版「PostgreSQL 10」の正式リリースが発表されました。 PostgreSQL 9.0は2010年9月20日リリース、直前のバージョンであるPostgreSQL 9.6のリリースが2016年9月でしたので、1年ぶりのバージョンアップです。 これまでPostgreSQLのバージョンはX.Y.Zで示されるバージョン番号のうちX.Yがメジャーバージョンを示していましたが、PostgreSQL 10からはバージョン番号はX.Yの形式で示され、Xの部分がメジャーバージョンを示すことになるとされています（つまり次のメジャーバージョ
PostgreSQLの実行計画を読み解くための参考資料集 - ぱと隊長日誌
はじめに PostgreSQLは商用DBに比べて書籍が少なく、まとまった情報が入手しにくいです。また、有志の方がPostgreSQLに関する資料を公開していますが、散在しており、せっかくの有益な情報にアクセスしにくい状況にあります。 そこで、本エントリではPostgreSQLの実行計画に焦点を絞り、公開されている有用な資料（書籍含む）をまとめました。読み返したい資料を探しやすくするため、内容のポイントも併せて紹介してます。 本エントリをきっかけに、これらの資料がさらに活用されることを願っています。 前提 各資料の前提としているPostgreSQLのバージョンは異なることにご注意ください。調査対象のPostgreSQLのバージョンが異なれば、状況は変わっているかもしれません。 各資料には内容の重複があり、ほぼ同一内容の場合もあります。重複している内容についてはポイントから割愛することがありま
PostgreSQLで全角半角大文字小文字ひらがなカタカナを区別せず検索したい！というよくあるわがままに応える - ほんじゃらねっと
したいしたい！絶対したい！と駄々をこねられたので調査してみた。 こういった区別なし検索を実装する方法としてパッと思いつくのは、 あらかじめ検索対象となるカラムの検索用カラムを用意して、 データ変更時にトリガーで 元カラムの内容を半角小文字英数字カタカナに変換したデータが入るようにしておき、 検索時はその検索用カラムを使用する、という方法。 これはめんどくさそうだ。 SQL Serverは照合順序の設定で制御できるらしい。 照合順序と Unicode のサポート PostgreSQLも同じことができないかと調べてみたけど、対応してなさそう。 第22章 多言語対応 他に方法がないか調べてみると、 「式インデックス」を使って、自作の変換用関数で変換したデータを インデックスに登録しておく方法を試しているページがあった。 PostgreSQLで全角半角を区別しない問い合わせ この方法なら少なくとも
タグ検索するならPostgreSQLで決まり！
(Last Updated On: 2018年8月13日)PostgreSQL Advent Calender 2013、13日目のエントリです。 表題の通り「タグ検索するならPostgreSQLで決まり！」です。 追記：JSONの場合はPostgreSQLのJSONB型を利用してタグ検索を行うを参照 RDBはタグが苦手 WebアプリではRDBでは取り扱いづらいデータを取り扱う事がよくあります。タグの管理・検索はその一つです。 RDBはタグ情報の管理・検索をしっかりやれますが、どちらかと言うと苦手な分野です。しかし、PostgreSQLの 配列 GIN（Generalized Inverse Index – 転置インデックス） を使うと簡単かつ高速に処理できます。 PostgreSQLを使うとタグ検索が簡単・高速に実現できますが、Googleで「タグ検索 PostgreSQL」と検索しても
コマンドラインでPostgreSQLを操作する – psqlで効率を上げる | POSTD
私は、もう4年も毎日のようにPostgreSQLを使用しています。以前はデータベースとやりとりするためにGUIアプリケーションを用いていました。しかし今では、お気に入りのツールを使いながら効率よく作業できる、ビルトインのコマンドラインツールだけを使用しています。 本稿は、 psql というコマンドラインツールを通して実現可能なタスクを複数のセクションに分けて説明します。ここで挙げる項目は次のとおりです。 psqlの設定 ヘルプの使用 データベースが遊び場 データベースの探索 クエリの作成 出力の比較 データベースのクローン作成 データの抽出 psqlの設定 あらかじめpsqlはある程度設定されています。そのため、本稿では提供されているオプションを詳しく説明しません。psqlの使用がより楽しくなる2つのオプションについてのみ説明します。 1つ目は、データが横長でも正しくスクリーンに映し出され
psqlコマンドのオプションとパスワード入力を省略する - 青木ブログ
psqlコマンドの設定シリーズ第二弾。 ホスト名とかのデフォルトを設定する psqlでDBに接続するときはこんなコマンドで接続しますが…… psql -h xxxx.ap-northeast-1.redshift.amazonaws.com -p 5439 -U myuser dev これオプション多くて面倒じゃないですか。 そこで以下のように環境変数を設定しておけばオプションは全部省略できます。 export PGHOST=xxxx.ap-northeast-1.redshift.amazonaws.com export PGPORT=5439 export PGDATABASE=dev export PGUSER=myuser ユーザー名だけ変えたいみたいなときは、 変えたいものだけ明示的にオプションを指定すればよいです。 パスワード入力を省略する 最後に残るのがパスワード入力ですが、
psqlコマンドのお勧め設定 - 青木ブログ
実はpsqlコマンドは色付きプロンプトを始めとして意外と便利な設定ができるようになっています。わたしが使っているおすすめの ~/.psqlrc を書いておきます。 \set PROMPT1 '%[%033[1;32m%]%n %`date +%H:%M` %R%#%[%033[0m%] ' \set PROMPT2 '%[%033[1;32m%]%R%#%[%033[0m%] ' \timing on \set HISTSIZE 1000000 以下解説 PROMPT1, PROMPT2 お約束の色付きプロンプト。 上記設定は緑のボールドにしていて、色を抜かすとこう↓なります。 '%n %`date +%H:%M` %R%# ' 表示すると「aamine 18:05 =>」みたいな感じです。以下解説。 %[...%] : エスケープが有効 %033 : ESC文字 %n : ユーザー名 %
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（後編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（後編） NTTデータオープンソースDAY2015 PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」で紹介しています。講演内容をダイジェストにしました。 （本記事は「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編）」の続きです） 実行計画をチェックするためにPostgreSQLを騙す。 3つ目は実行計画のチェックです。PostgreSQLのSQL文はコストベースで実行されますので、統計情報を見て、テーブルをスキャン
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
FuelPHP で PDOによるPostgreSQL接続の罠 - Qiita
設定 FuelPHP でDBへの接続設定は、 APPPATH/config/db.php APPPATH/config/production/db.php APPPATH/config/development/db.php にて行います。 FuelPHPのドキュメント によれば、 // PDO ドライバで PostgreSQL を使う設定 'production' => array( 'type' => 'pdo', 'connection' => array( 'dsn' => 'pgsql:host=localhost;dbname=fuel_db', 'username' => 'your_username', 'password' => 'y0uR_p@ssW0rd', 'persistent' => false, 'compress' => false, ), 'identifi
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
pg_bulkload: プロジェクト ホームページ
はじめに pg_bulkloadは一定の制約条件の下で大量のデータを高速にロードするためのプログラムです。 大量のデータを投入するような状況では、細かなチェックは省いてでもいいからとにかく 高速にデータをロードしたいという場面があります。たとえば、あるデータベースに格納 されている情報を別のデータベースへ移送するような状況や、これから投入しようとする データの整合性がすでに別のツールで保証されているような状況がこれにあたります。 このような状況を想定して pg_bulkload は開発されました。 したがって、整合性を確認できていないデータのロードに対して、 pg_bulkload の使用 は適していません。この場合にはPostgreSQLがデータロードのためにもともと用意して いる COPY コマンドの利用をお勧めします。 注意点、使用方法を十分に理解した上で、pg_bulkload を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プライム・ストラテジー、標準のPostgreSQL環境より6倍の高速化を実現した「KUSANAGI for PostgreSQL」を提供開始
富士通、PostgreSQLをインメモリDB、カラム型DB、並列検索、独自暗号、二重化など独自強化。24時間365日サポートと長期保証の「Enterprise Postgres」リリース
メールアドレスのドメイン名でソートするSQL | Urban Theory
まずやっとくPostgreSQLチューニング
富士通研、PostgreSQLの分析処理を50倍以上高速化できる技術を開発
