DBeaverとは？DBeaverの特徴と環境構築・導入方法まとめ
こんにちは、AIQ株式会社のフロントエンドエンジニアのまさぴょんです！ 今回は、DBeaverの特徴や、DBeaverの導入方法について解説していきます。 DBeaverとは？ DBeaverの特徴まとめ DBeaverは、SQLクライアントソフトウェアアプリケーションであり、データベース管理ツールです。 DBeaverには、CE(無料版)とEE(有料版)がありますが、無料版で十分過ぎる性能を持っています。 特徴をまとめると、次のとおり。 特徴1: マルチプラットフォームで対応OSが豊富 Windows / Mac / Linux でアプリケーションが提供されています。 特徴2: 対応DBが豊富 MySQL、PostgreSQL、SQLite、Oracle、DB2、SQL Server、Sybase、MS Access、Teradata、Firebird、Apache Hive、Phoen
より信頼できるクエリを書くために、SQLでもテストを書く - ハヤオキスルフクロウ
はじめに こんにちは、久しぶりに技術系の記事を書きます、株式会社カンムで機械学習エンジニアをしている fkubota です。 今日はSQLについてです。 弊社に入社してから毎日のようにSQLのクエリを書いてきました。 クエリを書き始めてからもう3年が経とうとしています。 日々クエリを書きながら少しずつ自分のスタイルが出来上がってきているのを日々実感しています。 僕は 正確で 読みやすく 再利用しやすいクエリを 高速に 生み出すための工夫を重ねてきました。 結果的にテスト駆動開発ぽいスタイルが生まれたので今日は紹介してみようと思います。 似たような記事がないので少しドキドキですが温かい気持ちで読んでもらえると嬉しいです。 対象読者 対象読者は、分析のためにクエリを書いている人とします。 プロダクトに乗せるクエリというより、ビジネス的になにか示唆を得たいときにクエリを書く人を想定します。 痛み
リーダブルSQL[より良いSQLを書くためのシンプルで実践的なテクニック] - Qiita
はじめに 最近エンジニア界隈では「リーダブルコード」が話題なっていますね。 リーダブルコードでは、このような定理が紹介されています。 「コードは他の人が最短時間で理解できるように書かなければいけない。」 Dustin Boswell リーダブルコード P.3 より引用 SQLでも同じことが言えそうです。 リーダブルなSQLを書いてないと結婚できない時代が今まさに到来しようとしています。 皆さん、クソSQL1を読んだことがありますね？ クソSQLを書いたことがありますね？ 僕は、あります。 そこで、本記事ではどうしたらリーダブルなSQLが書けるかというアイデアを紹介します。 処理の流れの順に上から読めるようにする 人間のメンタルモデルは、問題やタスクを小さなステップに分割し、それぞれを順番に実行することに適しています。 サブクエリを使ったSQLでは、処理の流れは上から下ではなく、ネストされた
![リーダブルSQL[より良いSQLを書くためのシンプルで実践的なテクニック] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9e4b50cb826dc76ffa5a15a97343ab36cac44503/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUUzJTgzJUFBJUUzJTgzJUJDJUUzJTgzJTgwJUUzJTgzJTk2JUUzJTgzJUFCU1FMJTVCJUUzJTgyJTg4JUUzJTgyJThBJUU4JTg5JUFGJUUzJTgxJTg0U1FMJUUzJTgyJTkyJUU2JTlCJUI4JUUzJTgxJThGJUUzJTgxJTlGJUUzJTgyJTgxJUUzJTgxJUFFJUUzJTgyJUI3JUUzJTgzJUIzJUUzJTgzJTk3JUUzJTgzJUFCJUUzJTgxJUE3JUU1JUFFJTlGJUU4JUI3JUI1JUU3JTlBJTg0JUUzJTgxJUFBJUUzJTgzJTg2JUUzJTgyJUFGJUUzJTgzJThCJUUzJTgzJTgzJUUzJTgyJUFGJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1jMjEwYmIwZGRkMTc0MmI1ZGU1OGMxMTQ5ODJiNDI3ZQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwemFja2V5MiUyMGluJTIwJUU2JUEwJUFBJUU1JUJDJThGJUU0JUJDJTlBJUU3JUE0JUJFTSUyNkElRTMlODIlQUYlRTMlODMlQTklRTMlODIlQTYlRTMlODMlODkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTYyNDU1MjZkZTUzZTdlOGQ0NDI5MTJhY2FlNWI2MjM4%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D564d0bbe76f00558f53eda62333d7309)
sqlfmtによって何を解決したいのか
これは何 データ基盤の開発にsqlfmtを導入することについて考えてみたものです。 (チームにsqlfmtを導入するために書いてるものになります) sqlfmtによってどのような課題を解決したいのか 大きくはこれに集約されるかなと思います。 ではスタイル周りにある開発者生産性を阻害する要因とはどのようなものかというと: 読みづらいSQLによるバグの発見の遅れ ロジック周りには関係のない箇所のレビューをする必要性 SQLスタイルのスタンスの違いによる衝突 というものがあります。 これをsqlfmtならどう解決できるかを紹介します。 sqlfmtならどう解決できるか 読みづらいSQLによるバグの発見の遅れ これはそもそもformatterを導入していないことにより生じるものを想定しています。 やたらと長い一行、スペースの無い濃密な一行、揃わないインデント、無意味な改行...などにより、不用意に
The 5 essential data quality checks in analytics | dbt Labs
We’ve talked about the core data quality dimensions and how to think about them with intentionality. We’ve explained how to put those in a framework that is guided by your business. Let’s use this page to talk about the actual foundational data quality checks you should be running on your data, and how dbt Cloud can help make these tests simpler and automated. We’ll cover the concepts of: uniquene
現職がwebのバックエンドエンジニアなのですが今度からデータエンジニアになることになりました。 ふわっとした質問で恐縮ですが、データエンジニアが押さえておくべき技術やおすすめの技術書などありましたらご紹介いただけないでしょうか。 現状として、これまでsqlを書くことはありましたがデータベースそのものやデータの取り扱いは全く詳しくないなと思い詳説データベースとデータ指向アプリケーションデザインは読みました。 また、sparkを扱う予定もあるのですがこれについても(できれば日本語の)良書などもしあればご紹介い
現職がwebのバックエンドエンジニアなのですが今度からデータエンジニアになることになりました。 ふわっとした質問で恐縮ですが、データエンジニアが押さえておくべき技術やおすすめの技術書などありましたらご紹介いただけないでしょうか。 現状として、これまでsqlを書くことはありましたがデータベースそのものやデータの取り扱いは全く詳しくないなと思い詳説データベースとデータ指向アプリケーションデザインは読みました。 また、sparkを扱う予定もあるのですがこれについても(できれば日本語の)良書などもしあればご紹介いただけるとありがたいです。 データ指向アプリケーションデザインは本当に良い本なのであれをちゃんと読んでいる時点でかなりのアドバンテージがあります。 仕事で複雑なSQLを書く必要がある人に一冊僕が薦めるなら10年戦えるデータ分析入門 がおすすめです。 教科書的なSQLではなく現場で要求される
データマート開発プロジェクトを通して気づいたメンテナンスしやすいクエリの書き方｜rossokuno
マネーフォワード 分析推進室 アナリティクスエンジニアの奥野です！ 私は、現在ビジネスユーザーが使いやすいデータマート開発プロジェクトに携わっており、その中でdbt Coreを使ったデータパイプラインの構築を行っています。データアナリスト1名、アナリティクスエンジニア2名の合計3名で開発を進めています。 このブログでは、そのデータマート開発プロジェクトにおいて、メンテナンスしやすいクエリを作るためのアイデアが出てきたので共有したいと思います。 伝えたいことは大きく以下の2つです。 SQLリンターSQLfluffを入れるとそれなりに分かりやすいクエリになる リンターではカバーできない分かりやすい書き方のアイデア では早速紹介していきます！ SQLリンターSQLfluffを入れるとそれなりに分かりやすいクエリになるSQLfluffというSQLリンターがあります。すでに日本語でも紹介されている記
分析関数（ウインドウ関数）をわかりやすく説明してみた
はじめに ちょっととっつきにくいけどとっても便利な分析関数について、なるべく分かりやすく説明してみようと思います。Oracleを対象にしていますが、他のDBでもたぶん似たようなものでしょう（無責任）。 まず分析関数とは何をするものか、ですが、一言で言うと集合関数と同じ集計動作をそれぞれの行に制限範囲で実行するものです。ここでいう集合関数とは、MAXやSUMやAVG等、GROUP BYと共に使い行をまとめるて集計計算する関数ですね。分析関数は集合関数と同様の計算をしますが、集合関数と違い行をまとめません。それぞれの行で集計計算し結果を返します。ここが集合関数との大きな違いです。 また、集合関数ではGROUP BYの同じカラム値をもつ全行を一つに集計しますが、分析関数では集計対象となる行の範囲を任意で指定できます。関数に続くOVER句でこの範囲指定を行います。集合関数と分析関数は基本同じ名前な
cross join を知ると join が書きやすくなるよ、という話 - Feedforce Developer Blog
SQL 大好き！ id:kano-e です！ こないだの FFLT （まだ続いてます！ 3/15 で 16 回目！）で SQL の join について話をしたところ、思ったより好評だった（自画自賛！）ので、記事にまとめました。 「outer join とか innner join とか書き方はわかるんだけど、どういうことかイマイチぴんときてない」 「こういう結果が見たい時に、多分 join を使うんだろうと思うけど、どう書き始めて良いかがわからない」 みたいな悩みに向けて書いています。 join てなんだっけ join についての話は inner join があって outer join には left と light があって full outer join もあって 複数のテーブル（表）から情報をまとめて取得する時に使うよ みたいな感じで説明されることが多いかなという印象です。 日本語
SQLスタイルガイド · SQL style guide by Simon Holywell
概要 全般 推奨 非推奨 命名規則 通則 表 列 別名、相関名 ストアド・プロシージャ 統一的接尾辞 問合せ文 予約語 空白類 インデント 望ましい形式 Create文 データ型の選択 デフォルト値の指定 制約とキー 非推奨設計 付録 予約語リファレンス SQLスタイルガイド（日本語訳） 日本語訳について 日本語訳は誤訳や原文の最新版に追随していない恐れがあります。誤訳や改善点があれば、GitHubのissueまたはpull requestを使用するか、Twitterでお知らせください。 翻訳: 久利史之 @nkuritw 概要 このガイドラインは利用の他、forkしたり、自分自身のものに改変したりすることができます。ここで大事なのはスタイルを選択しそれを踏襲することです。変更の提案やバグの修正にはGitHubのissueまたはpull requestを使用してください。 このガイドライン
ユーザ情報を保存する時のテーブル設計 - そーだいなるらくがき帳
はじめに ※この発言は個人の見解であり、所属する組織の公式見解ではありません 用法用量を守り、個人の責任で業務に投入してください 参考資料 2024/02/14追記 実際のテーブル設計の詳細はこちらを参考にどうぞ。 agilejourney.uzabase.com 要件 User情報を保存するときにどのようなテーブル設計を行うか 今北産業で頼む テーブルに状態を持たせず状態毎のテーブルを作る 状態が変わればレコードを消して別のtableに作る tableの普遍的な情報は別に持たせる 僕の考えた最強のDB設計 PostgreSQLをベースの雑なER図を作った。 これを元に話を進める。 table構成 users 親tableであり、すべてのユーザはここに属する。 基本はINSERTのみでUPDATE、DELETEを考慮しない。 user_detail userに付随する詳細の情報がここに登録
SQLのCASE式可愛いって話 - Feedforce Developer Blog
こんにちは。id:kano-e です。 先日、社内で SQL の CASE について使い所を説明するという機会がありました。 2回くらい。 あれ、意外と CASE って使われてない……？ こんなに可愛いのに……！ みたいな気持ちになったので、今日は CASE がいかに可愛いのか話したいと思います。 SQL 可愛いよ！ CASE の使い方 CASE の使い方、ご存知の方も多いと思いますが、以下の通りです。 case category when 1 then 'カテゴリー1' when 2 then 'カテゴリー2' else 'その他' end あるいは case when category = 1 then 'カテゴリー1' when category = 2 then 'カテゴリー2' else 'その他' end 上記2つは、どちらも同じ結果を返します。 後者の使い方をすると、例えば
期間を絞った処理がしたいけどcreated_atにインデックスがなくて辛いときの処方箋 - Qiita
Log.where('created_at > ?', 24.hours.ago).where(type: 'error') って叩きたいのだけど、 created_at にインデックスなんて張ってないので全力でフルテーブルスキャンになって結果が返ってこない😱 前提 created_at にインデックスなんて張ってない でも id は auto_increment でだいたい日時順に振られてることが期待できる 解決策 インデックスがなければ自分で二分探索すればいいじゃない！ ってのを書いたのでご活用ください。 class ActiveRecord::Base # @param [Time] created_at # @return [ActiveRecord::Base] def self.find_closest_created_at(created_at) return if sel
複数のテーブルに対して多対一で紐づくテーブルの設計アプローチ｜スパイスファクトリー株式会社
今回は、あまり見かけないようで意外と必要になる「複数のテーブルに対して多対一で紐づくテーブル」の設計について、4つのアプローチをご紹介します。 どのようなケース？あるテーブルが複数のテーブルのいずれかに対して、自身が多、紐付き先が一で関連する場合のテーブル設計です。 例えば、「記事」と「画像」を投稿できるようなSNSを想定します。 この時、閲覧者が投稿された「記事」と「画像」のどちらにも「コメント」をつけることができる機能があったとします。 このような場合に、どのようなテーブルの設計方法があるのか、以下から説明していきます。 1.ポリモーフィック関連SQLアンチパターンにも登場するこの設計方法。「どのテーブルのどのレコード(id)に紐づくのか」という情報をテーブルに持たせてしまうという方法です。具体的には以下のような設計になります。 comments.target_tableに関連する対象
Google BigQueryの新機能 Standard SQLまとめ - ZOZO TECH BLOG
こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは様々なログデータの分析にBigQueryを使用しています。 インデックスについて何も考えなくても良いのが特に便利です。 さて、そんなBigQueryですが、数か月前にStandard SQLという新しい仕様のSQLがサポートされました。 BigQuery 1.11, now with Standard SQL, IAM, and partitioned tables! VASILYでも徐々にStandard SQLに移行をしているので、使い勝手や従来のSQLからの移行方法についてまとめておきます。 Standard SQLとは SQL:2011に準拠しつつ、配列や構造体等の構造化データを扱えるように拡張されたSQLです。 Standard SQLの登場によって、以前からあったSQLはLegacy SQLと呼ばれるよ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQL Pattern: How can I count the number of comma separated values in a string?
A window into the soul (of your data) | Looker Community