Timee × Commune データチーム勉強会より
はじめに みなさん。Splatoon3遊んでいますか。私は昨年9月の発売以来、かなり熱心に遊んでいます[1]。単に遊ぶだけでなく、なるべく勝てるように、つまり上達できるように努力しています。 最近は試合の結果を記録して分析し、上達に役立てたいと考えるようになりました。スプラトゥーンというゲームをご存じない方のために簡単に説明すると、スプラトゥーンにはナワバリバトルを含め全5種のルールがあり、ステージは2023年12月時点で全22種類存在します。 それぞれのステージには、防衛の要となる箇所や攻めの起点を作るために抑えたいキーポイントがあり、勝率を上げるためにはこうしたステージごとの戦略の研究は欠かせません。しかし全ステージについて研究するのは大変なので、なるべく勝率の悪いステージから対策したいところです。 任天堂が提供する公式アプリ「イカリング3」でも、ステージごとの勝率は確認できますが一覧
Tableau Prep とは Tableau 社 が提供している データ準備ツール です。元々 Project Maestro というコードネームで開発が進められていましたが、2018/4/24 に Tableau Prep として製品版がリリースされました。Tableau Desktop を使っているユーザであれば誰でも使えるようになってます。 データ加工をフロー形式で定義することができるため、可読性、生産性の高いツールになってます。詳細は製品ページを参照ください。 製品サイト LOD 表現 とは Tableau ではビューの表示に使われるディメンションの粒度とは異なる粒度で集計テーブルを作成できる機能があります。 LOD 表現と呼ばれ、従来の BI ツールでは中間テーブルを作成しないと表現ができなかった計算を実現できます。 LOD 表現トップ 15 ただし、データ量が多くなった場合や
はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる(かもしれない)Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサービスでは、こうした組織管理を円滑にするような機能拡充がされています。 とはいえ、実は様々なデータをフル活用すると無料版でもできることは多くあります。今回は、そんな裏技的Tipsを5つ紹介しようと思います。 こんな方におすすめ Looker Studioの組
TL;DR 以下の手順を踏むと、元のexploreの全てのjoinを継承し、ベーステーブルのみを差し替えられる いずれかを選択する a. 継承元のexploreにおいて、ベーステーブルをview_nameで指定する b. 継承元のexploreにおいて、ベーステーブルをfromで指定し、独自のview_name名を定義する 継承先のexploreにおいて、extendsで継承元のexploreを指定し、fromでベーステーブルのみを差し替える はじめに Lookerでは、「ベーステーブル」(Exploreのベースとなる、最初に指定するテーブル)に様々なテーブルをjoinしてExploreを作ります。 似たようなベーステーブルが複数存在することはよくあります。例えば、分析のユースケースに従って似たようなサマリーテーブルを複数作成する場合などです。 大量のテーブルによる分厚いjoinがある場合
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 Quaryというエンジニア向けのBIツールが気になったので使ってみました。 GitHub - quarylabs/quary: Open-source BI for engineers VSCodeの拡張機能やCLIが準備されており、以下のことができます。 データベースへの接続 dbtに類似した機能 sqlファイルとしてmodelを記述可能、schemaもyamlファイルで記述可能 schemaはGUIで操作もでき、リネージも表示可能 また簡単なグラフなどもyamlファイルで管理可能 対応ソースはBigQueryやSnowflakeなどとなっていますので、今回はBigQueryで試してみようと思います。 BigQuery側の準備 前準備として、以下のページにある ml-latest-small.z
$ ./target/release/hayabusa -h hayabusa 1.0.0 Yamato-Security(https://github.com/Yamato-Security/hayabusa) Hayabusa: Aiming to be the world's greatest Windows event log analysis tool! USAGE: -d --directory=[DIRECTORY] 'Directory of multiple .evtx files' -f --filepath=[FILEPATH] 'File path to one .evtx file' -r --rules=[RULEDIRECTORY] 'Rule file directory (default: ./rules)' -o --output=[CSV_TIMELI
歴史というと、実は学生の時に殆ど興味がなかった分野だったのですが、今思えば自分が歴史よりも現在・将来について興味があったのが原因だったのかもしれません。ただし、例外として自分が今最も活用しているテクノロジーについての歴史は面白くて堪りません。今回はMicrosoftのBIに関する歴史について簡単に紹介してみようと思います。Power BIの登場背景、MicrosoftのBIテクノロジーの登場逸話等に興味がある人は最後まで読んでみて下さい。 凄い人達 当時のBIテクノロジー 混沌の2000年代 セルフサービスBIの登場 MicrosoftのBIに対する戦略 凄い人達 MicrosoftのBIテクノロジーを開発した人たちがいます。有名なところでAmir Netz氏とChristian Wade氏が挙げられます。Amir氏はTechnical Fellowというタイトルを持っており、Micros
今日はRedash Advent Calendar 16日目ですが、この記事はAdvent Calendarの記事ではありません。 qiita.com 12/16の記事はvankobeさんによる、Redashの結果をGoogleスプレッドシートで扱う事例の記事です。 qiita.com Redashの便利さと、その裏にあるつらみ Redashを活用しはじめて1年半ほど経ちますが、今ではRedashなしで業務が回らなくなるほどに使い倒しています。 しかし、Redashの活用が進んだことによって「Redashが落ちたら全てが止まる」といった状況になりつつあることも事実で、たまにRedashの収容サーバーからアラートが飛んでくると、背筋が凍る思いをしています。 それだけでなく、Redashの利点でもある「誰でもクエリを実行・編集できる」というのが、運用上問題になることも何度か経験してきました。
導入の背景 Snowflakeを導入し、Talendと各種バッチ処理を作成してデータ分析基盤を構築しましたが、肝心のBIがコストの関係でストップとなりました。当初はPowerBIを導入する予定でしたが、BIをQuickSightに変更してコストを約半分にまで下げる案に変更しても予算がおりませんでした。コスト問題をクリアする為に仕方なくOSSであるMetabaseで構築した環境でしたが、思った以上に低価格で高性能な環境ができあがり、PowerBIに負けてないどころか、こちらの方が使い勝手が上だと思う環境ができましたので、紹介したいと思います。 ###おすすめしたいポイント ■Snowflake ・クエリが投げられた間だけの課金(停止中は課金されない) ・停止中でも瞬間に起動するので、遅延は感じない ・控えめに言っても超高速 ・スタンダード契約なら、最小サイズのXSサイズで1クレジット$2.8
こんにちは。SmartHR 採用ユニットの日永と申します。 SmartHRでは、年間200名程度を目標とした中途採用を行なっています。その採用活動については色々なところでオープンにしていますが、この記事では、中途採用のレポーティングにおける工夫について書きたいと思います。 数値の集計やレポートは作って満足しがちですが、正しい情報を必要に応じてさくっと取得して、本来時間を割くべきものに集中できるのが理想ですよね。私自身、「これ完璧なのでは...?😳 」という解はまだまだ見つけられていないのですが、ちょうど1年前の自分の悩みが少しだけ改善されてきたので、このタイミングで書いてみることにしました。 日々募集ポジションがオープンしたりクローズしたり、目標人数が変わったり、社外に出している求人票と社内の管理上のポジション名が違ったり、各ポジションで採用フローが違ったり、中途採用の目標管理が複雑すぎ
こんにちは!LayerX バクラク事業部 機械学習・データ部 データチームの石橋(@saaaaaaky)です。 Looker Studioのカスタムクエリが1日300回以上実行される課題 弊社ではBIツールとしてLooker Studioを利用しています。 データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。 ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。 スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。 ヒアリングしたところ、リアルタイムのデータが必要とさ
データアナリティクス事業本部コンサルティングチーム・新納(にいの)です。 低コストでシンプルに可視化が行えることが強みのQuickSightですが、「もう少し踏み込んで分析をしたい…」と思う方もいらっしゃるのではないでしょうか。そんな方に朗報のレベルアウェア計算(level-aware calculations - LAC)について解説していきます。 レベルアウェア計算(LAC)を理解する 実際に試してみる前に、まずはレベルアウェア計算について理解することで今回のアップデートの嬉しさを100%フルパワーで享受できるようになります。 レベルアウェア計算とは レベルアウェア計算とは、ウィンドウ関数と集計関数を使う際に関数を適用する粒度を指定できるQuickSightの機能です。集計関数に使えるLAC-A関数とウィンドウ関数に使えるLAC-W関数の二種類あります。LAC-W関数はこれまでLAA(
はじめに こんにちは!タイミーでデータアナリストをしているhatsuです。 私は普段、タイミーの営業戦術などについての分析に携わるほか、社内でのデータ利活用を推進する取り組みを行っています。 今回は、社内のデータ利活用推進に取り組む中で、これまで定期的に開催していたBIツールの社内講習会の運営方法を見直した話をご紹介したいと思います。 従来のLooker講習会における問題点 タイミーでは、社内のデータ利活用推進のため、LookerというBIツールを導入しています。 このLookerというツールをより多くのメンバーに活用してもらうため、これまでにも社内でLookerの使い方をレクチャーする講習会、通称「Looker講習会」を定期的に実施してきました。 従来のLooker講習会はオンラインのウェビナー形式で、40~90人ほどの人数を対象に実施していました。 しかし、講習会実施時にとったアンケー
Googleが提供する新しいデータ可視化ツールであるLooker Studioの有料版、Looker Studio Proがリリースされました。 現在Looker Studioを使って可視化をしている方も、これから活用したいとお考えの方も、有料版と無料版の機能の違いについて興味があるのではないでしょうか? 今回は、この有料版であるLooker Studio Proと無料版との違いと、Looker Studio Proを導入する際に注意するポイントを3つご紹介します。 ※イー・エージェンシーは、「Google マーケティング プラットフォーム(GMP)」「Google Cloud」の認定パートナーです。 Looker Studioとは? Looker Studioは、Googleが提供する高機能なデータ可視化ツールです。Google アナリティクス 4 プロパティ(以下GA4)やスプレッドシ
基本的な使い方 トピックの選択 ページ上部にあるQバー(検索窓)でトピックを選択します。 サンプルを作った状態では「Software Sales」が選択されています。 質問する Qバーに質問を入力します。 対応するのは基本英語のみです。(一部日本語が可能で後述します。) 例として「What country did we make the most sales last year?(昨年最も売上が多かった国はどこ)」と入力すると、数秒でグラフがビルドされます。 解釈の確認 Qがどのように文章を解釈したかQバーの下で確認できます。 質問の主要用語にアンダーバーで強調され、解釈したフィールド名とマッピングされていることが分かります。 例では以下のようにマッピングされています。 sales = sum of sales(salesフィールドの合計) country = countryフィールド y
こんにちは!スマートキャンプエンジニアの井上(エース)です! 皆さんは自社プロダクトに対してどのようにデータ分析をされていますか? データ分析基盤は構築されているものの、少なからず課題を抱えている企業も多いかと思います。 今回は弊社のBOXIL SaaSに新しいデータ分析基盤を導入することになったので、その背景や導入にあたって課題だったこと、その対策などを書いていこうと思います。同じようにデータ分析基盤を導入しようとしている方の参考になれば幸いです。 元の基盤の課題 クエリの乱立とデータ定義のバラつき クエリ作成依頼についてのエンジニアの対応コストが高い データ分析ツールの統一 パフォーマンス 新しいデータ分析(BI)ツールに求められたもの Lookerの選定理由 LookMLによる統一的な管理 ドキュメントの充実度 プルリクベースでの開発 実際のアーキテクチャの紹介 導入にあたって課題だ
先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ(BigQuery)と記事データ(Cloud SQL)をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
昨年度出版された「CDP活用の最適解を導く事例から見えてくる、人材、プロジェクト、組織の在り方」では、CDPにおける組織設計やプロジェクトの全体設計の話を中心としたコンサルティング的な側面の知識を補完するための書籍でした。 CDP活用の最適解を導く 事例から見えてくる、人材、プロジェクト、組織の在り方 作者:トレジャーデータ,重原 洋祐,冨田 恭平,阪口 暁,小暮 和基,矢戸 政法翔泳社Amazon 一方で、今回出版された「ビジネスダッシュボード 設計・実装ガイドブック 成果を生み出すデータと分析のデザイン」は、トレジャーデータのプロフェッショナルサービスチームが中心となって書いたデータ分析のために構築されるビジネスダッシュボードの設計・デザイン・データ準備に焦点を当てた解説書になってます。特にビジネスダッシュボードを通した可視化は、プロジェクトが進み、実際に現場や役員など様々な協力者に対
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く