定期的に見かけるSAPを入れても碌なことがないみたいなやつ。現場の人や中間管理職の感想としては全く正しいが、本当にERPがゴミならば（主にグローバル大企業で）これだけ普及しているわけもないわけで、なにかしら使う側に問題があるのかもしれません。 マジレスするとSAPというかERPは給料の高い人の生産性を上げるもので、給料の安い人の使い勝手とか優先度低いし、末端にたくさんのデータの入力を要求するから。別になんの矛盾もない。 https://t.co/F2J5TdeWXw — (っ╹◡╹c) (@Heehoo_kun) March 21, 2024 私が新卒入社した会社でも当時のメインフレームをSAPに置き換えるみたいな話があって、コスト削減で大変な工場でそんなものは入れられないみたいな議論があったのは覚えています。その時のラインマネージャーの一人が、「ERPは給料が安い人を大量に使って給料が高

データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないままデータシステムの構築を進めると費用と時間を無駄に費やすことになります。本書は「データエンジニアリングライフサイクル」を軸にデータシステムの要件を整理することで、組織の「データ成熟度」に応じたデータシステム構築の指針を与えます。またデータエンジニアの立ち位置を明確にし、組織内でデータエンジニアが果たすべき役割を示します。 まえがき Ⅰ部　データエンジニアリングの基礎と構成要素 1章　データエンジニアリング概説 1.1　データエンジニアリングとは何か 1.1.1　データエンジニアリングの定義 1.1.

TOPICS Database 発行年月日 2024年05月17日 発売予定 PRINT LENGTH 288 （予定） ISBN 978-4-8144-0067-6 原書 The Cloud Data Lake FORMAT Print PDF EPUB 大量のデータを効率的に管理し、ビッグデータ分析、機械学習、AIなどの高度なデータ分析を実現するためのデータ基盤として、クラウドデータレイクが注目されています。スケーラビリティと多様なデータ管理機能を兼ね備えたクラウドデータレイクは、現代のデータ分析ニーズにマッチする技術として、データの重要性が増す昨今、多くの企業の関心を集めています。本書は、クラウドデータレイクのセットアップ、管理、ガバナンスについて、包括的に解説した実践的なガイドです。設計におけるポイントやベストプラクティス、データフォーマットとパフォーマンスの最適化、コスト管理、セ

4月20日、DevOps.comが「Valkeyが急速にRedisを置き換えつつある（Valkey is Rapidly Overtaking Redis）」と題した記事を公開した。 この記事では、Redisのソース利用可能なライセンスへの移行と、その結果として生じたValkeyへの大規模な移行について詳しく紹介されている。以下に、ポイントを絞って内容を紹介する。 Redisのライセンス変更による影響 ちょうど一ヶ月ほど前（3/20）、 RedisがBSD 3-clauseライセンスからRedis Source Available License (RSALv2)およびServer Side Public License (SSPLv1)へとライセンスを変更 した。 BSD 3-clauseライセンスは非常に寛容なオープンソースライセンスで、著作権表示と免責事項の維持が含まれるが、商用利用

トイアンナ @10anj10 外資メーカー（P&G、LVMH）のマーケティング→ライター・会社経営。1,000件以上の実績があります。人事、就活が得意分野。女性のキャリアと結婚を支援する婚活予備校「魔女のサバト」主宰。書籍・寄稿など執筆多数。 lit.link/toianna トイアンナ @10anj10 今の35歳以上で厳しい業界で生き延びた人は「無能は何を言われても仕方ない。悔しければ有能になれ」という文化で育っていて、いまの若手をこのマインドで育てがち。けれどこの10年で指導法はガラリと変わった。猫の手より役に立たない相手でも、丁寧に接しなくてはいけない社会になったのだ。 2024-04-19 09:47:25 トイアンナ @10anj10 正直すごく嫌だ、と思う中堅の気持ちもわかる。自分はさんざん虐待されて育ったのに、なぜ若手に頭を下げねばならんのかと。でもその気持ちはカウンセラー

Kazunori Otani @katzchang インターンイベントで学生さんから「ここ、エラーで動かないので、見てもらえますか？」って相談された時は、「実際に出てるエラーメッセージを見せて…なるほど、それをですね、選択して、コピーして、ブラウザに貼り付けるんですよ」という、つよつよエンジニアの秘技を伝授しました。 2024-04-18 18:53:19

konichiwa :3c also i tried to keep the video under 10 mins but i just couldn't so sorry about that, hopefully it's not too long for ur viewing pleasure Thanks to Hannah for voicing the Japanese girl as well! https://www.youtube.com/user/WhiteEnglishGirl ♥ The Team ♥ Denny: https://www.instagram.com/90percentknuckles/ MorganToast: https://morgantoast.tumblr.com/ GinjaNinja: https://www.youtube.

Playwrightの公式ドキュメントに「Best Practices」というページがあったので翻訳してみました。 原文： Best Practices | Playwright イントロダクション このガイドは、私たちが提供するベストプラクティスに習い、より弾力性のあるテストを書くために役立つはずです。 テスト哲学​ ユーザから見えるふるまいをテストする 自動テストは、アプリケーションのコードがエンドユーザのために動作することを検証するものです。関数の名前、何かが配列であるかどうか、ある要素の CSS クラスのような、ユーザが通常使用しない、目にしない、あるいは知ることさえないような実装の詳細に依存することを避けるべきです。エンドユーザーはページ上でレンダリングされたものを見たり操作したりします。したがって、自動テストでは通常、レンダリングされた出力のみを表示/操作する必要があります。

The declarative paradigm is becoming ubiquitous in data engineering, to the point we sometimes feel we became YAML developers. Yet, I’ll argue it’s a good thing! Let’s take a step back and look at what it means to be declarative, and how it impacts the data systems we build. Data & logicFundamentally, a data platform is made of 2 pieces: Data. On the frontend, we find the actual files, tables, das

30days of Streamlit の29日目（Hugging Face API）を、Streamlit in Snowflakeで実装してみたPythonSnowflakehuggingfaceStreamlitStreamlit_in_Snowflake はじめに Snowflakeで最近Public PreviewになったStreamlit in Snowflake（以下SiS）とExternal Network Access（外部ネットワークアクセス）を組み合わせたアプリを作れないかなーという所で、30days of Streamlitの魔の29日目ことHugging Face APIによる機械学習アプリをSiSで動作させてみました。 今回は主に、動作させるために必要な操作や重要な点を解説していきます。 動作画面 SiSでの動作画面です。本家様（https://share.st

【データ可視化/Streamlit】StreamlitアプリからファイルをアップロードしてSnowflakeのテーブルを自由に更新する方法Pythonデータ可視化dwhSnowflakeStreamlit 前置き こんにちは。データエンジニアの山口歩夢です！ 最近、Streamlitでデータ可視化アプリを作成しており、 Streamlitアプリに行数がやや大きいデータをコピペして、 SnowFlakeのテーブルを自由に更新したい！という状況がありました。 しかし、Streamlitに容量のやや大きいデータを貼り付けると、 ブラウザが重くなったり固まってしまうという問題点が発生してしまいました。 今回はその解決策を考えてみました！ 結論 データをCSVファイルに貼り付けて、そのCSVファイルと同じ内容にSnowFlakeのテーブルを更新する方法がとても良かったです。 ブラウザが固まることもな

こんにちは！奥津です。 以前「勝手にSQLを書いてくれるチャットボットをStreamlitでやってみた（デモ）」という記事では、チャットボットをローカルのStreamlitで実装しました。 本当はこれをSnowflake上のStreamlitで作成したいと考えていました。 これが9月にパブリックプレビューになったExternal Network Accessを使うと、Snowflake in Streamlitでもチャットボットを実装できるようです。 既にSnowflakeからもデモが公開されています。 Getting Started with Generative AI in Snowflake and Streamlit 今日はその準備で、まずGPTのAPIをStreamlit in Snowflakeで使ってみようと思います。 やりたいこと GPTを使えるかを試すために、以下のコード

全国に展開する大手美容クリニックAで施術した石川さん（仮名・30代女性）の写真がXを中心に話題となっている。涙袋をつくろうとヒアルロン酸を注入したところ、“デメキン”のように目の下の皮膚が垂れ下がってしまったという。いったい石川さんとAクリニックの間で何があったのか。本人に話を聞いた。 〈画像〉横からみると涙袋が突出して“デメキン”みたい…「見た瞬間パニックになりました」と語る石川さんの横顔 涙袋形成1万9200円のはずが…3月31日、有名インフルエンサーがXに写真を投稿したことで明るみとなった某美容外科Aの美容医療トラブル。かわいくなりたい一心で整形に踏み切った女性の気持ちを無残に踏みにじったのではと、ネットを中心に大炎上中だ。 自身は整形自体に抵抗はなく、周囲に手術済みの知人も多かったことから「私もヒアルロン酸を注入して涙袋をつくりたい」と1年前から考えていた石川さんは、3月29日に東

サポートエンジニアのLLM活用方法とは？～トレジャーデータさんと合同でサポートエンジニアNightを開催しました～ サポートエンジニア、カスタマーサクセスエンジニア（CSE）、カスタマーリライアビリティエンジニア（CRE）など、ユーザーをエンジニアリング観点から支援する職種はさまざまです。primeNumberが提供するサービス「trocco®」はデータエンジニア向けのサービスのため、弊社も力を入れている領域です。 そんな中、2024年2月16日、トレジャーデータさまと合同でサポートエンジニアNightを開催しました！サポートエンジニアNightは、SaaS企業を中心としたサポートエンジニアのためのサポートエンジニアミートアップです。今回のテーマは「サポートエンジニアとLLM」。各社からLLMをテーマに、カジュアルな発表を行いました。今日はそのレポート記事をお届けします。 primeNum

はじめに この記事は Metaps Advent Calendar 2023 の13日目の記事です。 先日のOpenAI DevDayでGPT4の機能を切り替えることなく使用できるAll Toolsや、オリジナルのGPTが作成できるGPTsが導入されるなど、ChatGPTの大幅なアップデートが発表されました。 特にAll Toolsで GPT-4V + Code Interpreter（Advanced Data Analysis）で画像やPDFを使用した柔軟な入力やコード的な指示ができるようになったので、既存の図を読み込ませてMermaid記法で出力させてみました。 資料上の図をMermaid記法で記述したい場合や、編集したいのに元データがない場合などにも使用できると思いますので、参考になりそうな部分をかいつまんで紹介します。 本稿の機能を使用するにはChatGPT Plus(月額20ド

メタデータの価値と意義データ基盤作ってもメタデータがないと必要なデータを発見するのは難しい。 テーブルの物理名とデータの中身だけでは想像はできるけど、意外とわからない。 また、データ自体の意味以外にも制約条件とか利用者情報などがあり、そういうメタデータを整備することでデータ活用ができる。 メタデータの種類システム基礎系：DDLとか ビジネス系：活用方法 関連性：リネージやER図 統制系：品質情報 セキュリティ情報：アクセス権限情報 システム運用系：ジョブ実行ログ ソーシャル系：利用者のレビューやアクセス頻度 メタデータの管理とデータカタログメタデータを管理するためのツールとしてはデータカタログがある。 データカタログは銀の弾丸だと思われがちで、いいデータカタログがあればだれもが使ってデータ利活用が進むと思われがちだが… 実際データカタログを入れたところで、メタデータは入力されずカタログ・ゴ

同問題の再発に備えて書いた日記的備忘録 ブログやIT技術者向けSNS等は利用しておらず、はてブやTwitterでやるにはやや長いので、増田に投稿 発端Windows 10 (22H2 19045.4170) 上のEdgeを、数十のタブを開いたまま新バージョン (123.0.2420.53) に更新したらハングアップしたため、タスクマネージャーで強制終了させた その後Edgeを起動させようとすると、更新時に閉じたセッションを復帰させる段階で強制終了するようになり、使用不能になった Edgeに導入していた拡張機能には、Session Budy (4.0.2。GoogleのManifest V3に対応するため、最近大規模改修を実施(1。増田の最終節の同番号を参照。以下同)) やuBlock Origin (1.56.0。新規のマイフィルターを多数追加中だった) 等があった 最初の試み「Edgeが