大公開！バッチアプリケーションの品質を高めるZOZOの『バッチ開発ガイドライン』 - ZOZO TECH BLOG
こんにちは。MA部の田島です。 弊社では開発ガイドラインというものを用いて、システムの品質を担保しています。今回私がテックリードを務めているということもあり、バッチアプリケーションを開発するためのガイドラインを作成しました。本記事では「開発ガイドライン」と「バッチ開発ガイドライン」を紹介します。 バッチアプリケーション開発に限定したTipsはまとまっているものが多くないため参考にしていただければと思います。 開発ガイドラインについての紹介 冒頭でも紹介した通り弊社では、開発ガイドラインというものを用いてシステムの品質を担保しています。バッチ開発ガイドラインを紹介する前に、まず開発ガイドラインを紹介します。 開発ガイドラインの種類 開発ガイドラインは現在、以下の種類が存在します。 共通 Android iOS Frontend Backend Infra API Batch DB(Datab
期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、主要クラウド/PaaS編（2024年版）
期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、主要クラウド/PaaS編（2024年版） いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期限の制約なくずっと無料で提供される、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。 こうしたサービスは評価や一時的なテスト環境、あるいはホビー用途などに適しています。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2024年版としてまとめました。（有料サービスの追加機能として無料で提供されているものは除外しています）。 ただしこれらの無料のサービスは、提供側の都合により一時的に申し込みや利用が制限されたり、提供が終了することがあります。提供側の都合に留意しつつ、良心的な範囲でご利用いただ
期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、DBaaS/BaaS/その他編（2024年版）
期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、DBaaS/BaaS/その他編（2024年版） いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期限の制約なくずっと無料で提供される、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。 こうしたサービスは評価や一時的なテスト環境、あるいはホビー用途などに適しています。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2024年版としてまとめました。（有料サービスの追加機能として無料で提供されているものは除外しています）。 ただしこれらの無料のサービスは、提供側の都合により一時的に申し込みや利用が制限されたり、提供が終了することがあります。提供側の都合に留意しつつ、良心的な範囲でご利用
シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース オープンソースとして開発されているOLAP用データベース「DuckDB」が正式版となるバージョン1.0に到達したことが発表されました。 OLAP用のデータベースといえば、クライアント／サーバ方式の大規模なサーバアプリケーションが一般的ですが、DuckDBは、SQLiteのようにローカル環境上でシングルバイナリでローカル環境でも簡単に実行できる点が最大の特徴です。 SQLでクエリを記述すると同時に、Python、Java、Node.js、Rust、Go、C/C++、R、ODBCなどから呼び出せるAPIも備えており、クライアントアプリケーションに組み込むこともできます。 対応するプラットフォームはWindows（x86_64）、macOS（Intel/Apple Silicon）、Lin
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
Elasticsearch piped query language, ES|QL, now generally available — Elastic Search Labs
Elasticsearch piped query language, ES|QL, now generally available Today, we are pleased to announce the general availability of ES|QL (Elasticsearch Query Language), a dynamic language designed from the ground up to transform, enrich, and simplify data investigations. Powered by a new query engine, ES|QL delivers advanced search using simple and familiar query syntax with concurrent processing, e
Blog - Private Cloud Compute: A new frontier for AI privacy in the cloud - Apple Security Research
Private Cloud Compute: A new frontier for AI privacy in the cloud Written by Apple Security Engineering and Architecture (SEAR), User Privacy, Core Operating Systems (Core OS), Services Engineering (ASE), and Machine Learning and AI (AIML) Apple Intelligence is the personal intelligence system that brings powerful generative models to iPhone, iPad, and Mac. For advanced features that need to reaso
DatadogでAPI毎のSQL発行数を可視化してN+1を改善！ - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、スマートホーム化にハマっていていろいろと買い漁っています🛒 N+1問題を検知するのって結構大変ですよね？ 今回はDatadogを使ってN+1問題を可視化し、パフォーマンス改善につなげた話を紹介したいと思います。 ※ 2024/05/29に開催されたJapan Datadog User Group Meetup#4 でもLTしてきました🎤 speakerdeck.com N+1問題とは？ N+1問題は主にデータベースへのクエリーを扱う際に出くわすパフォーマンス上の問題です。1つのクエリーでN件のデータを取得した後にそれぞれのデータに対して追加でクエリーが発行されることでパフォーマンスを大幅に低下させます。（1 + N問題と呼んだ方がしっくりくる気がしますが...🤫） 背景 この取り組みを始めた経緯は、システムへのリクエスト
An abstract vision of abstracting database/sql boilerplateIntroductionThis post is part of the Eureka Advent Calendar 2022. database/sql provides everything needed to work with SQL in Go, yet there’s an ever-growing list of query builders, ORMs and database utilities being developed by the community. Is database/sql really so bad? In this post we’ll explore what can be achieved using Go generics w
大規模データ管理 第2版
TOPICS Database 発行年月日 2024年07月02日 発売予定 PRINT LENGTH 404 （予定） ISBN 978-4-8144-0071-3 原書 Data Management at Scale, 2nd Edition FORMAT Print PDF EPUB 今日では、データを素早く価値に変換することが求められています。一方、人工知能、クラウド化、マイクロサービスといった新しいソフトウェア提供モデルが、データ管理の方法を根本から変革しようとしています。組織は、分散化が避けられない現実に直面し、責任の分散、データの管理手法、そしてデータの他者への提供方法に関する変革を迫られています。 本書では、将来にわたり堅牢かつスケーラブルなデータ管理を実現するために、組織のニーズを踏まえた次世代データアーキテクチャの設計方法について説明します。また、法規制、プライバシー
Turborepo 2.0
Turborepo 2.0 improves the developer experience of JavaScript and TypeScript repositories, with features including: New terminal UI: Interactive tasks and clearer logs Watch Mode: Dependency-aware task watcher for any tooling in your repository All-new documentation: Core monorepo concepts, refreshed API reference, and ecosystem tooling guides Licensing and maintenance updates: Upgraded to MIT lic
はじめに お疲れ様です。yuki_inkです。 以下の記事の続きとして、取得したバックアップからの復元をやってみます。 前の記事で、AWS Backupで取得したバックアップは、以下2通りのやり方で確認できました。 AWS Backupの画面から「復旧ポイント」として確認 各サービスの画面上で、スナップショットとして確認（EBS・RDS） であるならば、復元も2通りのやり方でできるのでは？ と考え、やってみました。 事前準備 EBS セッションマネージャーでEC2「test-1」に接続し、/tmp 配下に bk_test というファイルを作成しました。 RDS まず、デフォルトで存在するデータベースの一覧を表示します。 postgres=> \list List of databases Name | Owner | Encoding | Collate | Ctype | ICU Loc
Async Ruby on Rails
Async programming can make your apps faster. I’ll share how you can use async in Ruby on Rails to speed up your app. While there are examples in Ruby, the principles apply to any language. I’ll group the examples into two basic principles. Here’s the first one: Don’t do now what you can do later Delay doing stuff as much as possible. Being lazy is not necessarily a bad thing. In practice, that mea
こんにちは。LINEヤフー株式会社で、出前館というプロダクトのサーバーサイドエンジニアをしている古田大志です。 株式会社出前館はLINEヤフーのグループ会社です。資本業務提携を結んでいて、LINEヤフーが開発などをサポートしています。 詳しくはこちらをご参照ください。（https://corporate.demae-can.co.jp/pr/news/demaecan/line.html）（外部サイト） 今回の記事では、その出前館における開発の内容を紹介させていただきます。 出前館はデリバリーサービス事業のプロダクトで、開発においてはマイクロサービスアーキテクチャを採用しています。出前館のマイクロサービスの1つに、クーポンに関するドメインの責務を持ったコンポーネントであるクーポンサービスがあります。 クーポンサービスでは、ビジネスエンハンスに伴う「非機能要件の増大」や「仕様の複雑さの肥大化
【CloudFormation】Auto Scaling＆Multi-AZ DB ClusterのWordPress環境を構築 - APC 技術ブログ
目次 目次 はじめに 構成図 テンプレート まとめ はじめに こんにちは。クラウド事業部の西川です。 今回は前回のテンプレートからRDSをMulti-AZ DB Clusterに変更したテンプレートをご紹介します。 ↓前回の記事はこちら techblog.ap-com.co.jp CloudFormationを初めて触る方は↓の記事にスタックの作成方法も記載してありますので是非ご覧ください。 techblog.ap-com.co.jp 構成図 EC2 Auto Scalingは希望する台数3、最小台数3、最大サイズ4、CPU平均使用率70%を保つ設定のターゲット追跡スケーリングポリシーです。 EC2にはSession Managerで接続できるようにしています。 SSH接続したい場合はセキュリティグループでSSHのインバウンドを許可してください。 また、CloudWatch LogsはEC
Oracle Database 23aiの新機能「AI Vector Search」で、テキストをベクトルデータに変換して検索してみた / 開発者向けブログ・イベント | GMO Developers
Oracle Database 23aiの新機能「AI Vector Search」で、テキストをベクトルデータに変換して検索してみた 5/2に発表およびリリースされた、Oracle Databaseの最新バージョン「23c」改め「23ai」 自らaiと呼称する通り、AIにフォーカスを当てた新機能であるベクトル検索機能「AI Vector Search」が導入されています その新機能である「AI Vector Search」を実際に導入し、ベクトル変換およびベクトル検索を試してみましたのでご紹介します
Today, we are sharing an update on the Recall (preview) feature for Copilot+ PCs, including more information on the set-up experience, privacy controls and additional details on our approach to security. On May 20, we introduced Copilot+ PCs, our fastest, most intelligent Windows PCs ever. Copilot+ PCs have been reimagined from the inside out to deliver better performance and all new AI experience
Berryを支えるアーキテクチャを紹介します
こんにちは、株式会社Berryの浅沼です！ 今回は、開発しているサービスの中からヘルメット治療管理システムのアーキテクチャについて紹介します。医療機関と３Dデータのやり取りをしながらヘルメット治療に関する管理を実現しているWebシステム、そのアーキテクチャの特徴、今後の展望について触れたいと思います。 システム概要 ヘルメット治療管理システムは、主に以下の3つの機能を持っています。日々、医療機関の方の使いやすさ、見やすさを考えながら開発しています。特に、3Dヘルメットデータを確認するUIなどは、別途、機会があれば技術面を紹介してみたい内容です。 3D頭部データの受信 3Dヘルメットデータの確認 ヘルメットの発注 アーキテクチャの詳細 システム全体のアーキテクチャは以下の図のようになっています。 フロントエンド フロントエンドは、VueとTypeScriptを使用して構築されています。アプリ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース
Doing RAG? Vector search is *not* enough
Abstracting database/sql boilerplate with Go generics
AWS Backupで取得したバックアップからEBS/RDS/S3を復元してみた - Qiita
イベント駆動とドメインモデルの完全性を意識したアーキテクチャ設計
Update on the Recall preview feature for Copilot+ PCs