AWSだ! Google Cloudだ! Azureだ! 認証連携だ！
昨今は、さまざまな要因から、複数のクラウド（IaaS）プロバイダーを活用することが多くなりました。例えば、サービスのワークロードはAWSだが、データ分析はGoogle CloudのBigQueryを使うなどです。異なるプロバイダー間でのリソースにアクセスするには、認証が必要であり、シークレットを安全に発行・交換する必要があります。クラウドプロバイダーが動的に発行する等さまざまな方式がありますが、システムの制限や運用によっては安全なシークレットの取り扱いのために、慎重な技術設計が必要になる場合もあります。 今回は、LayerXにおける要件パターン、脅威モデリングに基づく判断と実装方法を紹介することで、「どこまで気をつけるべきか？」「何を想定すべきか？」といった実務に対して参考いただけると嬉しいです
OpenAIのBatch APIを使ってお得にプロンプトを一括処理してみる - Taste of Tech Topics
はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri
Table TransformerとGPT-4Vを用いたPDF内の表の解析｜QunaSys
RAGは非常に有用なツールですが、PDFの論文などを扱う際には、表データを正しく読み取れない場合があります。 表の構造を適切に処理することは難しく、いくつかの改善策が提案されています。 例えば、RAGを構築するのに使われるライブラリであるLlamaIndexのドキュメントに以下のような情報があります。 このドキュメントでは表を含むデータを扱う方法として、PDFを一旦すべて画像データに変換し、画像として表の形式を保持したままGPT-4Vでデータを解析することを提案しています。 ただ、PDF1ページ分の画像をそのままGPT-4Vに解析させても精度はあまり良くないようで、後述するTable Transformerを使って表部分の画像のみ抽出してから解析を行うことで、より良い結果が得られたのことでした。 本記事では、この方法を用いてPDF内の表の解析を試してみます。 手順としては 1. PDFの全
AzureでRAGをガンガン試行錯誤してみて得たナレッジを紹介します！/Azure RAG knowledge share
2024/1/31に開催された【StudyCo×KAGコラボ】Azure・AWSでLLMアプリ開発レベルアップ！事例＆ハンズオンで発表した資料です。 AzureでRAGによる社内文章検索をやってみてさまざまな試行錯誤を通して得たナレッジを共有します！
[Ignite 2023] Azure AI アップデートまとめ
はじめに Microsoft Ignite 2023でのAzure AIのアップデートをまとめました。 まずは下記ブログの翻訳を中心にしています（ほぼ翻訳です）。 Ignite 2023: What’s new in Azure AI Platforms – Charting the Future with Innovative AI and ML - Microsoft Community Hub 主要なアップデート Azure AI Studioのパブリックプレビュー サティヤ・ナデラの基調講演で、Azure AI Studioのパブリックプレビューが発表されました。これは、生成型AIアプリケーションとコパイロット開発を簡素化する最先端のプラットフォームです。Azure AI Studioは、急速に成長しているモデルカタログ、ツール、サービスをシームレスに統合し、統一された開発体験を提
![[Ignite 2023] Azure AI アップデートまとめ](https://cdn-ak-scissors.b.st-hatena.com/image/square/573822077090aae9b12186c6fbc1ea3d721c9349/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--F2DUXkkA--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BIgnite%2525202023%25255D%252520Azure%252520AI%252520%2525E3%252582%2525A2%2525E3%252583%252583%2525E3%252583%252597%2525E3%252583%252587%2525E3%252583%2525BC%2525E3%252583%252588%2525E3%252581%2525BE%2525E3%252581%2525A8%2525E3%252582%252581%252Cw_1010%252Cx_90%252Cy_100%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3AMicrosoft%252520%252528%2525E6%25259C%252589%2525E5%2525BF%252597%252529%252Cx_220%252Cy_160%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AShohei%252520N.%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2MzZDNiN2I3OGYuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzEzNmNkNzdkYWMuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
「プロンプトには気合いと根性で向き合い続けることが大事」 ファインディ・佐藤将高氏が説く、ChatGPT活用術
ファインディが、ChatGPTを活用する際に気をつけたこと 松本勇気氏（以下、松本）：佐藤さんが気をつけたことと、ベストプラクティスをお願いします。 佐藤将高氏（以下、佐藤）：僕の観点から言うと、ChatGPTのAPIを使う時に、OpenAIなのかOpen APIなのか「今どっちを言ったっけ？」とわからなくなるので、そこがすごく気をつけたほうがいいことの1個目です。 松本：だいぶしょうもない（笑）。 （一同笑） 佐藤：それは冗談で、僕らがリリースした当初にものすごく気をつけたことを言うと、海外の深夜帯ですかね。（深夜帯）になると、実はOpenAI社のところで使用量がものすごく上がったりしていて、「夜中にサーバー障害が起きているから使えないものがあるんですけど」みたいなことがありました。最近はもしかしたら解消しかけているのかもしれませんが、直近でOpenAI社のAPIを使うと発生する課題があ
Azure OpenAI + Jupyter Notebookで自家製Code Interpreterを実現する - Qiita
はじめに ChatGPT Code Interpreter いいですよね。でもAzure OpenAIではまだまだ使えなさそう(そもそも使えるようになるのか？)なので、Jupyter Notebookと組み合わせて同じようなことを実現してみました。 Function Callingが使えるようになれば、ちょっと実装を変えたほうがよいところもありますが、とりあえず生ChatGPTで進めます。gpt-35-turbo(0613)です。お安くできますね。 環境準備 Jupyter Notebookを使える環境はお好みの方法でご用意ください。 あと、openai、matplotlib, pandas, numpyとか必要なものもお好きな環境にどうぞ。なお、日本語でグラフを作成したいので、japanize-matplotlibはいれておいてください。 Code Interpreterを実現する関数
生成AIと音声認識を組み合わせて会議アシスタントツールを作ったら生産性が大幅に向上した話
株式会社クラウドネイティブは、Azure OpenAIで自組織専用のChatGPTの構築を支援するサービスを展開しています。ChatGPTとAzure AD OpenAI Serviceの取り組みや事例、支援… IDチームの前田です。今日は生成AI(ChatGPT)と音声認識モデル(Whisper)を利用した会議アシスタントツールに関する投稿になります。 (追記) 作ったツールはGitHub上で公開しており、Dockerを利用してすぐに試せるようになってます。 https://github.com/cloudnative-co/mtg-ai-assistant 2023年8月30日現在Azure OpenAIにてWhisperが利用出来ていないため、OpenAI Whisper APIを利用した試験段階のものになります。近日中にAzure OpenAIにてWhisperが利用出来るとアナウ
Azure OpenAI ServiceのFunction callingを使って自然言語でGoogleカレンダー操作
こんにちは、Happy Elements 株式会社でエンジニアをしておりますryoooです。 先日、以下の記事で弊社における社内ルール等に対するチャットシステムをご紹介いたしました。 Function calling機能を使って、こちらのチャットツール上で自然言語でGoogleカレンダーを操作する機能を追加しましたので、本記事では実装時の工夫を紹介させていただきます。 この機能により、以下のようなことが可能となっています。 自然言語でカレンダー予定を作成 自然言語でカレンダー予定を取得 Function callingとは 簡単にいうとGPT-4に対して「あなたはこういう関数を利用できるから、利用したい場合は引数をレスポンスしてね」と伝えて、GPT-4とバックエンドサーバーで何度かやり取りをしながら、ユーザーの要求を解決していく仕組みです。 (参考) Microsoftのドキュメント ht
Azure Machine Learning Prompt flow 評価メトリクス解説
Front-end application development, Symfony-style(s)
Azure OpenAI x LangChain サンプル集
import openai openai.api_type = "azure" openai.api_base = "https://<???>.openai.azure.com/" openai.api_version = "2023-03-15-preview" openai.api_key = "???" import openai from langchain.callbacks import get_openai_callback from langchain.chat_models import AzureChatOpenAI from langchain.schema import AIMessage, HumanMessage, SystemMessage with get_openai_callback() as cb: chat = AzureChatOpenAI( c
Windows Azure Platform を学習する | MSDN
すべての Microsoft 製品 Global Office Windows Surface Xbox セール サポート ソフトウェア Windows アプリ OneDrive Outlook Skype OneNote PC とデバイス アクセサリ エンタメ Xbox ゲーム (ダウンロード) Windows ゲーム 映画とテレビ番組 法人向け Azure Dynamics 365 Microsoft 365 データ プラットフォーム 法人向け Developer & IT .NET Visual Studio Windows Server デベロッパー センター ドキュメント その他 Microsoft Store Microsoft Rewards 無料ダウンロード & セキュリティ プリペイド カード サイトマップの表示
独自ナレッジをノーコードでChatGPTに連携！Azure OpenAI「Add your data」
独自ナレッジをノーコードでChatGPTに連携！Azure OpenAI「Add your data」 「「やってみた」記事はもう十分」という方はもう少し詳しくみてみるセクションからご覧ください！ 先月のMicrosoft Buildで発表されて注目を集めていた、Azure OpenAIでコーディングなしで社内のナレッジを組み込んだ回答をするChatGPTが作成できる機能「Add your data」がパブリックプレビューになりました🎉🎉🎉🎉 今まではこのようなアーキテクチャを独自で構築する必要があったため、なかなかハードルが高いものでした。 こちらのアーキテクチャはサンプルとして公開されているのでご興味があれば見てみてください。 やってみる ではセットアップしてみましょう。 今回はすでにCognitive Searchのリソースがある前提で進めます。 Azure OpenAIのプ
三井住友海上、生成AIを全社員に 「Azure OpenAI Service」活用
三井住友海上火災保険は7月14日、日本マイクロソフトが提供する生成AIチャット利用環境を、5月17日から全社員で使い始めたと発表した。OpenAIのGPT-4／3.5など大規模言語モデル（LLM）をMicrosoftのクラウドで利用できる「Azure OpenAI Service」を活用した。 自社専用の安全なAIチャットツール「MS-Assistant」を構築。社員の情報検索や質問、文章作成・校正、要約、翻訳、ブレインストーミングなどを対話でサポートする。 地域や部門ごとの利用ログをデータサイエンティストが分析し、業務プロセスの改善につなげていくという。 今後は、自社のマニュアルや約款にに応答できる機能の拡充や、当保険代理店への提供を計画している他、社員向け活用支援ポータルサイトの整備や活用アイデアコンテストを開くなど、活用を広げていく。 関連記事 「自社版ChatGPT」をグループ全社
マイクロソフト、AI アプリや Copilot の構築フレームワークを明らかにし、AI プラグインエコシステムを拡充 - News Center Japan
ジョン ローチ (John Roach) ※本ブログは、米国時間 2023 年 5 月 23 日に公開された ”Microsoft outlines framework for building AI apps and copilots; expands AI plugin ecosystem” の抄訳を基に掲載しています。 ソフトウェアがインターネットに接続されていなかった頃を覚えていますか？もう覚えていないのではないでしょうか。マイクロソフトのチーフテクノロジオフィサー、ケビン スコット (Kevin Scott) によれば、数年後には、インテリジェントなコパイロットアシスタントが付属していないソフトウェアにも同じことが当てはまるようになるでしょう。 コパイロット (copilot、副操縦士) とは、最新の AI と大規模言語モデルを使って、複雑なタスクを支援してくれるアプリケーション
Azure Cognitive Search で日本語全文検索をするためのアナライザー実装メモ - Qiita
はじめに Azure Cognitive Search は オープンソースの全文検索エンジンライブラリである Apache Lucene をベースに開発されており、多くの有用なモジュールを Cognitive Search に取り入れています。その中には日本語アナライザーも含まれており、Cognitive Search では日本語アナライザーとして、Lucene の日本語アナライザーと Microsoft Bing をベースとしたアナライザーの 2 種類から選ぶことができます。 パートナー様からよく質問されるのが、Lucene と Microsoft のどちらのアナライザーを利用したほうがいいのかというものです。Microsoft のアナライザーは詳細な仕様が公開されていないということもあり、詳細を説明することが難しいので、仕様が公開されている Lucene の日本語アナライザーの構造をベ
【日本最速？】Azure AI StudioでPrompt Flowを触ってみた感想 - Qiita
はじめに 5月23日〜25日にアメリカ シアトルで開催されたMicrosoft Build 2023はAI関連の発表が多くされ、世界的に注目を集めていました。 過去最高レベルの注目度だったのではないでしょうか。 その中で発表されていた「Prompt Flow」機能が最近Azure AI Studio上でパブリックプレビューとしてリリースされました。 記事執筆時点ではこれを実際に触ってみた人の記事が日本語/英語で見当たらなかったので、本記事では早速触ってみた感想を書いていきたいと思います。 そもそも 「Prompt Flow」とは 「Prompt Flow」は、Azure Machine Learning上に追加された新機能で、Azure AI Studio上で提供される大規模言語モデル（LLM）を利用したAIアプリケーションの開発サイクル全体を効率化するために設計された開発ツールです。 皆
Azure OpenAIの「Add your data」で出来ること出来ないこと
この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope
Azure OpenAI Service On Your Data の仕組みと使う上で気を付けるべきポイント
はじめに Microsoft Build 2023 で発表された Azure OpenAI Service の On Your Data のパブリックプレビューが開始 しました。体感的には On Your Data は日本国内の全 Azure OpenAI Service ユーザーのうち 8 ～ 9 割程度のユーザーが待ち望んでいた機能ではないかと感じます。(ryohtaka 調べ) What's new in Azure OpenAI Service - June 2023 New easy way to add your data to Azure OpenAI Service (YouTube) しかし、実際に On Your Data を活用するためには気を付けるべきポイントが数多く存在しており、正確な期待値を持ったうえで使うことが非常に重要になってきます。そこで、本記事では On
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft Fabric Vs Databricks: A Comparison Guide