「ベクトル検索 vs 全文検索」〜Amazon Bedrockの埋め込みモデルを用いたプロトタイピング〜 - コネヒト開発者ブログ
※ この記事は、AWS (Amazon Web Services) の技術支援を受けて執筆しています。 はじめに この記事はコネヒトアドベントカレンダー 8日目の記事です。 コネヒト Advent Calendar 2023って？ コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく様々な課題の解決を 目指す会社で、 ママの一歩を支えるアプリ「ママリ」などを 運営しています。 adventar.org こんにちは！コネヒトの機械学習エンジニア y.ikenoueです。 突然ですがみなさん、Amazon Bedrockをご存知でしょうか。 aws.amazon.com Amazon Bedrock(以下、Bedrock)は、テキスト生成AIをはじめとする基盤モデル (Foundation Model)*1を提供するAWS
検索クエリからファジーにキーワードを抽出する（スミス・ウォーターマン法に基づく実装） - Giftmall Inside Blog
TL;DR 表記揺れがふくまれる検索クエリにマッチしたコンテンツを表示するための手法として、スミス・ウォーターマン法に基づくあいまい検索を実装して検索精度を向上しました。この手法は機械学習システムを使わないためメンテナンスコストが低く、その一方で速度面でも実用的な性能を持ちチューニングしやすいのが特長です。 はじめに こんにちは、ギフトモールで検索エンジンなどを開発している @samayotta です。 私たちギフトモールはプレゼントに特化したECサービスを提供しています。ギフトECにおいても、ユーザのニーズにマッチする商品を探すための検索機能は重要となります。例えば、弊社が運用しているギフトECサービスの一つであるギフトモールは、ユーザが入力する文字列の検索クエリから関連するキーワードを検出し、そのキーワードに紐づいているコンテンツ(商品、記事、etc.)を提示する検索機能を持っています
オンラインドキュメントと日本語全文検索
自社では Sphinx というドキュメントツールを利用しているのですが、残念ながらこれに付属している検索機能の日本語検索はかなり厳しいです。また残念ながら Sphinx 開発側も検索周りを改善するという予定は直近ではないようです。 そして検索というのはとても難しい技術なため自分のような素人では導入して「普通に期待する動作」をさせるまでの距離はとても遠いです。 ただ、なんとかして日本語全文検索を実現したいという思いはここ10 年くらいずっと思っていました。これは自社の Sphinx テーマを作ってくれている社員ともよく話をしていたのですが、どうしてもリソースをつぎ込めずにいました。 まとめ日本語検索に対応している Meilisearch を採用したドキュメントスクレイパーの実行は GItHub Actions (Self-hosted Runner) を採用した自社 Sphinx テーマの検
在野研究者のレファレンス・チップス | 皓星社（こうせいしゃ） 図書出版とデータベース
第14回 天才魔術師と同じ魔法が使えるようになるために――「当たり前」を超えて 2022年7月29日 公開 小林昌樹（図書館情報学研究者） ■そんなの当たり前 前回、NDLサイトに秘蔵された「調べ方案内」を見つけるには、NDLがHP上に用意した独自分類を下りていって見つけたりせず、単にGoogleから直接「トピッ […]…続きを読む 第13回 パスファインダー（調べ方案内）の見つけ方 2022年6月24日 公開 小林昌樹（図書館情報学研究者） ■ある日の会話 「なんで日本の図書館ではレファレンス・サービスが広まらなかったんでしょう？」 「それは、サービスが目に見えないからさ。カタロガーの仕事は目録カードって形で残るからまだしも、 […]…続きを読む 第12回 自分の調べ物に最適の雑誌記事索引を選ぶには――記事索引の採録年代、得意ジャンルを知っておく 2022年5月27日 公開 小林昌樹
ネット検索は｢ググる｣から｢タグる｣に…若者が飲食店選びで食べログを避けてインスタを使う本当の理由 "#"検索数は世界平均の3倍…日本は｢タグ付け文化｣先進国
「口コミ」提唱から半世紀…広がる消費者発信メディア いまやその言葉を聞かぬ日はないほどに口の端に上る「口コミ」という言葉は、ジャーナリスト・ノンフィクション作家の大宅壮一が1960年代に生み出したといわれている。もともとは「口頭でのコミュニケーション」の意味で、テレビや新聞などのマスコミュニケーションとの対比のもとに提唱された。 大宅氏の時代には、小規模なコミュニケーションが念頭に置かれていたと思われるが、現在ではインターネット、特にソーシャルメディアやSNSの発達によって口コミの影響力は巨大なものとなった。 デジタルマーケティングの発展した英語圏では、早くからそのような状況が理論化されていった。口コミが生み出され集まる場所という意味で、Consumer Generated Media（消費者発信メディア。略称CGM）という言葉も盛んに使われるようになる。 日本でも、レシピを共有する「クッ
さようならElasticsearch、よろしくElastic Cloud - Nota TechConf
by yuiseki yuiseki.icon 2022/5/19 20:25 - 20:40 （明らかに15分で収まる内容の資料ではないですが、資料はモリモリで発表はスカスカでもScrapboxで盛り上がれるか、という仮説の検証を兼ねています） yuisekiですyuiseki.icon Gyazoのプロジェクトマネージャー兼ソフトウェアエンジニアです 本日お集まりいただいたみなさん、ありがとうございます 本日お集まりいただいたみなさん ノバウサギ…？nyanco.icon ユニコーンガンダム…？issac.icon タイマーちゃん！takker.icon 12年間運用を続けているB2C SaaSの検索インフラの実態（14分まで、1分間） Gyazoは2021年、「画像の瞬間発見」をテーマに、検索に力を入れていた Nota Tech Conf 2021 Springでのyuiseki.i
Elasticsearchで日本語検索を扱うためのマッピング定義 - ZOZO TECH BLOG
こんにちは、検索基盤部 検索基盤ブロックの渡です。私は検索基盤ブロックで、主にZOZOTOWNの検索周りのシステム開発に従事しています。 以前の記事では、Elasticsearchのマッピング設定の最適化について取り上げました。そして、今回は日本語による形態素解析を実現するまでの手順をご紹介します。 techblog.zozo.com 目次 目次 はじめに Elasticsearchで全文検索を実現させる手順 全文検索のためのマッピング定義 Analyzerの構造 日本語対応のAnalyzer 日本語対応のためのプラグイン追加 kuromoji Analyzerを指定したマッピング定義の例 kuromojiプラグイン機能 カスタムしたAnalyzerのマッピング定義 Analyzerの動作確認 modeを選択した場合のマッピング定義の例 Analyzer適用の注意点 kuromoji以外の
https://web.archive.org/web/20080305225407/http://www.c-sawat.com/index2.html └ https://web.archive.or..
https://web.archive.org/web/20080305225407/http://www.c-sawat.com/index2.html └ https://web.archive.org/web/20080723202836fw_/http://www.c-sawat.com/release/yumeoto/dl.html これじゃね ユメミルオトメ：音楽＆映像 主題歌：the everlasting light ～約束の夢～ ---------------------------- 自分に架せられた運命に立ち向かう強い決意と 愛する人を想い、まっすぐに見つめる主人公琴音の 姿が表現された主題歌に仕上がりました。 https://www.alchemics.co.jp/users/bandit/vocal9999_damepo.html によると、 (*1)#7(3:5
AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま
AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま AWSは、オープンソースの検索エンジンと可視化ツールの「OpenSearch」プロジェクトを発表しました。これは検索エンジンおよび可視化ツールとして人気のElasticsearchとKibanaをフォークしたものです。 Introducing the #OpenSearch project: a community-driven, open source fork of Elasticsearch & Kibana. https://t.co/VmlP14DiIC pic.twitter.com/YFAI0KkIx3 — AWS Open Source (@AWSOpen) April 12, 2021 すでにGitHub上には、Elastics
Elasticsearchで関連キーワード機能がどれだけ低コストで実装できるかの旅路 - エムスリーテックブログ
クエリに対する関連キーワード機能 エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近の仕事で医師に質問ができるサービスで「Elasticsearchを使ってなるべく低コストで関連キーワード機能を実装する」という案件に携わっていました。本記事では関連キーワード機能を低コストで実装するための技術調査の結果と、実際に採用した方法をご紹介します。 今回紹介する方法は機械学習などは使わず、なるべく低コストである程度の品質を目指すものです。この記事を読むことで検索アプリケーションにサクッと関連キーワード機能を実装できるようになるでしょう。 Overview 検索における関連キーワード機能とは 実装の前提条件 実装パターンの紹介 (1) ログで出現した単語を数えあげる (2) ログに対
「よろしい。ではDBも内製だ」 IIJのインシデント調査システムが内製すぎる件
IIJ Technical NIGHTは、2020年9月11日にオンラインで開催した技術勉強会です。ここで熊坂氏が、SOC（Security Operation Center）のアナリストを支援するインシデント調査システム「CHAGE（チャゲ）」を社内で開発した理由と、その実装について紹介しました。 IIJのインシデント調査システム 熊坂駿吾氏（以下、熊坂）：IIJの熊坂から、社内で作成しているインシデント調査システムに関して紹介いたします。「インシデント調査システムが内製すぎる件」というところで、IIJの中で作成しているCHAGE（チャゲ）を紹介します。 まず私は2015年にIIJに新卒入社しまして、2018年度からSOCで業務を行っています。アナリスト的なことは詳しくやっていなくて、どちらかというとアナリストたちが業務を行うための環境の整備をしています。 具体的には、Windowsのメ
画像ファイルやデータベースの文字列を「grep」のように検索できる「ripgrep-all」
Linuxのコマンドラインで文字列を検索する際に必要不可欠なコマンドといえば「grep」です。しかし、grepは動画ファイルやPDFファイルの文字列を検索できないのが弱点。そんなgrepの弱点を克服し、動画ファイルのメタデータやデータベースのレコード、画像ファイル内の文字列まで検索可能なコマンドが「ripgrep-all(rga)」です。 GitHub - phiresky/ripgrep-all: rga: ripgrep, but also search in PDFs, E-Books, Office documents, zip, tar.gz, etc. https://github.com/phiresky/ripgrep-all rgaはLinuxに限らずWindowsやmacOSでも利用することが可能。今回はUbuntu 20.04でrgaを利用してみます。以下のコマンドを
Elasticsearchを理解するためにLuceneを使った検索エンジン構築に入門してみた - 好奇心に殺される。
Java / Lucene / Elasticsearch Elasticsearchを理解するためにLuceneを使った検索エンジン構築に入門してみた Elasticsearchを理解する為にLuceneに入門しました。今回は簡単な検索エンジンを構築します Overview こんにちは pon です。Elasticsearchで思わぬ挙動にでくわすと、Javaすらやったことのない僕に出来ることはネットの海を彷徨うだけでした。これはよくないと思い、Elasticsearchの仕組みをある程度理解できるように Lucene に入門しました。今回はLuceneのパッケージを利用して簡単な検索エンジンを動かしてみようと思います。Elasticsearch内部でどのようにLuceneを使っているのか知りたい人は必見です。 Lucene とは https://lucene.apache.org/ E
ZOZOTOWNの検索基盤におけるElasticsearch移行で得た知見 - ZOZO TECH BLOG
こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、その際に行った設定内容の一部をご紹介します。 背景 弊社CTOによるこちらの記事にもある通り、ZOZOTOWNでは現在マイクロサービス化を進めており検索システムについてもその対象となっています。検索の文脈では、全文検索/サジェスト/ロギング等関連する様々な課題への解決策として有効であるElasticsearchを採用しマイクロサービス化を進めています。 また、もう1つの背景として検索のパーソナライズ化があります。これまでZOZOTOWNでは
近似最近傍探索Indexを作るワークフロー - ZOZO TECH BLOG
はじめに こんにちは。ZOZO研究所のshikajiroです。主に研究所のバックエンド全般を担当しています。ZOZOでは2019年夏にAI技術を活用した「類似アイテム検索機能」をリリースしました。商品画像に似た別の商品を検索する機能で、 画像検索 と言った方が分かりやすいかもしれません。MLの開発にはChainer, CuPy, TensorFlow, GPU, TPU, Annoy、バックエンドの開発にはGCP, Kubernetes, Docker, Flask, Terraform, Airflowなど様々な技術を活用しています。今回は私が担当した「近似最近傍探索Indexを作るワークフロー」のお話です。 corp.zozo.com 目次 はじめに 目次 画像検索の全体像説明 Workflow Develop Application 推論APIの流れ 近似最近傍探索とAnnoy 近似
Googleマップで「したいこと検索」して行き先を決める女子大生が語る、「現在地×レコメンド型」のGoogleマップ検索の可能性。｜アプリマーケティング研究所
Googleマップで「したいこと検索」して行き先を決める女子大生が語る、「現在地×レコメンド型」のGoogleマップ検索の可能性。 3名のスマホユーザーに話を聞きました。Googleマップで「行き先を決める」ようになっている人の話など。 目次： １、Googleマップで「どこに行くか決める」女子大生の話 ２、歯医者を探すなら「Googleマップ一択」と語る20代女子の話 ３、視覚障害者のスマホユーザーに聞く「革命が起きたアプリ」など ※このシリーズは定性調査を通じて、ユーザー行動や隠れたニーズを学ぶことを主目的としています。全体を正確に調査したものではありません。１、Googleマップで「したいこと検索」して行き先を決めるようになった女子大生の話。東京都のリエさん（20歳 大学生） 最近スマホでやるようになったことって何かありますか。Googleマップをつかって、目的にあったものが「近くに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
あやふや書庫
駅近の24時間営業のサウナ施設をAIに質問→実際には存在しない施設だった体験談が話題に【やじうまWatch】
なぜグーグルは終わったのか？ 若者「ググらないｗ TikTokで調べますよ普通ｗ」
ガンダムに出てくるゾックを調べたかった