plasmasphere.net -プラズマスフィア ドットネット-

Diary

ローカルLLM用RAGサービス

2026/05/16(Sat) 14:05

ローカルLLM用RAGサービスを作りました。
何言ってんのか分かんないって?俺もわかんねーよ。

Ollamaをはじめとした、ローカルLLMにRAGを追加するアプリです。

RAG(Retrieval-Augmented Generation)とは、AIが回答を生成する際に、外部のデータベースや社内文書などから関連情報を検索し、その情報を基に文章を作成する技術です。
https://www.google.com/search?q=rag%E3%81%A8%E3%81%AF

要するに自分の事を知ってるAIをある程度簡単に作れるよ、という中間のアプリです。
ファイルを読み込んでインデックス化しないと使えないので、しっかり時間はかかります。
が、ストレージにためてる音楽ファイルを読ませて、LLM経由で自然言語で検索するとか、画像のEXIF情報で検索するとか、そういう使いかができるよ、というもの。

RAG自体は使わなくてもチャット用のUIからOpenAI APIに接続できるので、UIだけ使いたい場合でもまあ使えなくはないです。
大体公式に良いUIがあるのであんまり使わないでしょうけど。

日本語に対応しているRAGサービスはあまりない筈なので、もしよければどうぞ使ってください。
ちなみに私は一文字もコードを書いてない。設計とプロンプトだけであとは全部Claude。


似てるっぽいネタ


 
© 1999- plasmasphere.net All rights reserved.