【Dify】ナレッジベース作成ガイド！RAG設定と精度比較

Difyを使えば、高性能なAIチャットボットをノーコードで簡単に作成できます。

しかし、AIモデルはあくまで「インターネット上の公開情報」を学習したものであり、あなたの会社の「社内規定」や「非公開のプロジェクト情報」については何も知りません。

無理に答えさせようとすれば、もっともらしい嘘（ハルシネーション）をつくリスクさえあります。

これを解決し、AIに「自社の知識」を持たせる技術が「RAG（Retrieval-Augmented Generation）」です。

この記事では、Difyにおけるナレッジベースの構築方法、最適な設定、そして設定の違いによる回答精度の比較検証までを徹底解説します。

RAGとナレッジベースの基礎知識

RAGとは、ユーザーの質問に対し、あらかじめ用意した「知識ベース（ナレッジベース）」から関連情報を検索し、その情報を元にAIが回答を作成する技術です。

この「検索」は、単なるキーワード一致ではありません。

文章の意味や文脈を理解するために、データを「ベクトル（数値）」に変換し、質問との「類似度」が高い情報を取り出して使用します。

AIが理解できる形式（数値）に情報を変換することを「ベクトル化」と言い、その役割を担うのが「埋め込みモデル（Embedding Model）」です。
ベクトル化により、質問との類似度が高い情報を迅速に見つけることが可能となります。

Dify でベクトル化できる情報は次のとおりです。

OpenAIが提供する代表的な埋め込みモデルの性能とコスト比較は以下の通りです。

結論： コストパフォーマンスを重視するなら text-embedding-3-small が最適解です。前世代のモデルより高性能でありながら、コストは5分の1に抑えられています。

長いドキュメントをそのままAIに渡すことはできません。

Difyは情報を「意味のある小さな塊（チャンク）」に分割して保存します。このサイズ設定が回答精度を左右します。

分割するサイズを変更することもできますが、不用意に変更すると回答精度の低下を招きます。

分割するサイズが小さすぎる

文脈が分断され、AIが意味を正しく理解できません。

適正な分割サイズ

文脈を保持しつつ、必要な情報だけをピンポイントで検索可能です。

分割するサイズが大きすぎる

検索結果に無関係な情報が混ざり、回答の精度が下がります。

ここからはDifyを使って実際にナレッジベースを構築します。

今回は比較検証のため、以下の2種類を作成します。

ナレッジ画面から「空のナレッジベースを作成」を選択し、名前と説明を入力します。

用意した社内文書（例：就業規則.docx）をアップロードします。

「テキストファイルをアップロード」にファイルをドラッグ＆ドロップします。

ここが精度の分かれ道です。「高品質ナレッジベース」を目指す場合、以下の設定を推奨します。

項目	説明
チャンク識別子	テキスト分割に使用する区切り文字です。連続する2個の改行を区切りとします。
最大チャンク長	チャンクサイズ（文字数またはトークン数）に 400 を設定します。
チャンクのオーバーラップ	隣接するチャンク同士で重複する部分のサイズ（文字数またはトークン数）です。 50 を設定します。
連続するスペース、改行、タブを置換する	スペース・改行・タブ文字を除去します。チェックしておきます。
すべてのURLとメールアドレスを削除する	URL とメールアドレスを除去します。未チェックにしておきます。
Q&A形式で分割	情報ファイルをQ&A形式（「”Q”と”A”」や「”質問”と”回答”」など）で分割します。未チェックにしておきます。