QueryGPT: NodeJS & OpenAI を使用したパーソナライズされたデータ Q&A チャットボット

QueryGPT の概要

QueryGPT：NodeJSとOpenAIで構築するパーソナライズされたQ&Aチャットボット

QueryGPTとは？

QueryGPTは、NodeJSとOpenAIのGPTモデルを搭載した質疑応答チャットボットを作成できるオープンソースプロジェクトです。チャットボットは、提供された知識ベースから学習し、データとOpenAIのトレーニングデータに基づいた正確な回答を提供できます。これにより、技術ドキュメント、科学論文、ビジネス製品データなどの処理に最適です。

QueryGPTの仕組み

QueryGPTは、埋め込みと補完のモデルを活用して正確な応答を提供します。以下はプロセスの内訳です。

データ準備：このプロジェクトはテキストファイルとシームレスに連携し、JSON/JSONL変換の必要性を排除します。最適な埋め込みのために、データをより小さな段落に分割します。
埋め込み：テキスト段落は、OpenAIの埋め込みモデルを使用して数値ベクトル表現に変換されます。これらのベクトルは、テキストのセマンティックな意味を捉えます。
質問の埋め込み：ユーザーの質問も埋め込みベクトルに変換されます。
類似性検索：システムは、ドット積を使用して、質問の埋め込みベクトルと知識ベース内の各段落の埋め込みベクトルとの間の類似性を計算します。
コンテキストの検索：最も高い類似性スコアを持つ段落（通常は3〜5）が、質問に答えるためのコンテキストとして選択されます。
補完：選択された段落とユーザーの質問は、注意深く作成されたプロンプトとともに、OpenAIの補完モデル（例：text-davinci-003）にフィードされます。
応答の生成：補完モデルは、提供されたコンテキストとその既存の知識に基づいて回答を生成します。

主な機能と利点：

パーソナライズされた知識ベース：正確で関連性の高い回答を得るために、特定のデータでチャットボットをトレーニングします。
Pythonは不要： NodeJSで構築されており、Pythonの知識は不要です。
テキストファイルのサポート：テキストファイルを直接操作し、データ入力を簡素化します。
埋め込みベースの精度：セマンティックな理解と正確なコンテキスト検索のために埋め込みを利用します。
カスタマイズ可能なプロンプト：知識ベースからの回答を優先するか、必要に応じてモデルが独自の知識を使用できるようにするプロンプトを選択します。

QueryGPTの使い方

前提条件：
- NodeJS
- 基本的なJavascriptの知識
- OpenAI APIキー
セットアップ：
- NodeJSプロジェクトを作成します：mkdir QueryGPT && cd QueryGPT && npm init -y
- 依存関係をインストールします：npm install @types/node dotenv openai
- 必要なフォルダを作成します：mkdir sourceData embeddedData utils
- .envファイルを作成し、OpenAI APIキーを追加します：OPENAI_API_KEY = YOUR_API_KEY
構成：
- OpenAI APIを構成するためにutils/helper.jsファイルを作成します。
埋め込みデータ：
- データを小さな段落に分割し、./embeddedData/sourceData.txtに保存してデータを準備します。
- embedding.jsファイルを実行して埋め込みを生成します：node embedding.js
応答の生成：
- 質問とともにcompletion.jsファイルを実行します。 node completion.js generateCompletion("経営学部の学部長代行は誰ですか");