llm-answer-engine

LLM Antwort-Engine: Bauen Sie Ihr eigenes KI-gestütztes Frage-Antwort-System

Dieses Open-Source-Projekt, llm-answer-engine, stellt den Code und die Anweisungen bereit, um eine hochentwickelte KI-Antwort-Engine zu bauen, die von Perplexity inspiriert ist. Es nutzt modernste Technologien wie Groq, Mistral AI's Mixtral, Langchain.JS, Brave Search, Serper API und OpenAI, um umfassende Antworten auf Benutzeranfragen zu liefern, komplett mit Quellen, Bildern, Videos und Folgefragen.

Was ist llm-answer-engine?

llm-answer-engine ist ein Ausgangspunkt für Entwickler, die sich für Natural Language Processing und Suchtechnologien interessieren. Es ermöglicht Ihnen, ein System zu erstellen, das Fragen effizient beantwortet durch:

• Abrufen relevanter Informationen aus verschiedenen Quellen.
• Generieren prägnanter und informativer Antworten.
• Bereitstellen von unterstützenden Beweisen und zugehörigen Medien.
• Vorschlagen von Folgefragen, um die weitere Erkundung zu leiten.

Wie funktioniert llm-answer-engine?

Die Engine verwendet eine Kombination von Technologien, um Benutzeranfragen zu verarbeiten und relevante Antworten zu generieren:

1. Abfrageverständnis: Technologien wie Groq und Mixtral werden verwendet, um die Frage des Benutzers zu verarbeiten und zu verstehen.
2. Informationsbeschaffung:
   • Brave Search: Eine datenschutzorientierte Suchmaschine wird verwendet, um relevante Inhalte und Bilder zu finden.
   • Serper API: Wird verwendet, um relevante Video- und Bildergebnisse basierend auf der Benutzerabfrage abzurufen.
   • Cheerio: Wird für das HTML-Parsing verwendet, wodurch das Extrahieren von Inhalten von Webseiten ermöglicht wird.
3. Textverarbeitung:
   • Langchain.JS: Eine JavaScript-Bibliothek, die sich auf Textoperationen wie Textaufteilung und Embeddings konzentriert.
   • OpenAI Embeddings: Werden verwendet, um Vektordarstellungen von Textblöcken zu erstellen.
4. Optionale Komponenten:
   • Ollama: Wird für Streaming-Inferenz und Embeddings verwendet.
   • Upstash Redis Rate Limiting: Wird verwendet, um die Ratenbegrenzung für die Anwendung einzurichten.
   • Upstash Semantic Cache: Wird verwendet, um Daten für schnellere Antwortzeiten zu cachen.

Hauptmerkmale und Technologien:

• Next.js: Ein React-Framework zum Erstellen von serverseitig gerenderten und statischen Webanwendungen, das eine robuste Grundlage für die Benutzeroberfläche bietet.
• Tailwind CSS: Ein Utility-First-CSS-Framework zum schnellen Erstellen benutzerdefinierter Benutzeroberflächen, das eine effiziente Gestaltung und Anpassung ermöglicht.
• Vercel AI SDK: Eine Bibliothek zum Erstellen von KI-gestützten Streaming-Text- und Chat-UIs, die die Benutzererfahrung mit Echtzeit-Feedback verbessert.
• Function Calling Support (Beta): Erweitert die Funktionalität mit Integrationen für Karten & Standorte (Serper Locations API), Shopping (Serper Shopping API), TradingView-Aktiendaten und Spotify.
• Ollama Support (teilweise unterstützt): Bietet Kompatibilität mit Ollama für das Streamen von Textantworten und Embeddings, was die lokale Modellausführung ermöglicht.

Wie verwende ich llm-answer-engine?

Um mit llm-answer-engine zu beginnen, folgen Sie diesen Schritten:

1. Voraussetzungen:
   • API-Schlüssel von OpenAI, Groq, Brave Search und Serper beziehen.
   • Stellen Sie sicher, dass Node.js und npm (oder bun) installiert sind.
   • (Optional) Installieren Sie Docker und Docker Compose für die containerisierte Bereitstellung.
2. Installation:

   git clone https://github.com/developersdigest/llm-answer-engine.git
   cd llm-answer-engine
   

3. Konfiguration:
   • Docker: Bearbeiten Sie die Datei docker-compose.yml und fügen Sie Ihre API-Schlüssel hinzu.
   • Non-Docker: Erstellen Sie eine .env-Datei im Stammverzeichnis Ihres Projekts und fügen Sie Ihre API-Schlüssel hinzu.
4. Server starten:
   • Docker:

     docker compose up -d
     

   • Non-Docker:

     npm install  # or bun install
     npm run dev  # or bun run dev
     

Der Server wird am angegebenen PortListening sein.

Warum llm-answer-engine wählen?

• Inspiriert von Perplexity: Bietet eine ähnliche Benutzererfahrung wie eine führende KI-Antwort-Engine.
• Nutzt leistungsstarke Technologien: Kombiniert das Beste aus NLP, Suche und Webentwicklung.
• Open-Source und anpassbar: Ermöglicht es Ihnen, die Engine an Ihre spezifischen Bedürfnisse anzupassen.
• Function Calling Support: Erweitert die Funktionalität mit Integrationen für Karten & Standorte, Shopping, TradingView-Aktiendaten und Spotify.

Für wen ist llm-answer-engine?

Dieses Projekt ist ideal für:

• Entwickler, die sich für Natural Language Processing und Suchtechnologien interessieren.
• Forscher, die Frage-Antwort-Systeme untersuchen.
• Jeder, der seine eigene KI-gestützte Wissensdatenbank aufbauen möchte.

Roadmap:

Die Projekt-Roadmap umfasst spannende Funktionen wie:

• Dokumenten-Upload + RAG für die Dokumentensuche/-abruf.
• Eine Einstellungs-Komponente, mit der Benutzer das Modell, das Embeddings-Modell und andere Parameter über die Benutzeroberfläche auswählen können.
• Hinzufügen von Unterstützung für Folgefragen bei Verwendung von Ollama

Mitwirken:

Beiträge sind willkommen! Forken Sie das Repository, nehmen Sie Ihre Änderungen vor und senden Sie einen Pull Request.

Dieses Projekt ist unter der MIT-Lizenz lizenziert.

Bauen Sie Ihre eigene KI-gestützte Antwort-Engine und erkunden Sie die Möglichkeiten der natürlichen Sprachverarbeitung mit llm-answer-engine!