Lunary

Lunary : la plateforme d’ingénierie LLM open source

Qu’est-ce que Lunary ?

Lunary est une plateforme d’ingénierie LLM (grand modèle linguistique) open source conçue pour aider les équipes à créer, surveiller et optimiser les applications d’IA en toute confiance. Elle fournit une suite complète d’outils pour l’observabilité, la gestion des invites, les évaluations et l’analyse des produits.

Comment fonctionne Lunary ?

Lunary fonctionne en s’intégrant à votre pile d’applications d’IA, en capturant les données des LLM et des composants associés. Ces données sont ensuite utilisées pour fournir des informations sur les performances du modèle, les interactions des utilisateurs et l’état général de l’application. La plateforme offre des fonctionnalités telles que :

• Observabilité: surveillance en temps réel des performances des LLM, y compris la latence, le coût et les taux d’erreur.
• Gestion des invites: outils de création, de contrôle de version et de tests A/B des invites.
• Évaluations: notation automatisée des réponses des LLM en fonction de critères prédéfinis.
• Analyse des produits: suivi de l’engagement et de la satisfaction des utilisateurs à l’égard des fonctionnalités basées sur l’IA.

Pourquoi choisir Lunary ?

• Open source: transparence totale et contrôle de vos données et de votre infrastructure.
• Auto-hébergeable: déployez Lunary sur votre propre infrastructure pour une sécurité et une conformité accrues.
• Intégration en une ligne: facile à intégrer aux applications d’IA existantes à l’aide de SDK légers.

À qui s’adresse Lunary ?

Lunary est idéale pour les équipes qui créent :

• Outils internes: automatisez les flux de travail et améliorez l’accès de l’équipe aux connaissances de l’entreprise.
• Chatbots de service client: fournissez des réponses précises et utiles aux questions des clients.
• Agents autonomes: déployez des agents pour exécuter des tâches complexes et surveiller leurs performances.

Principales fonctionnalités et avantages

• Déboguer les agents LLM: enregistrez les invites et les résultats pour comprendre comment les agents se comportent en production.
• Suivre et analyser les performances: surveiller les performances, les coûts et les interactions des utilisateurs du projet GenAI.
• Itérer sur les invites: créez des modèles et collaborez sur les invites avec les membres de l’équipe non techniques.
• Assurer la sécurité: masquage des informations personnelles identifiables, RBAC et SSO pour une sécurité et une conformité de niveau entreprise.

Cas d’utilisation

• Analyse des chatbots: comprenez l’écart entre votre chatbot et vos utilisateurs.
• Bases de connaissances internes: aidez votre équipe à accéder aux connaissances de l’entreprise et à automatiser les flux de travail.
• Automatisation du service client: créez des chatbots destinés aux clients qui comprennent votre documentation.
• Surveillance des agents: déployez des agents autonomes et surveillez leurs performances en temps réel.

Intégration et compatibilité

Lunary offre une intégration transparente avec divers LLM et frameworks, notamment :

• OpenAI
• LangChain

Il prend en charge plusieurs langages de programmation via ses SDK, notamment Python.

Sécurité et conformité

Lunary donne la priorité à la sécurité et à la conformité grâce à des fonctionnalités telles que :

• Masquage des informations personnelles identifiables: protégez les informations personnelles des utilisateurs.
• RBAC et SSO: gérez le contrôle d’accès et assurez la sécurité des données.
• Auto-hébergement: déployez-vous dans votre propre VPC avec Kubernetes ou Docker.
• Certifié SOC 2 Type II et ISO 27001

Témoignages de clients

• Nevo David, responsable OSS chez Gitroom.com: « Je n’avais aucune idée de la fréquence à laquelle nos chatbots avaient des hallucinations avant de surveiller leurs données avec Lunary. Cela nous aide vraiment beaucoup à améliorer la qualité de leurs réponses. De plus, l’intégration a littéralement pris 2 minutes. Un outil essentiel ! »
• David Erik Mollberg, ingénieur GenAI chez Islandsbanki: « Lunary a joué un rôle déterminant dans notre parcours GenAI. Il nous a fourni une vue d’ensemble complète de notre application GenAI, ce qui nous a considérablement aidés dans son développement et sa maintenance. »
• Bart van der Meeren, directeur technique et cofondateur de Growf: « Nous sommes très satisfaits de Lunary AI, car il ne nécessite aucune supervision de notre part et nous pouvons toujours être sûrs qu’il fonctionne de manière fiable. Nous avons été mis en place en quelques minutes et nous avons directement commencé à surveiller et à améliorer nos invites. »

Démarrage

Lunary propose des options auto-hébergées et cloud. Vous pouvez démarrer en quelques minutes en :

1. Auto-hébergeant la plateforme open source.
2. Vous inscrivant à la version cloud.

Conclusion

Lunary est une plateforme d’ingénierie LLM puissante et polyvalente qui permet aux équipes de créer, de surveiller et d’optimiser efficacement les applications d’IA. Avec sa nature open source, ses fonctionnalités complètes et son accent sur la sécurité, Lunary est un excellent choix pour les organisations qui cherchent à tirer parti de la puissance des LLM tout en conservant le contrôle et la conformité.