Vicuna est un chatbot open source développé par l’équipe Vicuna, affiné sur les conversations partagées par les utilisateurs collectées à partir de ShareGPT. Les évaluations préliminaires montrent que Vicuna-13B atteint une qualité de plus de 90 % par rapport à OpenAI ChatGPT et Google Gemini, surpassant d’autres modèles comme LLaMA et Stanford Alpaca dans plus de 90 % des cas. Caractéristiques Performances : après avoir affiné Vicuna avec 70 000 conversations ChatGPT partagées par les utilisateurs, le chatbot peut générer des réponses plus détaillées et bien structurées par rapport à Alpaca. Système d’évaluation : l’équipe a proposé un cadre d’évaluation automatisé pour la génération de références et les évaluations de performances basées sur GPT-4. Système de service : un système de service distribué léger a été construit, capable de servir plusieurs modèles avec des travailleurs distribués. Cas d’utilisation Vicuna-13B peut être utilisé comme système de chatbot, générant des réponses détaillées et bien structurées. Il peut servir de point de départ ouvert à de futures recherches visant à s’attaquer aux limites des tâches impliquant le raisonnement ou les mathématiques, en s’identifiant avec précision ou en garantissant l’exactitude factuelle de ses résultats. Limites Comme d’autres grands modèles linguistiques, Vicuna présente certaines limites. Il n’est pas doué pour les tâches impliquant le raisonnement ou les mathématiques et peut avoir des difficultés à s’identifier avec précision ou à garantir l’exactitude factuelle de ses résultats. Il n’a pas été suffisamment optimisé pour garantir la sécurité ou atténuer la toxicité ou les biais potentiels. Libération et licence Le code de formation, de service et d’évaluation est publié sur un dépôt GitHub et les poids du modèle Vicuna-13B ont également été publiés. La démo en ligne est un aperçu de recherche destiné à un usage non commercial uniquement, et le code est publié sous la licence Apache 2.0.