Cloudflare, un fournisseur de premier plan de réseau de distribution de contenu, propose actuellement Mistral 7B via ses Workers AI, permettant aux utilisateurs d'exécuter des modèles d'IA sur le réseau mondial de Cloudflare. Selon un article de blog de Cloudflare, ‘Pour les modèles à 7 milliards de paramètres, nous pouvons générer près de 4 fois plus de tokens par seconde avec Mistral qu'avec Llama, grâce à l'attention Grouped-Query.’ Ils ont également noté que Mistral offre une faible latence, un haut débit et des performances impressionnantes sur les benchmarks, même comparé à des modèles plus grands (13B).




