Dans le post précédent , nous avons mis en place l’internationalisation avec Astro. L’étape suivante consiste à utiliser un grand modèle de langage (LLM) comme traducteur de contenu. L’objectif est de publier le contenu du site dans toutes les langues humaines appuyées par un LLM et d’enquêter sur la faisabilité de cela.
J’avais précédemment utilisé les modèles d’OpenAI directement via leur API, mais ce n’est pas complètement gratuit et je suis intrigué d’explorer le processus de téléchargement des modèles pour exécuter des inférences localement.
Il s’avère que cela est incroyablement facile grâce au projet Ollama. C’est pratiquement comme ça :
$ brew install ollama
$ ollama serve
$ ollama pull llama3Le modèle par défaut llama3 semblait parfaitement suffisant pour commencer.
Ollama fournit une interface de ligne de commande (CLI) et une API REST pour l’interaction avec les modèles téléchargés, mais plutô…