Installer et utiliser un LLM en local

S’il y a bien un sujet tendance ces dernières années (surtout depuis l’arrivée de Chat GPT), c’est les Large Language Model (souvent appelé LLM). Personnellement, je n’échappe pas à ce “mouvement”. J’utilise Github Copilot au quotidien et Chat GPT régulièrement (qui a remplacé à la fois Google et Stack Overflow).

Faisant de la veille régulièrement, j’ai envie de comprendre comment ces outils peuvent révolutionner notre quotidien de développeur (et je pense sincèrement que c’est le cas quand on sait les manipuler correctement). Je pense même que c’est une erreur de ne pas s’y mettre.

Conscient et convaincu de l’importance de ces solutions, je n’ai pas envie de n’être qu’un simple utilisateur final. C’est pour cela que je me demande régulièrement ce que pourrait apporter l’intégration d’un LLM dans les projets sur lesquels je travaille. S’il existe de nombreuses plateformes permettant de s’interfacer avec une intelligence artificielle, je me suis demandé comment installer et utiliser un des nombreux LLM open source disponible (il y en a dorénavant pléthore sur le net).

Ce fut au final beaucoup plus facile que ce que j’avais imaginé. J’utilise pour ma part Ollama qui est une solution extrêmement simple d’utilisateur et qui permet d’exécuter localement un vaste choix de LLM open source. Disponible sur Linux, Mac OS et prochainement sur Windows, Ollama va installer un service sur votre machine qui permettra de télécharger les modèles et d’interagir avec.

Par exemple, j’ai pu tester Mistral AI le LLM made in France de la manière suivante:

$ ollama pull mistral # permet de télécharger le modèle
$ ollama run mistral # pour commencer à discuter avec le modèle

Et cerise sur la gâteau, il est possible d’interagir avec Ollama localement via une API HTTP qui s’utilise aussi simplement que les outils en ligne de commande.

C’est avec cette dernière que je peux alors commencer à intégrer des LLM dans mes projets simplement. J’ai d’ailleurs commencé à développer un composant PHP pour interagir simplement avec l’API Ollama. Ce dernier est dorénavant disponible publiquement sur Github.

Alors, qu’attendez-vous pour vous y mettre ?