L’exécution de grands modèles linguistiques (LLM) directement sur son ordinateur pourrait séduire un nombre croissant d’utilisateurs soucieux de la confidentialité de leurs données. Si Ollama reste intéressant, ses manques ergonomiques compliquent vite la tâche pour tirer le meilleur de l’intelligence artificielle (IA) en local. C’est ici qu’intervient le logiciel gratuit LM Studio.
Pour pallier ces limites, le logiciel gratuit LM Studio propose une interface soignée qui simplifie grandement le téléchargement et la gestion locale de ces tas d’algorithmes. Cette solution permet notamment d’interagir plus facilement avec des documents volumineux, sans envoyer le moindre octet sur des serveurs distants dans le nuage.
Les réglages indispensables…
Le traitement de fichiers complexes, comme de longs rapports au format PDF exige toutefois une configuration minutieuse. Il convient d’abord de choisir et de charger en mémoire le modèle le plus adapté, puis d’étendre la fenêtre de contexte au maximum dans les options afin d’éviter un découpage tronqué du texte, par exemple.
L’activation de certains mécanismes d’attention permet d’accélérer le temps de calcul tout en préservant la fluidité de lecture du système. En parallèle, il reste primordial de déléguer un maximum de calculs à la puce graphique de votre ordinateur via les technologies Vulkan sur Windows, par exemple. Ainsi, même avec une partie graphique Intel Arc sur 32 Go, on fait «presque» des miracles.
Trouver le bon équilibre matériel
Le choix de la taille du modèle dépend directement de la mémoire dédiée de votre carte graphique. Une version intermédiaire dotée de quatorze milliards de paramètres convient, par exemple, plutôt bien à un PC comme le Lenovo Yoga que nous avons la semaine passée, tandis que les architectures unifiées de Mac supportent des déclinaisons plus lourdes.
Jusqu’ici, cette solution logicielle permet de rendre l’IA en local un peu plus accessible, même si les temps de calcul prennent tout de même vite l’ascenseur! Cela dit, encore une fois, j’ai constaté qu’il est nécessaire de beaucoup bidouiller et de se documenter pour atteindre des résultats risibles par rapport à ce qu’il est possible de faire en ligne…
Nous y reviendrons…
Xavier Studer