Commentaires sur : ChatGPT lance un abonnement Pro à 200 dollars par mois!

Par : Cédric

Cédric — Sun, 08 Dec 2024 14:52:48 +0000

Oui je suis informaticien, pour ma machine à inférence (elle est modeste) j’ai acheté d’occasion un dell i7 32Gb de ram avec disque nve et une carte nvidia quadro p5000 de 16Go que j’avais payé 750.- (la machine à 6 ans). J’ai acheté une autre carte nvidia quadro p5000 (attention si on ajoute une carte gpu il faut prendre la même).
Donc la je tourne sur 32Go de nvram.
Mes gpu sont limite pour certain modèle, je fait dans les 26 token/s avec llama 3.2 11b et du 12 token/s avec codestral 22b.
Le vieux modèle mixtral 8x7b tournait avec du 24token/s.
Par contre llama 3.1 70b lui il tourne à 4 token/s.
avec flux 1 dev il faut compter 5min pour générer une image en 1024×1024 contre 1min30 sur sdxl.
Après open webui est façile à installer c’est le configurer qui prend plus de temps mais c’est de la folie, on se fait ses assistants (ses gpt) et on peux changer le modèle qui est derrière si on est pas contant (on peux passer par exemple de gpt04 à claude 3.5 sonnet en un clic)
On peux installer des tools qui sont appeler par le modèle (lire une page web, faire une recherche web ou un appel sur une api) on peux avoir des collections de fichiers qu’on peux appeler pour faire du rag. On peux ajouter des fonctions diverses qui vont modifier les appels. Et nous avons les pipes qui permettent d’avoir tout un processus de différente requête (on peux chainer des llm).
La limite c’est l’imagination et la connaissance de python.
voici la doc https://docs.openwebui.com/

Par : Mario

Mario — Sat, 07 Dec 2024 13:45:31 +0000

Respect! Tu es un virtuose! Es-tu informaticien? Combien te coute ton matériel?

Par : redge

redge — Sat, 07 Dec 2024 08:07:29 +0000

Je ne sais pas quel est la speudo IA LLM chez Swisscom community, mais le résultat est déplorable pour des choses on ne peux plus élémentaire.
Dans ce cadre là, impossible de faire confiance à l’IA qui est, pour la traduction ultra simple, incapable de traduire correctement de l’allemand en français.
Langue reconnue comme source néerlandais (alors que la langue source est l’allemand. M’enfin comme dirait Gaston.

Néamoins, l’idée est très bonne que je salue, hormis la qualité de traduction qui peux faire dire le contraire ou complètement déformer la source et prêter à confusion.
Une seule langue parmi les 4 et traduit automatiquement tout le contenu du texte dans votre langue sélectionnée à choix à la volée. Bluffant.
https://community.swisscom.ch/

Par : Cédric

Cédric — Sat, 07 Dec 2024 06:36:34 +0000

profile
mistral-large-2411 7:34 am
Voici le texte corrigé :
C’est très cher comme abonnement, mais peut-être qu’ils sont rentables sous cette forme, ce qui permet d’éviter la pub sur les comptes gratuits.
Moi, je fais tourner une instance d’Open WebUI (une interface unifiée qui permet de se connecter aux API de plein de modèles, y compris OpenAI et Anthropic). J’utilise essentiellement les API de Together AI, Mistral, OpenAI et Anthropic, et je le connecte aussi à mon serveur d’inférence qui fait tourner Ollama.
L’avantage, c’est que je ne paye que ce que je consomme, et je suis un grand utilisateur (débogage, synthèse de doc, traduction, correction de texte). Cela me coûte au maximum 2$ par mois.
Et l’avantage, c’est que j’ai accès à Claude 3.5, la famille des OpenAI (o1 et o1 pro ne sont pas encore disponibles, mais j’ai o1 preview et o1 mini), Mistral Large, Pixtral Large, Codeastral, QWP (le concurrent de o1 d’Alibaba), les Llama 3.1 et 3.2 (via Together, ils sont bon marché).
En local, quand je lance mon serveur (il me coûte cher en électricité), j’ai dessus Llama 3.2 11b, Llama 3.1 70b q3, Mixtral 8x7b, Codeastral et QWP.
Certes, il faut connaître Docker et le monde de Linux pour faire tourner Open WebUI (quoi qu’il soit aussi sur le projet Pinokio). Mais c’est mon métier, Linux.
Ah, et pour ceux qui veulent tester, avec Groq, vous pouvez utiliser leur API gratuitement, ainsi que demander un essai gratuit chez Mistral.
P.S. : Ce message a été corrigé par Mistral-Large.