Forum général.cherche-matériel Carte IA

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
4
18
juil.
2024

Bonjour à tous,

Ma configuration actuelle est un PC i5 (de chez Intel) avec une carte graphique intégrée.

Comme c'est à la mode, je m'intéresse à l'IA. Je souhaite faire tourner des LLM, mais aussi tester l'apprentissage sur des banques d'images ou de textes et voir ce que je peux m'amuser à faire.

Je n'ai pas besoin d'une énorme puissance de calcul, mais surtout de quoi m'amuser avec un bon rapport qualité/prix (sans pour autant mettre trop peu et me retrouver à ne rien pouvoir faire).

Je cherche donc une carte graphique pour faire de l'IA (je ne suis pas gamer, je n'ai pas besoin de la carte graphique pour afficher mon bureau).

Je sais que du côté de l'IA, NVIDIA a le vent en poupe. Par contre, d'après ce que j'ai compris, côté drivers Linux, NVIDIA, ce n'est pas terrible (je suis sous Debian). De plus, j'ai entendu dire que le driver Nouveau n'était pas super bien maintenu (une grosse déception, car à l'époque où j'avais une carte NVIDIA, Nouveau était le futur).

Il me semble que la compatibilité Linux d'AMD est bien meilleure. Par contre, quand on parle d'IA, on ne parle que de NVIDIA.

Du coup, j'ai besoin de vous, de vos expériences et de vos conseils.

NVIDIA ? AMD ? Quel modèle de carte graphique pour m'amuser (voire plus si affinité) à faire de l'IA ?

  • # Monopole ?

    Posté par  . Évalué à 4.

    Sans être spécialiste, j'ai des collègues qui bossent dessus et, de ce que j'ai compris, la plupart des outils sont fait pour fonctionner avec une carte nvidia. Nvidia a investi énormément dans le développement des outils à cette fin, alors les autres ont un train de retard.
    Ça pourrait/devrait changer un jour mais prendre autre chose qu'une nvidia risque de fermer des portes, … aujourd'hui.

    Je ne suis pas dans ce cas mais je sais qu'il y a plein de gens qui sont sous debian avec les drivers nvidia. Il ne faut pas changer trop souvent de noyau, quand ça marche, on touche plus à rien.

    • [^] # Re: Monopole ?

      Posté par  . Évalué à 3.

      Le support des drivers nvidia (et Cuda) sous Debian est quasi indolore depuis Debian 8.
      Pour avoir les derniers trucs, il faut utiliser les drivers qui sont dans les backports. Mais ça fonctionne bien, dkms fait sa tambouille.

    • [^] # Re: Monopole ?

      Posté par  (site web personnel) . Évalué à 4.

      J'utilise l'iA pour générer des images ou du texte quotidiennement depuis une année.

      Je fais ma veille et je te conseille NViDiA et le driver propriétaire si tu veux que ça juste marche™. Celui des dépôts Debian suffit dans un premier temps, tu pourras tester celui plus récent du dépôt NViDiA plus tard.

      Là j'ai bloqué la version à la 550 au-delà j'ai une incompatibilité entre CUDA et le driver et/ou la version de pytorch.

      La plupart des projets utilisent python et CUDA.

      AMD est loin derrière.

      J'ai une 3060 12Go dans les 300€ c'est très bien pour faire tourner des LLM jusqu'à 13B de paramètres quantizé en Q4 ou les versions SDXL dans Stable Diffusion WebUi.

      Mes 2 centimes.

      wind0w$ suxX, GNU/Linux roxX!

  • # AMD + ROCm

    Posté par  . Évalué à 5.

    J'ai une carte graphique AMD Radeon RX 7800 XT qui fonctionne directement et sans driver proprio et j'ai testé l'IA avec ROCm : https://www.amd.com/fr/products/software/rocm.html et Ollama https://ollama.com/
    Ca a fonctionné directement, les paquets rocm et ollama sont dans les dépôts archlinux/manjaro par exemple.
    Voir aussi en alternative de ollama : https://lmstudio.ai/

    Pour moi le support AMD pour Linux est nettement meilleurs que NVidia.

  • # carte dédiée en PCI-e/NVMe

    Posté par  . Évalué à 4.

    à ce moment là pourquoi ne pas partir sur une carte dédiée à ce genre d'usage,
    il en existe qui se pose sur le port NVMe/pci-e de ton PC et qui ne font que çà, parfois bien plus optimisée qu'une carte graphique sur laquelle tu demanderais à faire cela

    sinon les cartes graphiques Nvidia, et à la compatibilité, tu demandes à la carte de faire de l'IA, pas de l'affichage

    ton linux pourrait etre en ligne de commande (ou avec la carte integrée à la carte mere) et utiliser pleinement la carte graphique poru le calcul/IA/Cuda, etc

  • # Intel Arc

    Posté par  (site web personnel) . Évalué à 2.

    J’ai une carte Intel Arc, et elle fonctionne parfaitement avec Pytorch. Je l’avais choisie à la base car le prix n’a rien à voir avec les cartes nvidia, et Intel avait choisi de jouer le jeu du libre, donc il n’y a rien de particulier à faire (j’ai juste joué un peu avec apt-pinning pour avoir un noyau récent).

    En lisant les commentaires, j’ai l’impression que toutes les constructeurs permettent désormais d’utiliser leurs cartes sous linux, ce qui est une bonne chose pour nous !

  • # et avec le CPU?

    Posté par  . Évalué à 3.

    La réponse est en deux points, tout d'abord le fait de faire tourner des IA sur ton PC bureau, et sur l'entraînement de modèles.

    Je m'amuse avec des LLM locaux depuis quelques temps, sans CG. J'ai juste pris mon CPU, ollama fonctionne simplement avec. Le facteur limitant, c'est la RAM. Tu regardes le nombre de paramètres de ton modèle (genre 13B) et c'est la quantité en Go de RAM dont tu as besoin (ce calcul est simpliste et faux, mais c'est une approximation facile à faire et suffisante).

    Ca va ramer (ne t'attends pas à aller aussi vite que sur les sites web), mais c'est suffisant pour tester. J'ai des résultats intéressants pour m'aider à coder et sur la génération de texte. Le problème c'est que les "petits" modèles (genre 7B, 13B, 24B) sont loin de la qualité des chatGPT/mistralAI que tu trouves gratuits, donc l'avantage d'un LLM local reste mitigé.

    Pour l'entraînement, je ne sais pas duquel tu parles: soit de générer ton modèle, et apparemment c'est hors de portée du commun des mortels (genre faut des fermes entières de PC+CG), soit il s'agit d'extension du contexte.
    Par exemple, tu donnes à ton LLM local un corpus de pdf sur ton disque et tu lui poses des questions dessus et ça, c'est possible localement en CPU only (mais ça rame + que de la question/réponse de base). Je suis justement en train d'affiner des paramètres et des méthodes de contexte pour éviter d'une part les hallucinations et d'autre part les réponse hors-contexte (genre il n'y a pas la réponse dans les pdfs, le LLM doit me dire qu'il ne sait pas au lieu d'essayer d'inventer un truc).

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.