[CUDA API] Le topic qui parle d'architecture et de GPGPU sur les cartes Nvidia

[Møgluglu]

Mais le NVlink, qui supprimerait les 16Go/s de bande passante unitaire en PCIe3 pour la porter à 10x plus environ, ça va être pour qui?
Intel va supporter ça sur ses CM orientées Xeon? Quelque part, va bien falloir qu'un CPU gère tout ça?

C'est tout le problème. Pour les CPU Intel, ils placent juste un bridge PCIe <-> NVlink devant, et tu bénéficie du NVlink pour les comms GPU-GPU et éventuellement GPU-Infiniband.
IBM est partenaire avec les Power 8, mais vu leurs parts de marché c'est tendu. C'est Lazyjoe qui est au taquet sur ces archis-là.

Mais je pense que ça serait encore plus "paradigm breaker" sur CPU. Quand on commence à dépasser les 100Go/s de BP sur une machine avec un seul CPU, ça met en perspective les achats complémentaires de Tesla ou de Xéfi.

Le truc c'est qu'au prix de la HBM2, tu peux bien prendre un ou deux GPU avec. Ne serait-ce que pour avoir une bande passante on-chip qui suive et le parallélisme qui va bien. Avec un seul CPU à une douzaine de cores, tu vas en chier pour tirer autant de bande passante. Déjà que mettre de la DDR4 d'overclockeur ne change pas grand-chose aux perfs en pratique..

Oula non, jamais.
Toutes les libs que je connais implémentent les images 2-D, 3-D, par des tableaux 1-D en row-major order (OpenCV, VTK, FFTW).

Quand tu traites en flux, que t'as pas besoin de connaitre la valeur des coordonnées de la case où tu es, tu traites le volume comme un simple tableau.

À l'époque où j'avais regardé, les cuBLAS utilisaient pas mal la mémoire de texture quand-même. Si tu as de la localité 2D ou 3D et des motifs d'accès non-triviaux, c'est très utile d'avoir un adressage et des caches nativement 2D.

[Taro]

Oula non, jamais.
Toutes les libs que je connais implémentent les images 2-D, 3-D, par des tableaux 1-D en row-major order (OpenCV, VTK, FFTW).

Quand tu traites en flux, que t'as pas besoin de connaitre la valeur des coordonnées de la case où tu es, tu traites le volume comme un simple tableau.

Ah, tu me rassures, bah écoute c'est comme ça que je procède, systématiquement. Que ce soit sur mes filtres d'images, mon ray-tracing, etc.

Mais bon, les tableaux multi-dimensions, y'a plus dégueulasse... les liste chainées
Ok tu peux insérer ou retirer un élément assez facilement, mais paie ton optimisation mémoire/performances derrière !

[vectra]

Le truc c'est qu'au prix de la HBM2, tu peux bien prendre un ou deux GPU avec. Ne serait-ce que pour avoir une bande passante on-chip qui suive et le parallélisme qui va bien. Avec un seul CPU à une douzaine de cores, tu vas en chier pour tirer autant de bande passante. Déjà que mettre de la DDR4 d'overclockeur ne change pas grand-chose aux perfs en pratique...

Oui mais ça c'est pas juste une histoire de lignes de cache qui scale pas sur la DDR4 parce que sinon ça dépasse la taille d'une ligne de cache CPU?
Si j'en crois les tests de Marc Prieur, on arrive à 50 go/s avec de la DDR4 3600 contre 40 avec de la DDR3 2400 (au-delà, ça décroît). Donc ouais, c'est pas énorme, mais c'est 20%.

À l'époque où j'avais regardé, les cuBLAS utilisaient pas mal la mémoire de texture quand-même. Si tu as de la localité 2D ou 3D et des motifs d'accès non-triviaux, c'est très utile d'avoir un adressage et des caches nativement 2D.

Ca me dépasse bien bien bien. J'essaie déjà de rester dans les perfs séquentielles.
Mais y'a bien que sur GPU qu'on a des mémoires nativement 2-D?

- - - Mise à jour - - -

Ah, tu me rassures, bah écoute c'est comme ça que je procède, systématiquement. Que ce soit sur mes filtres d'images, mon ray-tracing, etc.

3 appels mémoire pour un seul voxel, ça semble en faire deux de trop.
Après, si la mémoire a été allouée en 3-D d'un seul coup, je ne sais pas ce que ça va vraiment donner. Je suis encore un x86_junior

[Taro]

Ca me dépasse bien bien bien. J'essaie déjà de rester dans les perfs séquentielles.
Mais y'a bien que sur GPU qu'on a des mémoires nativement 2-D?

Il me semble. A confirmer par les experts, les vrais.

3 appels mémoire pour un seul voxel, ça semble en faire deux de trop.
Après, si la mémoire a été allouée en 3-D d'un seul coup, je ne sais pas ce que ça va vraiment donner. Je suis encore un x86_junior

Et moi donc. Cher canard, si vous êtes un x86 Junior, que suis-je donc ? Un x86 fœtus ?

[Taro]

Ça s'éloigne un peu de l'API, des drivers et de l'architecture, mais certains d'entre vous se sont intéressés au deep learning ?
Je m'apprête à m'y intéresser tout particulièrement (j'attends deux bouquins sur le sujet, et j'ai déjà fait quelques lectures/visionnages à ce propos) et ça serait pas mal de voir si d'autres ici se sont déjà plongés là-dedans.

Nvidia semble s'y intéresser tout particulièrement, et semble même chercher à s'y imposer, depuis quelques temps.

[weedkiller]

Deep Learning, ça se situe où sur la carte du bullshit bingo ? Entre "cloud" et "Internet of Things" ?

[vectra]

J'ai vu des doctorants faire du diplérningue, visiblement ils en sont assez contents pour faire de la classification de photos automatique.
Ils racontent qu'ils reprennent des vieux algos de réseaux de neurones, qui commencent à marcher maintenant qu'on a les capacités de calcul nécessaires.

C'est un peu comme un bête algo minmax: à 3 coups d'avance, tu le niques easy, mais à 30...

[Taro]

C'est pas du tout du bullshit, c'est de plus en plus utilisé pour des cas concrets et bien ciblés. Par exemple, la classification / prédiction / reconnaissance de contenus : reconnaissance d'images ou vocale, contenu ciblé sur le net, etc.

[vectra]

Deep Learning, ça se situe où sur la carte du bullshit bingo ? Entre "cloud" et "Internet of Things" ?

C'est bien du bullshit-bingo: quand tu vois un type qui remplit la grille, un coup sur la nuque discret semble tout indiqué.
Mais par contre ça tout seul, ça me semble tout à fait valable, contrairement aux deux autres ai-je envie de dire...

[weedkiller]

Non mais c'est comme tout, ça a un fond de vérité et c'est même un domaine passionnant j'imagine. C'est juste que depuis que j'ai vu une intervention d'experts sur bfmtv parlant de cloud et de big data, je m'amuse à repérer les "bullshit words" (Paye ta référence . Ce fût des minutes bien étranges, comment peut on débiter tant de conneries avec tant d'assurance ?). Sans déconner, "internet of things" c'est devenu une ligne comptable du bilan de chez intel . Et depuis alphago & Tay, j'ai l'impression que "deep learning" va suivre la même voie.

[Taro]

Le deep-learning c'est une sous-section spécifique du machine learning, qui existe depuis belle lurette. C'est seulement qu'on a longtemps eu des machines trop limitées pour en faire bon usage.

Malgré ça, et bien que son équipe ait été mise de côté par les autres chercheurs pendant longtemps, notre français Yann LeCun a bossé dessus pendant une vingtaine d'années.
Et quand, d'un coup, la compétition annuelle de reconnaissance d'images a été remportée par un système basé sur le deep learning, en 2012 si je me souviens bien, tout le monde s'est rendu compte de son intérêt réel et l'an d'après ils étaient tous passés au deep learning.

Je ne pense pas que ce mec ait dédié la majeure partie de sa vie professionnelle à faire de la recherche sur du vent.
S'il est chef du labo Facebook maintenant ce n'est pas pour rien, un cas pratique du deep learning étant de déterminer quel contenu va intéresser chaque utilisateur.

C'est pas parce que des marketeux balancent ça à tout-va sans vraiment en saisir le sens que c'est pour autant à jeter. C'est vraiment pas du bullshit et ça existe depuis longtemps. C'est juste qu'en 1990, on avait pas des cartes au-delà du Téraflop et avec plusieurs GB de VRAM, et pas d'énormes bases de données stockées sur des RAID de SSD de 1 TB.

[Thamior]

S'il est chef du labo Facebook maintenant ce n'est pas pour rien, un cas pratique du deep learning étant de déterminer quel contenu va intéresser chaque utilisateur.

Ah ben oui ça serait dommage de laisser les utilisateurs décider quand même, ils n'iraient pas voir les bonnes pubs
Blague à part ça m'a surtout l'air d'être une solution à une classe de problèmes bien spécifiques, mais c'est pas comme si je m'y connaissais plus qu'un "journaliste" de chez BFM TV.

D'ailleurs, question naïve, si il faut une puissance de calcul énorme et plein de RAM, est-ce que ça a un avantage sur des algorithmes plus "classiques"? Je suppose naturellement que oui vu la hype

[vectra]

Si je me souviens bien, il y a déjà eu un gros crash sur l'IA française dans les années 80 je crois. Ca parlait déjà de RDN je crois

En apparté, pour moi, un chercheur qui "réussit", c'est pas spécialement du côté de chez Google ou Facebook que je vais les chercher. Ces boîtes font de l'applicatif pur, pas des prix Nobel.

[Møgluglu]

Si je me souviens bien, il y a déjà eu un gros crash sur l'IA française dans les années 80 je crois. Ca parlait déjà de RDN je crois

Pas seulement en France. L'IA a été overhypé, ce qui s'est vu, d'où un méchant retour de bâton (deux fois en fait). C'est pour ça qu'aujourd'hui les neuroréseaulogues font très attention à ne pas générer trop de hype, et parler d'IA est tabou. On parle de Deep Learning et de Convolutional Neural Networks.
Source de la Hype Curve :
http://pages.saclay.inria.fr/olivier...SCA2010web.pdf
(en 2010, c'était encore bien dans le creux de la hype)

En apparté, pour moi, un chercheur qui "réussit", c'est pas spécialement du côté de chez Google ou Facebook que je vais les chercher. Ces boîtes font de l'applicatif pur, pas des prix Nobel.

Tu prends le problème à l'envers. C'est Google et Facebook qui vont chercher les chercheurs qui réussissent.

[vectra]

Je connais deux prix Nobel, aucun chez Googlook.
Et un gars de Google X, et loin d'être Nobel non plus

[Taro]

Tu prends le problème à l'envers. C'est Google et Facebook qui vont chercher les chercheurs qui réussissent.

Exactement.

Et ici on ne parle pas de faire du over-hypé, LeCun lui même a émis explicitement tout plein de réserves sur cette façon de faire pour faire prendre conscience aux gens qu'il y a des limites et qu'on ne sait pas encore tout faire.
Toujours est-il que ça marche, que ça marche très bien pour tout un tas de choses, depuis qu'on a les machines et les environnements qui tiennent la route.

L'idéal, au lieu de juste le juger, c'est d'aller voir un peu ses conférences (il y en a une d'environ 40 min sur Youtube par exemple), je ne demande pas à ce qu'on le regarde comme un gourou mais toujours est-il qu'il maîtrise son sujet, a prouvé l'efficacité de cette approche, tout en étant conscient des limites actuelles et ne cherchant pas à les cacher, bien au contraire. C'est plutôt un bon combo, je trouve.

Sinon, au sujet d'IA, je ne crois pas avoir jamais parlé d'IA, si c'est le cas au temps pour moi. C'est bien du Machine / Deep learning, des réseaux de neurones, mais pas de l'intelligence artificielle.
Pour moi la véritable intelligence artificielle est fondamentalement impossible (avis perso, encore une fois) au passage, mais ça ne m'empêche pas d'apprécier ce qui se fait autour du sujet en science-fiction (vous avez vu Ex Machina ? ).

[weedkiller]

Exactement.

Vous êtes durs les x86adv, on ne peut même plus troller un peu pour animer la section. Mais je suis d'accord, le plan de carrière "Bon, je vais bosser sur des algo d'IA parce que dans 20ans une société aura besoin de moi", c'est sacrément être visionnaire . Retournerais t-on à la belle époque des Bell labs ?

J'ai compris que je serais pas trop utile, vous pouvez retourner à votre bar à CUDA. (Oui, comme ça, si je veux ).

[Taro]

Oui, comme ça, si je veux .

C'est tellement pas juste !

[gregounech]

Exactement.

Et ici on ne parle pas de faire du over-hypé, LeCun lui même a émis explicitement tout plein de réserves sur cette façon de faire pour faire prendre conscience aux gens qu'il y a des limites et qu'on ne sait pas encore tout faire.
Toujours est-il que ça marche, que ça marche très bien pour tout un tas de choses, depuis qu'on a les machines et les environnements qui tiennent la route.

L'idéal, au lieu de juste le juger, c'est d'aller voir un peu ses conférences (il y en a une d'environ 40 min sur Youtube par exemple), je ne demande pas à ce qu'on le regarde comme un gourou mais toujours est-il qu'il maîtrise son sujet, a prouvé l'efficacité de cette approche, tout en étant conscient des limites actuelles et ne cherchant pas à les cacher, bien au contraire. C'est plutôt un bon combo, je trouve.

Sinon, au sujet d'IA, je ne crois pas avoir jamais parlé d'IA, si c'est le cas au temps pour moi. C'est bien du Machine / Deep learning, des réseaux de neurones, mais pas de l'intelligence artificielle.
Pour moi la véritable intelligence artificielle est fondamentalement impossible (avis perso, encore une fois) au passage, mais ça ne m'empêche pas d'apprécier ce qui se fait autour du sujet en science-fiction (vous avez vu Ex Machina ? ).

Je suis tombé sur une interview de LeCun (je crois?) sur France Inter dimanche après-midi tout à fait par hasard et il avait plutot l'air de vouloir minimiser la "hype" quand la journaliste lui posait des questions sur le futur de l'IA et que AlphaGo était un pas en avant simplement grâce au fait d'avoir des machines plus puissantes et à un doctorant qui a fait des recherches sur le jeu de Go (il a pas nommé le qui).

Link : http://www.franceinter.fr/emission-l...e-artificielle (J'ai entendu que les dernières 15-20 minutes en direct, je doute que l'interview soit très intéressante à part ça)

[Taro]

Oui oui, il ne tient pas à masquer quoi que ce soit j'ai l'impression. Il a fait du deep learning pendant 20 ans, mis de côté par les autres chercheurs, et il a un peu galéré à cause du manque de puissance.

Et puis quand on a réussi à exploser les records grâce aux machines plus performantes, tout le monde a cru à la révolution.
Je suppose que pour lui ça a été plutôt une constatation de "Oh, bah cool, maintenant on a la puissance nécessaire à disposition. Ah tiens ? Ils s'y mettent tous aussi ?".
Du coup je pense qu'il calme le jeu pour pas que les commerciaux s'emballent en mode "Ouah c'est la révolution allez ça va nous permettre de cibler 3874% plus précisément, sur 451 fois plus d'échantillons, 270 fois plus vite et pour 47 fois moins cher".

Pour ma part je souhaite m'y intéresser parce que ça a quand même le vent en poupe, parce que Nvidia tout particulièrement s'y intéresse beaucoup et semble vouloir s'imposer comme leader (et comme je bosse côté CUDA et que j'aimerais que ça continue, je voudrais pas me retrouver sur le bas-côté parce que je n'ai pas au moins fait la démarche de m'intéresser au concept, en plus du fait que ça a de multiples usages), et puis... bah ça m'intéresse c'est tout.

C'est important d'être curieux de façon générale quand on est programmeur et/ou quand on s'intéresse au hardware.

Je suis un foetus de x86 mais je cherche en permanence à apprendre de nouveaux trucs et à mettre les mains dans le cambouis.

[vectra]

Nvidia spamme sur Pascal:
https://devblogs.nvidia.com/parallel...inside-pascal/

[Taro]

Et s'ils nous sortaient une nouvelle Titan à l'aise en double précision, les coquinous, au lieu de spammer ?

[vectra]

Et ça?

High-Performance Double Precision

Because of the importance of high-precision computation for technical computing and HPC codes, a key design goal for Tesla P100 is high double-precision performance. Each GP100 SM has 32 FP64 units, providing a 2:1 ratio of single- to double-precision throughput. Compared to the 3:1 ratio in Kepler GK110 GPUs, this allows Tesla P100 to process FP64 workloads more efficiently.

Like previous GPU architectures, GP100 supports full IEEE 754‐2008 compliant single- and double‐precision arithmetic, including support for the fused multiply‐add (FMA) operation and full speed support for denormalized values.

[Taro]

Je l'ai lu. Sauf qu'on parle d'une carte actuellement disponible uniquement dans une machine ultra-boostée qui en contient 8 et se vend 130'000 dollars (et donc la carte seule peut facilement être estimée à 10'000 dollars).
Moi je parle d'une Titan un peu plus modeste, mais très correcte en DP, avec moins de VRAM et pas d'ECC, etc... et qui soit plutôt aux alentours des 1000€. Comme les précédentes Titan quoi.

[vectra]

Ben c'est pas des pécés
On choisit pas tous les paramètres. A quand les jantes alu et la peinture métalisée aussi?


(je ne plaisante qu'à moitié, d'autres l'ont fait ).


En tous cas, c'est machines toutes montées avec des cartes modèle M, c'est le bien. Quand ça part à la casse, ça fait des Tesla pas chères qui se retrouvent sur eBay
Ma Tesla M2090 à 100 euros, meilleur échange jamais.

[Foudge]

Je l'ai lu. Sauf qu'on parle d'une carte actuellement disponible uniquement dans une machine ultra-boostée qui en contient 8 et se vend 130'000 dollars (et donc la carte seule peut facilement être estimée à 10'000 dollars).
Moi je parle d'une Titan un peu plus modeste, mais très correcte en DP, avec moins de VRAM et pas d'ECC, etc... et qui soit plutôt aux alentours des 1000€. Comme les précédentes Titan quoi.

Ce sera sans doute les specs de le future "Titan", t'as juste oublié le bridage logiciel de la DP

[Møgluglu]

Nvidia spamme sur Pascal:
https://devblogs.nvidia.com/parallel...inside-pascal/

Pas que Nvidia (lien passé au début du topic )

Je l'ai lu. Sauf qu'on parle d'une carte actuellement disponible uniquement dans une machine ultra-boostée qui en contient 8 et se vend 130'000 dollars (et donc la carte seule peut facilement être estimée à 10'000 dollars).
Moi je parle d'une Titan un peu plus modeste, mais très correcte en DP, avec moins de VRAM et pas d'ECC, etc... et qui soit plutôt aux alentours des 1000€. Comme les précédentes Titan quoi.

... Et avec de la GDDR5X à la place de la HBM2.

[Taro]

... Et avec de la GDDR5X à la place de la HBM2.

Ça à la limite c'est pas bien grave pour nous.

Via un re-design du projet (et en repartant sur un projet vide et propre au lieu de me retaper un projet dégueulasse codé avec le postérieur) j'ai divisé la taille de ce qu'on envoie sur la/les carte(s) par 9.6 ou 14.5 selon le scénario (en se basant sur l'ancienne et la nouvelle tailles des données, sans prendre en compte l'alignement). C'est pas les transferts mémoire qui posent problème. Bon c'est toujours impactant, mais c'est surtout la partie calcul qui nous fait peiner.

Quand tu penses qu'à 500€ on a chopé deux 770 HOF neuves de KFA2 qui ont refait surface par magie sur deux VPC, et que la paire est plus performante en calcul double-précision que la Titan X à plus de 1000€...

Et pas grave pour les 2GB au lieu de 12, vu que j'ai divisé la taille des données par bien plus que 6, si on tenait avec 12 GB avant, on tiendra avec moins de 2 GB aujourd'hui.

[vectra]

Pas que Nvidia (lien passé au début du topic )

Désolay, je dois être tout en fin de mailing-list

[weedkiller]

Je sais pas si c'est vraiment le bon topic, mais voilà un GPU sur port USB. Pour le vendre, ça parle de deep learning et c'est même adoubé par LeCunn :



http://image-sensors-world.blogspot....usb-stick.html
http://www.movidius.com/solutions/ma...chine-learning
http://uploads.movidius.com/14618144...ed-2-pager.pdf