Crunchez vos adresses URL
|
Calculez la conso lectrique de votre PC
|
Hbergez vos photos
Affichage des rsultats 1 12 sur 12
  1. #1


    Les architectures ddies au deep learning sont dcidment la mode. Quelques annonces rcemment :

    - Google fait un retour d'exprience sur son Tensor Processing Unit version 1, qui sera prsent ISCA 2017 :
    https://www.arxiv.org/abs/1704.04760
    Le TPU 1 est un acclrateur de produit de matrice en virgule fixe 8 bits ddi l'infrence uniquement. Pour l'apprentissage Google utilise des GPU comme tout le monde.

    Et introduit la version 2 du TPU dans la foule :
    https://www.nextplatform.com/2017/05...ning-clusters/
    Cette fois on a du calcul flottant (probablement FP16) pour faire l'apprentissage en plus de l'infrence. Le TPU 2 se place donc en concurrent des GPU.

    - Chez Nvidia, le GPU Volta GV100 intgrera des Tensor Cores :
    https://devblogs.nvidia.com/parallel.../inside-volta/
    Ce sont des units ddies aux produits de matrices en FP16.

    Si le serveur DGX-1 avec GV100 150K$ vous semble trop gros et trop bruyant, Nvidia propose dsormais la DGX station pour poser sur son bureau, seulement 69K$.

    - Chez Intel, le prochain Xeon Phi Knight Mill visera aussi le march du deep learning, ce qui sous-entend certainement des units ddies, mais pas de dtail pour l'instant.

    On en saura plus sur tout ces bidules au prochain Hot Chips en aot : les 3 sont au programme.

  2. #2
    Concurrencer les GPUs, c'est dgueulasse !

    En vrai, c'est pas si tonnant, et de toute faon Nvidia a dj bien revu la segmentation de sa gamme et sparant un peu plus les GeForce des Tesla. On est loin de l'poque o les GeForce taient des btes en double prcision, et o il tait inutile d'acheter des Tesla hors de prix du moment que l'ECC et les trs grosses quantits de VRAM n'taient pas ncessaires.
    Ce sont les trs petites entreprises (les startups quoi) qui en ptissent, je pense, les joueurs s'en cognent en thorie.

    Du coup, pourquoi ne pas avoir des cartes ddies au deep learning ? Avec des DLPU (deep learning processing unit) ? Ou des MLPU (machine learning processing unit) ?

    Si Ageia s'tait vautr, c'tait parce qu'ils essayaient de vendre des cartes prix d'or pour ajouter quelques effets de physique sympas mais totalement optionnels dans quelques jeux.
    Et en dehors des quelques Kvins fortuns, la masse des joueurs c'est le milieu de gamme avec des cartes au rapport perfs/prix le plus intressant possible, a n'intressait donc pas grand monde.

    L aussi on parle de vendre des cartes spcifiques pour un usage prcis, a se ressemble, mais des entreprises, c'est pas pareil.
    Et pas pour du cosmtique en jeu, mais bien des traitements IA / machine learning / deep learning qui ont le vent bien en poupe en ce moment.

    Ce serait pas tonnant si, en plus de commencer quiper ses Tesla avec de telles units, Nvidia finissait un jour par sortir des GPUs et des cartes spcialement pour ce milieu, bourres d'units comme a et compltement moisies en rendu 3D classique.
    Sombrero d'or since 2015/12/03
    Citation Envoy par Darkath Voir le message
    Mais enfin c'est toi l'expert, trouve des solutions bordel.

  3. #3
    Et on appellera a le Tesla Psi.

    Blague part, c'est peu probable, tant donn qu'ils devront garder tout ce qui fait la valeur ajoute du GPU : les units de calcul gnralistes, le systme mmoire, le scheduler de threads, CUDA, le compilateur, le driver... Les units rellement ddies au rendu 3D qui restent, c'est pas grand-chose au final.

    Mais surtout, ils sont encore plus malades que a. La nouvelle lubie de Jensen, c'est de faire de la ralit virtuelle... pour les bbs robots.
    D'o l'intrt des units de rendu graphique dans les GPU pour le deep learning.

    J'hsite encore entre le dgot et la fascination.

  4. #4
    Ben, je serais pas aussi catgorique.
    Ils peuvent trs bien garder toute cette valeur ajoute que tu mentionnes, mais si leur Volta 100 fonctionne bien, se mettre sortir des cartes de plus en plus costaudes au niveau des tensor cores et de plus en plus rachitiques niveau rasterization et CUDA cores.

    L'avenir nous le dira.
    Ce qui est sr c'est que, sur des GPUs "classiques" ou "spcialiss", Nvidia n'est pas prt d'abandonner le deap learning...
    Sombrero d'or since 2015/12/03
    Citation Envoy par Darkath Voir le message
    Mais enfin c'est toi l'expert, trouve des solutions bordel.

  5. #5
    Les nouvelles extensions pour le machine learning de l'extension AVX-512 sont documentes : https://software.intel.com/sites/def...-reference.pdf

    a comprend les nouvelles instructions de produit scalaire dans Ice Lake, AVX512_VNNI. Par exemple :
    VPDPWSSDS zmm1{k1}{z}, zmm2, zmm3/m512/m32bcst

    Multiply the word integers in zmm2 by the word integers in zmm3/m512, add adjacent doubleword results with signed saturation, and store in zmm1 under writemask k1.
    Mais au moins, depuis l'annulation de Knights Hill, on a chapp au pire : on aurait pu avoir aussi l'extension AVX512_4VNNIW
    VP4DPWSSDS zmm1{k1}{z}, zmm2+3, m128

    Multiply signed words from source register block indicated by zmm2 by signed words from m128 and accumulate the resulting dword results with signed saturation in zmm1.

    This instruction computes 4 sequential register source-block dot-products of two signed word operands with doubleword accumulation and signed saturation. The memory operand is sequentially selected in each of the four steps.
    In the above box, the notation of +3 is used to denote that the instruction accesses 4 source registers based on that operand; sources are consecutive, start in a multiple of 4 boundary, and contain the encoded register operand.

  6. #6


    Faut faire un paint l !
    Citation Envoy par Sidus Preclarum Voir le message
    Ben du caramel pas sucr alors...
    "Avant, j'tais dyslexique, masi aujorudh'ui je vasi meiux."

  7. #7
    Quoi, t'es raciste envers les produits scalaires ?

    Sombrero d'or since 2015/12/03
    Citation Envoy par Darkath Voir le message
    Mais enfin c'est toi l'expert, trouve des solutions bordel.

  8. #8
    Infos et photos sur le TPU 3.0 de Google :
    https://www.nextplatform.com/2018/05...i-coprocessor/

    a semble grosso-modo pareil que le v2 en plus gros et watercool.

    Sinon j'avais pas vu les dtails du "brain" float avant : c'est un format Binary32 mais avec la mantisse rduite 7 bits. Soit des nombres 2 chiffres dcimaux significatifs. J'attends avec impatience les formats avec 0 ou un nombre ngatif de bits de mantisse.

  9. #9
    Citation Envoy par Mgluglu Voir le message
    Soit des nombres 2 chiffres dcimaux significatifs. J'attends avec impatience les formats avec 0 ou un nombre ngatif de bits de mantisse.
    Haha t'es vraiment trop bte mais a serait rigolo de tomber sur un papier, mme fake, prsent comme une vraie thse ou un vrai rapport et qui parle de a srieusement
    Sombrero d'or since 2015/12/03
    Citation Envoy par Darkath Voir le message
    Mais enfin c'est toi l'expert, trouve des solutions bordel.

  10. #10
    Citation Envoy par Mgluglu Voir le message
    Infos et photos sur le TPU 3.0 de Google :
    https://www.nextplatform.com/2018/05...i-coprocessor/

    a semble grosso-modo pareil que le v2 en plus gros et watercool.

    Sinon j'avais pas vu les dtails du "brain" float avant : c'est un format Binary32 mais avec la mantisse rduite 7 bits. Soit des nombres 2 chiffres dcimaux significatifs. J'attends avec impatience les formats avec 0 ou un nombre ngatif de bits de mantisse.
    Ils parlent de bfloat16 dans l'article, avec 7 bits de mantisse et 8 d'exposant. L'intrt semblant tre dans le range qui est identique aux float32 classique (8 bits d'exposant) donc conversions et oprations mlangeant les deux types beaucoup plus rapides contrairement au float16.

    Effectivement on se demande encore pourquoi utiliser des float ce niveau.
    Citation Envoy par Sidus Preclarum Voir le message
    Ben du caramel pas sucr alors...
    "Avant, j'tais dyslexique, masi aujorudh'ui je vasi meiux."

  11. #11
    Citation Envoy par taronyu26 Voir le message
    Haha t'es vraiment trop bte mais a serait rigolo de tomber sur un papier, mme fake, prsent comme une vraie thse ou un vrai rapport et qui parle de a srieusement


    Je suis co-auteur d'une dizaine de papiers dans des confrences et journaux censs tre srieux sur des systmes de numration de ce genre.

    Citation Envoy par Lazyjoe Voir le message
    Effectivement on se demande encore pourquoi utiliser des float ce niveau.
    C'est la question que je me pose. Pour faire des produits scalaires avec des prcisions quivalentes du flottant avec moins de 10 bits de mantisse, il y a des solutions qui devraient tre plus avantageuses en surface et conso que le flottant.
    C'est probablement pour simplifier les conversions entre formats comme tu dis. (Ou alors c'est parce qu'ils ne connaissent que le flottant et la virgule fixe, et qu'ils ont dj essay la virgule fixe dans le TPU 1.)

  12. #12
    Citation Envoy par Mgluglu Voir le message


    Je suis co-auteur d'une dizaine de papiers dans des confrences et journaux censs tre srieux sur des systmes de numration de ce genre.
    Oups. Dsol...

    Le flottant est mort ! Vive le flottant !
    Sombrero d'or since 2015/12/03
    Citation Envoy par Darkath Voir le message
    Mais enfin c'est toi l'expert, trouve des solutions bordel.

Rgles de messages

  • Vous ne pouvez pas crer de nouvelles discussions
  • Vous ne pouvez pas envoyer des rponses
  • Vous ne pouvez pas envoyer des pices jointes
  • Vous ne pouvez pas modifier vos messages
  •