Accélérateurs pour deep learning : Tensor Processing Units vs. Tensor Cores
https://imgs.xkcd.com/comics/machine_learning.png
Les architectures dédiées au deep learning sont décidément à la mode. Quelques annonces récemment :
- Google fait un retour d'expérience sur son Tensor Processing Unit version 1, qui sera présenté à ISCA 2017 :
https://www.arxiv.org/abs/1704.04760
Le TPU 1 est un accélérateur de produit de matrice en virgule fixe 8 bits dédié à l'inférence uniquement. Pour l'apprentissage Google utilise des GPU comme tout le monde.
Et introduit la version 2 du TPU dans la foulée :
https://www.nextplatform.com/2017/05...ning-clusters/
Cette fois on a du calcul flottant (probablement FP16) pour faire l'apprentissage en plus de l'inférence. Le TPU 2 se place donc en concurrent des GPU.
- Chez Nvidia, le GPU Volta GV100 intègrera des Tensor Cores :
https://devblogs.nvidia.com/parallel.../inside-volta/
Ce sont des unités dédiées aux produits de matrices en FP16.
Si le serveur DGX-1 avec GV100 à 150K$ vous semble trop gros et trop bruyant, Nvidia propose désormais la DGX station pour poser sur son bureau, à seulement 69K$.
- Chez Intel, le prochain Xeon Phi Knight Mill visera aussi le marché du deep learning, ce qui sous-entend certainement des unités dédiées, mais pas de détail pour l'instant.
On en saura plus sur tout ces bidules au prochain Hot Chips en août : les 3 sont au programme.