Le topic de l'Intelligence Artificielle, le topic qui parle en langage naturel

[Anonyme20240202]

Oui, mais leur objectif était de battre un expert humain. Et les humains n'ont pas pris l'habitude de jouer sur un plateau plus grand...
Mais oui, ça pourrait faire le job.

Mais en vrai la façon de penser pour jouer au Go est quand même très particulière, même chez un humain. Je manipule des réseau de neurone tout les jours, et j'aurais du mal à savoir par quel bout commencer. C'est intrinsèquement lié à des notions de territoires, c'est très non-linéaire de partout, extrêmement difficile à prévoir.

Pas certains qu'une IA maligne puisse avoir le niveau actuellement.
Mais je n'ai joué que rarement au go...

Je sais haha je disais ça justement pour rejoindre le "la façon de penser pour jouer au Go est quand même très particulière, même chez un humain"

C'est une solution particulière de battre un expert, pas la réponse générale vraiment maline

- - - Updated - - -

Et donc ?
Pas compris le rapport avec la conversation

L'aspect stochastique, à l'époque y'a pas mal de mecs qui n'étaient pas parti sur l'approche brute quoi et avaient plus visés l'approche compréhension du cerveau etc.

On édite trop vite pour pouvoir discuter haha

[Nilsou]

Mais c'est quand même une thèse sur du pruning ce que tu a posté ...
ça reste "pas très malin", en tout cas par rapport à ce que je fais tout les jours

Moi tant qu'il n'y a pas de réseau de neurone, de règle BCM et autres ganglions de la base, tu sais

[Anonyme20240202]

Ouais je retrouve plus l'article exact, j'avais lu ça je sais plus ou mais c'tait y'a genre 10 ans, ou des mecs reflechissaient sur le truc malin. Quand j'ai vu que la brute avait fini par gagner au go j'étais triste. Va falloir trouver un autre exemple facile pour expliquer pourquoi le brut ne gagne pas toujours à la fin

- - - Updated - - -

xkcd de circonstance



- - - Updated - - -

[Nilsou]

Snakes and ladder ? C'est pas un jeu de pur hasard comme le jeu de l'oie ? ^^
7 minutes au paradis, sérieusement Il y a un gagnant dans ce jeu ?

[Tankodesantniki]

Snakes and ladder ? C'est pas un jeu de pur hasard comme le jeu de l'oie ? ^^
7 minutes au paradis, sérieusement Il y a un gagnant dans ce jeu ?

Je suis déçu que vous ne releviez pas la CalvinBall de Calvin et Hobbes.

Que l'ont pourrait rétro-définir comme un Kamoulox avec des masques, une balle de volley et des maillets de criquet.

(rétro-définition dans le sens ou bien sur, le Calvinball est précurseur du Kamoulox)

[Anonyme20240202]

Tous les trucs au dessus de Go sont des blagues hein

[Tankodesantniki]

Tous les trucs au dessus de Go sont des blagues hein

Tes IA sont du genre à expliquer les blagues, à ce que je vois.

[Anonyme20240202]

S'toi L'IA

[Nilsou]

Je suis déçu que vous ne releviez pas la CalvinBall de Calvin et Hobbes.

Que l'ont pourrait rétro-définir comme un Kamoulox avec des masques, une balle de volley et des maillets de criquet.

(rétro-définition dans le sens ou bien sur, le Calvinball est précurseur du Kamoulox)

Ben Calvinball et Mao c'est peut-être des blagues mais c'est juste, ce sont des jeux ou les règles changent sans cesse ou dont il faut deviner la règle. C'est évidemment dure pour une IA. Déjà que c'est dure pour un adulte

- - - Mise à jour - - -

Tous les trucs au dessus de Go sont des blagues hein

Mais juste, effectivement aucune IA ne pourra devenir "meilleure" qu'un humain au snake and ladders

[Achille]

@Kamikaze : merci pour toutes ces explications

[Dr.Kant]

Je cherche à faire tourner un reseau (https://github.com/tensorflow/models.../attention_ocr), mais les besoins matériels spécifiés dépassent de loin ce que j'ai de dispo chez moi. J'ai regardé les HPC de Azure, mais c'est assez cher pour mon besoin. Vous avez de l'expérience ou des suggestions?

Ce que je cherche à faire c'est de l'OCR pour un type d image pas vraiment traité pour le moment.

Merci!

[Orhin]

[Nilsou]

Je cherche à faire tourner un reseau (https://github.com/tensorflow/models.../attention_ocr), mais les besoins matériels spécifiés dépassent de loin ce que j'ai de dispo chez moi. J'ai regardé les HPC de Azure, mais c'est assez cher pour mon besoin. Vous avez de l'expérience ou des suggestions?

Ce que je cherche à faire c'est de l'OCR pour un type d image pas vraiment traité pour le moment.

Merci!

Salut,
Je suis désolé je ne vois ton post que maintenant.

Alors en théorie il n'y a aucun besoin de lourd calcul pour faire de la reconnaissance d'image très fine.
La ressource "lourde" de calcul là vient du fait que leur modèle à besoin d'un apprentissage très long. Mais très long ne veut pas dire que tu ne peut pas le faire tourner sur un vieux CPU si tu en a la necessité...

Enfin, faut voir leurs images. As-tu vraiment besoin de faire de la reconnaissance sur des choses aussi fines que des centaines d'image très hautes résolutions de milliers de type de rue avec probablement des données de laser/profondeur à l'intérieur (je suis pas sur de ce dernier point dans le cas particulier ici, mais souvent c'est inclut).

Quel est ton objectif ? J'imagine que tu ne veut pas construire ta propre voiture commandé sur vrai route ? Si ce n'est pas le cas j'ai des choses bien plus simples à te proposer que ce qui est proposé dans ce papier.
Il faut aussi voir que le truc est quand même très très, hum, basé sur des hypothèse pratique mais qui ne tiennent pas forcement la route. Vouloir segmenter sur une image des points d'attention précis (genre entourer chaque lettre) réduit peut-être le travail pour une autre reconnaissance derrière mais n'a AUCUN rapport avec le fonctionnement de notre attention (qui est bien plus simple sur ces choses là). C'est un travail trèèèèès particulier qu'ils demandent à leur réseau. (qui peut paradoxalement être plus difficile qu'une reconnaissance de brutasse sur le panneau) . Il n'est aussi pas dit sur ces histoires que leur modèle de RNN soit vraiment raccord avec ce qu'on sait du cortex visuel. C'est à la fois plus complexe et il manque des trucs important.

Donc un peu plus d'info sur ton cas d'application serait cool.
Je lirais le papier en détail demain et je verrais avec un collègue spécialisé dans ce domaine si tu a une demande d'application specifique.

[Dr.Kant]

On peut supposer que l'image (photo, pas une vidéo) à traiter est une phrase écrite sur une ligne, la particularité étant que c'est assez bruité, mais sans distorsion géométrique. Je souhaite savoir ce qui est écrit.

Dans l'absolu peu m'importe que la solution reflète le fonctionnement du cerveau humain, je veux juste un truc qui marche et simple à mettre en place.

J'avais déjà utilisé un CNN par le passé, mais je faisais le travail d'extraction des mots en amont.

Merci!

[Nilsou]

Hum, en fait la théorie sur le problème est simple. Le soucis c'est que la mise en pratique est souvent relou à mourir, surtout sur de l'écriture manuscrite.
En gros la base d'apprentissage est affreuse... Il faut vraiment multiplier les exemples et tout.

La théorie c'est toujours la même et je te la fais en simple :

Méthode 1 :
-- Trouver l'endroit intéressant (recherche de gradient, reconnaissance de forme vague en ligne) -> la technique employé plus haut peut être utile, mais parfois le plus simple suffit.
-- Segmentation (couper les caractères)
-- Reconaissance (Réseau de neurone associant le caractere à une lettre)

Méthode 2 :
-- Trouver l'endroit intéressant (recherche de gradient, reconnaissance de forme vague en ligne) -> la technique employé plus haut peut être utile, mais parfois le plus simple suffit.
-- Reconnaissance brutasse du mot seul

Les deux méthodes existent et n'ont pas les même contraintes. Chez l'humain les deux existe et la neuro-science préfère passer de la reconnaissance du sous-ensemble pour ensuite laisser la personne apprendre par coeur certains mot commun en profitant de la première étape.
Pendant un temps l'éducation nationale n'a pas suivit l'avis des médecin et neuro et a imposé une méthode d'apprentissage "photographique", l'un des plus grand moment de honte de notre éducation (et de celles d'autres pays, US etc...) qui a aboutit à des générations d'enfants dyslexique ou avec de très gros retard.

Tout ça pour dire que les deux coexistent dans la vrai vie mais n'ont pas les même contraintes. Reconnaitre la lettre demande un effort de déchiffrage avec des "étapes" maligne en plus. Le fait de devoir segmenter de la lettre d’à coté, notamment, est relou relou.
La reconnaissance du mot, ou d'ensemble de lettre demande de très très grosses bases d'apprentissages et aura du mal avec les mots nouveaux.

Le soucis vois-tu, c'est que si chaque étapes est "simple" quand tu l'analyse, bien souvent le tout est assez lourd à mettre en place. Il te faut un systeme d'extraction, de focalisation etc etc... Et chacun y va de sa tambouille pour faire son truc. Sans forcement aller à la simplicité.

Le papier que tu a donné y va lettre par lettre et donne un bon exemple de "tambouille" et d'astuce mise en place pour que le résultat soit acceptable à la fin.
Du coups ça peut être assez complexe à faire tourner si tu veut. Et ne s'adapter qu'a certains cas (là ils ont un nbre d'itérations fixe avec une itération par lettre, sont donc limités à un nombre de lettres etc... des limitations structurelles assez lourde, mine de rien)

J'avoue que je sais pas trop vers quoi t'orienter, il existe pas des masses de solutions "clé en main" . Moi j'aurais tendance à l'implémenter moi même et à bidouiller, mais c'est pas forcement ce que tu recherche. Ni un logiciel tout fait d'OCR...
Je vais en parler à quelques collègues dont c'est la grosses spécialités pour voir ...

Sinon tu peut peut-etre te baser sur des trucs plus "état de l'art", pas exemple ton papier cite ce genre de papier : https://arxiv.org/pdf/1510.03283.pdf
Qui sont un peu plus standard.

Dans tout les cas faut pas rêver, à faire apprendre ça va être très lourd, c'est pas pour rien que les gamins mettent des années ...
(sans parler de toutes les règles inhérentes au truc -> sens de lecture, etc..., seconde ligne etc...)

edit : et dans la majeure partie des cas, il te faudra un bon dico/grammaire pour compléter et virer les cas de reconnaissance problématique. C'est inclut dans les logiciel payant clé en main d'OCR, mais pour les solutions de scientifiques pas trop, car souvent ce n'est pas le sujet de faire apprendre une langue à ton IA ...

[Dr.Kant]

J'avais dans l'idée de recupérer un réseau préentrainé et ensuite de le spécialiser sur une base perso. Pour compléter je cherche plutot a lire des mots, et pas à reconnaitre une phrase dans une langue donnée.

J'ai fait des tests initialement avec l'OCR d' Azure et de gougle, mais ca marchait pas. Par contre j'avais récupéré un CNN développé sous Matlab avec matconvlib et c'était convenable.

[Nilsou]

Désolé toujours du retard, mais en ce moment j'écris des rapport à n'en plus finir
J'ai pas eu trop de le temps de voir les collègues.

Si je trouve un truc plus simple à implémenter, je te fais signe

[Dr.Kant]

Pas de soucis, c'est sympa d'y avoir pensé.

[Phibrizo]

Personne ici pour parler d'alpha gp zero ?

Victoire 100 à zéro contre l'ancienne version, il a appris le jeu de zéro sans aucune données extérieure uniquement en se battant contre lui-même



tout en se payant le luxe de consommer beaucoup moins de ressource que ses prédécesseurs:

[Møgluglu]

tout en se payant le luxe de consommer beaucoup moins de ressource que ses prédécesseurs:

https://tof.cx/images/2017/10/22/5c4...544b009.md.png

Je m'apprétais à les basher sur les ressources consommées pour l'apprentissage, mais il semblerait qu'ils n'aient utilisé que 64 GPU et 19 serveurs pour chaque réseau de neurones.
Par contre j'ai pas trouvé sur quoi ils ont fait tourné leurs simulations de monte-carlo pour leurs 29 millions de parties à 0,4s par coup. (Soit 1 an de temps CPU par tour de jeu. Ça dure combien de tours une partie de Go ?)

[Enyss]

Un peu plus de 200 coups en moyenne :

https://homepages.cwi.nl/~aeb/go/misc/gostat.html

[Sheraf]

Tiens j'avais oublié ce topic. Y a quelques mois j'm'étais cassé le cul à faire les sous titres pour une video introduisant ce sujet qui m'interresse beaucoup.

Y a quelques fautes d'orthographe (désolé), et le présentateur parle assez vite ce qui fait que c'est ptete assez dur à suivre en lisant (je sais pas trop me rendre compte), dites moi ce que vous en pensez. J'aurais ptete du prendre plus de liberté dans la traduction pour être plus succint...

[Tankodesantniki]

Pour les sous-titres, sans juger de la traduction, je les trouve très bien, pas trop rapides, j'ai vu nettement plus rapide que ça.

Concernent la peur des machines intelligentes indépendantes, je dirai qu'il y a un frein majeur à celles-ci, c'est simplement l'énergie. Aujourd'hui, faire une IA qui simule 1s de processus neuronaux humains en 1 heure consomme l'équivalent d'une grosse centrale nucléaire. Et il est quand même assez peu probable qu'on obtienne quelque chose de plus efficace énergétiquement parlant qu'un cerveau humain. Dans la "compétition" - a tout le moins sur Terre - on a un singulier avantage d'économie énergétique.

Concernant l'implantation de trucs informatiques dans le cerveau humain, ça n'est pas réellement différent que de regarder l'écran d'un smartphone. Nous sommes déjà largement connectés via des interface yeux-mains. Fondamentalement, il n'y a pas de différences à mes yeux.

Concernant la philosophie, qui est à peine entamée par "il n'y a que des atomes là dedans", si on pousse un peu, l'humain, sa conscience d'être "lui", et derrière l"humanité toute entière avec ses civilisations et cultures est une illusion de la matière, cad des atomes. Que les atomes soient arrangés pour être des sac d'atomes qui se prennent pour des humains, ou des sacs d'atomes qui se prennent pour des humains améliorés, ou des sacs d'atomes qui se prennent pour des robots n'a pas de différences fondamentales.

[Nasma]

Personne ici pour parler d'alpha gp zero ?

Victoire 100 à zéro contre l'ancienne version, il a appris le jeu de zéro sans aucune données extérieure uniquement en se battant contre lui-même

https://storage.googleapis.com/deepm...171019-r01.gif

tout en se payant le luxe de consommer beaucoup moins de ressource que ses prédécesseurs:

https://tof.cx/images/2017/10/22/5c4...544b009.md.png

Il a un match de prévu contre un tas de chair ou on est déja dépassé?

[Eradan]

Fondamentalement, il n'y a pas de différences à mes yeux.

Je peux poser mon téléphone.

[Tankodesantniki]

Je peux poser mon téléphone.

Même un implant a des piles/un bouton on/off Comment il font les gens avec un implant cochléaire, hein?

[Nilsou]

Personne ici pour parler d'alpha gp zero ?

Victoire 100 à zéro contre l'ancienne version, il a appris le jeu de zéro sans aucune données extérieure uniquement en se battant contre lui-même

On en a parlé au labo mais ça n'a "a priori" aucun intérêt.
Je n'ai pas lu l'article, mais j'attribuerais ce dédain au fait que si le fond n'a pas changé (réseau profond + récompense qui apprends à couper les branche d'un arbre tout ce qu'il y a classique) alors le fait de changer l'origine de la récompense (par l'observation de partie ayant existé humain-humain ou en jouant contre lui même) n'a que très peu d’intérêt outre le coté "avantage ingénieurie".
Déjà que l'original n'était pas bien original : au labo on disait souvent que ça ressemblait au réseau profond + récompense utilisé juste un peu partout, mais personne n'avait pensé à l'utiliser sur du Go parce que tout le monde s'en foutait , alors tu comprendra que des améliorations d'ingénieurie sur le suivant laisse pas mal la communauté de marbre ...

Dans tout les cas ça reste très très "IA classique" tout ceci ... et on attends de les voir résoudre un problème qui impacte vraiment les gens et la science dans un cadre en interaction avec un environnement réel... tout le reste n'est malheureusement que communication (de qualité, faut admettre), et est ressenti comme ça dans ma communauté.

Je m'apprétais à les basher sur les ressources consommées pour l'apprentissage, mais il semblerait qu'ils n'aient utilisé que 64 GPU et 19 serveurs pour chaque réseau de neurones.
Par contre j'ai pas trouvé sur quoi ils ont fait tourné leurs simulations de monte-carlo pour leurs 29 millions de parties à 0,4s par coup. (Soit 1 an de temps CPU par tour de jeu. Ça dure combien de tours une partie de Go ?)

J'allais faire la remarque : les mecs ont du les faire jouer l'un contre l’autre, donc ça a bien du consommer quelque part...

- - - Mise à jour - - -

Pour les sous-titres, sans juger de la traduction, je les trouve très bien, pas trop rapides, j'ai vu nettement plus rapide que ça.

Concernent la peur des machines intelligentes indépendantes, je dirai qu'il y a un frein majeur à celles-ci, c'est simplement l'énergie. Aujourd'hui, faire une IA qui simule 1s de processus neuronaux humains en 1 heure consomme l'équivalent d'une grosse centrale nucléaire. Et il est quand même assez peu probable qu'on obtienne quelque chose de plus efficace énergétiquement parlant qu'un cerveau humain. Dans la "compétition" - a tout le moins sur Terre - on a un singulier avantage d'économie énergétique.

Concernant l'implantation de trucs informatiques dans le cerveau humain, ça n'est pas réellement différent que de regarder l'écran d'un smartphone. Nous sommes déjà largement connectés via des interface yeux-mains. Fondamentalement, il n'y a pas de différences à mes yeux.

Concernant la philosophie, qui est à peine entamée par "il n'y a que des atomes là dedans", si on pousse un peu, l'humain, sa conscience d'être "lui", et derrière l"humanité toute entière avec ses civilisations et cultures est une illusion de la matière, cad des atomes. Que les atomes soient arrangés pour être des sac d'atomes qui se prennent pour des humains, ou des sacs d'atomes qui se prennent pour des humains améliorés, ou des sacs d'atomes qui se prennent pour des robots n'a pas de différences fondamentales.

Personne ne parle du fait qu'a priori une IA vraiment "intelligente" n'aurait pas grand intérêt à zigouiller de l'humain . Sauf à parler de robot humain qui se nourrirais de la même manière et tout Mais ça reste de la science fiction dans ce cas.

- - - Mise à jour - - -

Concernant l'implantation de trucs informatiques dans le cerveau humain, ça n'est pas réellement différent que de regarder l'écran d'un smartphone. Nous sommes déjà largement connectés via des interface yeux-mains. Fondamentalement, il n'y a pas de différences à mes yeux.

De façon assez rigolote les gens ne savent pas trop qu'on sait déjà le faire depuis des lustres. Des cameras connecté au cortex visuel pour remplacer des yeux perdus, ou des nouveau "muscles" commandables avec les sortie du cortex moteur. C'est en fait assez "facile" puisque le cerveau s'adapte pour interpréter la donnée que tu lui envoie (faut lui envoyer ça dans une partie utile après, qui saura en tirer profit) .
La seule raison pour laquelle rien n'est visible aux yeux du grand public c'est qu'on a toujours pas réussis à empêcher le corps humain à accepter des implants sans les isoler de l'exterieur à terme ...

Un peu comme le fait qu'il n'y ai pas de voiture volante tient plus à l'absence d'un moyen de stoquer de l’énergie de compétition, l'absence de technologie d'implant neuraux tient lui à un soucis purement biologique...

Dans les deux cas il y a de très gros travaux et tout les 5 ans on entends une équipe annoncer avoir résolu le problème, pour au final se voir déborder par des limitations inhérente à la trouvaille qui n'était pas prévue au programme.
Encore récemment j'ai entendu dire que le problème du rejet avait été résolu, j'attends de voir
En parallèle des technologies de lecture/excitations à distance de zone précise sont en train de voir le jour et on a déjà droit à quelques truc simple (surtout coté lecture)

[Awake]

En tout cas dans le monde du go, AG0 est très rassurant : il joue des coups très similaires à ceux des humains, même en tout début de partie où il y a beaucoup de choix. Il aurait pu trouvé qu'il faut jouer sur la sixième ligne sur le bord, mais il joue comme nous, 3ème ou 4ème ligne dans le coin. Il joue aussi des josekis (séquences de coups) qu'on joue depuis longtemps, même si il en a trouvé des nouveaux.

Donc les humains ne se sont pas complètement plantés dans l'apprentissage du jeu sur plusieurs millénaires.

[Eradan]

Même un implant a des piles/un bouton on/off Comment il font les gens avec un implant cochléaire, hein?

Aucune idée, et comme la partie interne de ces implants ne consiste qu'en une transmission de signal (et même pas vers le cerveau), le parallèle est foireux. A contrario, les peacemakers n'ont pas d'interrupteur, et ce sont de véritables implants internes.

[Nilsou]

En tout cas dans le monde du go, AG0 est très rassurant : il joue des coups très similaires à ceux des humains, même en tout début de partie où il y a beaucoup de choix. Il aurait pu trouvé qu'il faut jouer sur la sixième ligne sur le bord, mais il joue comme nous, 3ème ou 4ème ligne dans le coin. Il joue aussi des josekis (séquences de coups) qu'on joue depuis longtemps, même si il en a trouvé des nouveaux.

Donc les humains ne se sont pas complètement plantés dans l'apprentissage du jeu sur plusieurs millénaires.

Sauf que ça ne veut pas dire grand chose, le AGO d'origine est un arbre de décision (une sorte de minimax), qui va couper les branches inutiles avec son réseau profond. En début de partie l'arbre n'a pas la puissance de calcul pour savoir ce qui est bon ou non pour lui, d’où le fait que jusqu'ici on avait échoué (ou plutôt, ceux qui avaient la solution de ce problème de logique classique, qui ne bossaient pas dans ce domaine, n'avaient pas essayé faute d’intérêt pour ce problème ).
Donc en début de partie le choix de la branche à jouer est 100% le fruit du réseau profond.

Et le réseau profond il a appris sur quoi ?

-> Sur l'observation de milliers de parties humaines
Donc c'est tout à fait normal qu'il joue comme un humain

Il faudrait voir sur la nouvelle mouture d'AGo, celle qui joue contre elle même, pour pouvoir analyser une manière de jouer qui est le fruit d'un apprentissage sans aucune parcelle d'humain dedans.

- - - Mise à jour - - -

Aucune idée, et comme la partie interne de ces implants ne consiste qu'en une transmission de signal (et même pas vers le cerveau), le parallèle est foireux. A contrario, les peacemakers n'ont pas d'interrupteur, et ce sont de véritables implants internes.

Pas forcement une bonne comparaison non plus, le pacemaker tu l’arrête, tu meurt ...