l'Actu tech : Le pillage d'Attil.IA, la ou il passe les artistes ne repoussent pas

[Emile Gravier]

Je ne crois pas l'avoir vu partagé ici.

Si j'ai bien compris le papier, on commence à arriver à reproduire les images observés par un humain à l'aide "simplement" d'image d'IRM (fonctionnal IRM pour être plus précis).
Donc en gros on observe une image, on donne à un système d'IA ( un autoencoder variationnel + un modèle de diffusion) les images IRM du cerveau et il reconstruit l'image vu.

Ca donne ça concrètement.
https://media.springernature.com/ful...ML.png?as=webp


Natural scene reconstruction from fMRI signals using generative latent diffusion
https://www.nature.com/articles/s41598-023-42891-8


Si ça fait bien ce que je comprend c'est balaise (et ça a tendance à renforcer le matérialisme philosophiquement)

C'est absolument dingue. Et effrayant sur ce qu'on pourrait fait ensuite.

[ian0delond]

Une avancée incrémentale de ce qui se faisait il y a quelques années. C'est rigolo mais philosophiquement j'ai l'impression qu'on est en train de dire qu'on peut trouver une corrélation entre deux signaux qui servent à transporter la même information.

Ca part de l'observation qu'il y a des motifs récurrents dans l'activité cérébral pour une même image, puis on va entrainer un model pour que ses features alignent un assemblage d'autres modèles qui servent déjà à de la computer vision avec ses IRM fonctionnelles. En gros.

Un peu comme si, en faisant de très gros raccourci, tu avais des modeles qui utilisaient du texte en chaine de caractères pour tirer une info, puis t'as des enregistrement vocal des mêmes texte sur cassettes magnétiques. Tu peux reconstituer approximativement du texte avec les super modeles qui produisent du texte en utilisant l'info des bandes magnétiques en input. Mais je sais pas si j'aurais une crise existentielle (pour grossir le trait sur le matérialisme) en me disant que mon vieux magnétophone fonctionne comme un réseau neuronal à convolutions.

On a remplacé le prompt text par du prompt en IRM.

[Ze Venerable]

Je n'ai pas ouvert l'article.
JE suppose qu'il y a eu une phase d'apprentissage où on a montré certaines images à des personnes sous IRM.

Dans les résultats postés par Laya, les images utilisées sont peut-être proches de celles utilisées pendant la phase d'apprentissage. Si oui, ça donnerait quoi avec des images random ? Et des gens random ?

[Laya]

Je n'ai pas ouvert l'article.
JE suppose qu'il y a eu une phase d'apprentissage où on a montré certaines images à des personnes sous IRM.

Dans les résultats postés par Laya, les images utilisées sont peut-être proches de celles utilisées pendant la phase d'apprentissage. Si oui, ça donnerait quoi avec des images random ? Et des gens random ?

Oui je me demandais si c'était pas proche d'une classification (ce qui est tout de même plus simple). mais je pense qu'il y a quand même pas mal de variabilité.

. The training set that we used thus contained 8859 images and 24,980 fMRI trials (up to 3 repetitions for each image), and 982 images and 2770 fMRI trials for the test set

8859 images ça donne pas mal de possibilité quand même (en supposant que ça ne soit pas que des images de chien et d'avions ).

[dralasite]

Microsoft va mettre de l'IA dans Notepad:

It appears the AI features don't actually work yet, but it's a sign that Microsoft is indeed planning to bring AI integration to the Notepad app on Windows 11 soon. It will likely be implemented in a similar way to how AI has been added to Paint, using an online service that requires logging into your Microsoft account to use.

Ils veulent vraiment nous en faire bouffer pour tout et n'importe quoi.

[Zapp le Grand]

Non mais à part ca, ils ne sont absolument pas désespérés sur la techno hein....oula vous voyez le mal partout !

[dralasite]

Non mais à part ca, ils ne sont absolument pas désespérés sur la techno hein....oula vous voyez le mal partout !

[Nilsou]

Une avancée incrémentale de ce qui se faisait il y a quelques années. C'est rigolo mais philosophiquement j'ai l'impression qu'on est en train de dire qu'on peut trouver une corrélation entre deux signaux qui servent à transporter la même information.

Ca part de l'observation qu'il y a des motifs récurrents dans l'activité cérébral pour une même image, puis on va entrainer un model pour que ses features alignent un assemblage d'autres modèles qui servent déjà à de la computer vision avec ses IRM fonctionnelles. En gros.

Un peu comme si, en faisant de très gros raccourci, tu avais des modeles qui utilisaient du texte en chaine de caractères pour tirer une info, puis t'as des enregistrement vocal des mêmes texte sur cassettes magnétiques. Tu peux reconstituer approximativement du texte avec les super modeles qui produisent du texte en utilisant l'info des bandes magnétiques en input. Mais je sais pas si j'aurais une crise existentielle (pour grossir le trait sur le matérialisme) en me disant que mon vieux magnétophone fonctionne comme un réseau neuronal à convolutions.

On a remplacé le prompt text par du prompt en IRM.

Tu fais bien de rajouter « incrémental » : Pour information, ce n'est pas nouveau du tout. Il y a des papiers d'il y a presque 15 ans où on reconstruisait par réseaux de neurones (pas forcément deep) les images depuis des signaux issue du Cortex Visuel.
Depuis ces débuts lointains on a raffiné le concept à mort et on fait de la lecture cérébrale sur plein de chose, notamment les ordres moteurs. Tout en ayant beaucoup raffiné les procédés de captures (de moins en moins besoin d’électrode dans la tête).

Je précise hein, parce que ça parait incroyable pour quelqu'un ne connaissant pas trop le sujet, mais en réalité c'est maintenant parfaitement banal.
Le papier présente une énième amélioration du procédés.

Et effectivement, tu as raison, sur le principe c'est complétement bénin : on se doute que bien évidemment qu'il y a corrélation entre un signal du cortex visuel et une image capturée.

(protip : dans l'autre sens on le fait depuis encore plus longtemps, les premières expé (réussie, à court terme) d'injection d'injection d'images directement dans le cerveau date d'avant le numérique (!) : le principal problème qui empêche les aveugles d'avoir des caméras à la place des yeux depuis les années 30 est un problème non pas technologique coté signaux, mais biologique (le cerveau forme une protection peu à peu qui affaiblit le signal et rejette l'implant))).

[Tremex]

Je pose cet article ici, pas lu en détail :

https://techxplore.com/news/2024-06-...l-nuances.html

[Laya]

Tu fais bien de rajouter « incrémental » : Pour information, ce n'est pas nouveau du tout. Il y a des papiers d'il y a presque 15 ans où on reconstruisait par réseaux de neurones (pas forcément deep) les images depuis des signaux issue du Cortex Visuel.
Depuis ces débuts lointains on a raffiné le concept à mort et on fait de la lecture cérébrale sur plein de chose, notamment les ordres moteurs. Tout en ayant beaucoup raffiné les procédés de captures (de moins en moins besoin d’électrode dans la tête).

Je précise hein, parce que ça parait incroyable pour quelqu'un ne connaissant pas trop le sujet, mais en réalité c'est maintenant parfaitement banal.
Le papier présente une énième amélioration du procédés.

Et effectivement, tu as raison, sur le principe c'est complétement bénin : on se doute que bien évidemment qu'il y a corrélation entre un signal du cortex visuel et une image capturée.

(protip : dans l'autre sens on le fait depuis encore plus longtemps, les premières expé (réussie, à court terme) d'injection d'injection d'images directement dans le cerveau date d'avant le numérique (!) : le principal problème qui empêche les aveugles d'avoir des caméras à la place des yeux depuis les années 30 est un problème non pas technologique coté signaux, mais biologique (le cerveau forme une protection peu à peu qui affaiblit le signal et rejette l'implant))).

Oui mais c'est comme la génération d'images ou de texte, c'est très vieux mais ça commence à être vraiment impressionnant pour la majorité quand on s'approche d'un certain niveau. En tout cas pour des non connaisseurs comme moi.

Je rajouterais qu'ici, ça donne aussi du crédit au postulat matérialiste (pas de dualité corps/esprit ou ce genre d'idéalismes)

[Nilsou]

Je rajouterais qu'ici, ça donne aussi du crédit au postulat matérialiste (pas de dualité corps/esprit ou ce genre d'idéalismes)

Mouif, j'imagine que ça dépends ce que tu appelle « esprit ».
Je pense qu'assez étonnement pas mal d'expert du cerveau et de l'IA aurait un autre avis.

Par exemple : oui on a des explications cohérentes à tout les comportements, peu ou prou. Et on peut en reproduire pas mal. Il est presque certains maintenant qu'on puisse reproduire un petit être humain fonctionnel artificiel, c'est probablement juste une question de temps et de moyen.

Par contre on a eu beau fouiller, on a actuellement aucune explication à la conscience. On peut tout expliquer sans l'invoquer. Pourtant c'est bien le premier phénomène qu'un être humain observe (le plus important sans doute).

Cela pose un gros souci scientifique : si avec une théorie tu explique la moitié de l'observable à la perfection et pas l'autre moitié, c'est qu'il manque un gros pavé à ta théorie. Et pour l'instant on a pas mis le plus petit doigt sur ce pavé.

[Ze Venerable]

Par exemple : oui on a des explications cohérentes à tout les comportements, peu ou prou. Et on peut en reproduire pas mal.

J'aurais cru que le cerveau ça restait encore une grosse boite noire. Tu aurais un exemple de comportement que l'on explique. Et comment ça "on peut en reproduire", genre dans une simu informatique ?

[Laya]

Mouif, j'imagine que ça dépends ce que tu appelle « esprit ».
Je pense qu'assez étonnement pas mal d'expert du cerveau et de l'IA aurait un autre avis.

Par exemple : oui on a des explications cohérentes à tout les comportements, peu ou prou. Et on peut en reproduire pas mal. Il est presque certains maintenant qu'on puisse reproduire un petit être humain fonctionnel artificiel, c'est probablement juste une question de temps et de moyen.

Par contre on a eu beau fouiller, on a actuellement aucune explication à la conscience. On peut tout expliquer sans l'invoquer. Pourtant c'est bien le premier phénomène qu'un être humain observe (le plus important sans doute).

Cela pose un gros souci scientifique : si avec une théorie tu explique la moitié de l'observable à la perfection et pas l'autre moitié, c'est qu'il manque un gros pavé à ta théorie. Et pour l'instant on a pas mis le plus petit doigt sur ce pavé.

Sauf que j'ai jamais lu quelque chose de clair sur la conscience, pour moi c'est un peu le nouveau "âme" plus proche de la science tant je ne vois pas de définition. Mais ça provient peut être de ma méconnaissance, je n'ai juste jamais entendu quelqu'un en parler avec une définition clair.
Le seul critère parfois que je vois c'est de se reconnaître dans un miroir ce qui me semble tout de même assez éloigné de ce qu'on veut faire porter à la conscience.

[Nilsou]

J'aurais cru que le cerveau ça restait encore une grosse boite noire. Tu aurais un exemple de comportement que l'on explique. Et comment ça "on peut en reproduire", genre dans une simu informatique ?

Heu, ben genre à peu près tout ? Dans une certaine mesure pour chaque truc.

Par exemple moi je fais des modèles du développement de l'enfant en modélisant plusieurs parties du cerveau :
On sait par exemple faire des robots qui apprennent à utiliser leurs propres corps et se mettent à explorer l'environnement. On sait faire des robots qui se mettent à jouer et on a à peu près élucidé les mécanismes qui amènent quelqu'un, notamment les jeunes à aimer les jeux. On a à peu près élucidé les mécanismes qui permettent d'apprendre à marcher.
On sait apprendre à un robot à sourire et on a à peu près élucidé le mécanisme de l'apprentissage du sourire chez l'enfant. On sait comment les enfants apprennent par imitation. On sait modéliser certains animaux simples quasiment à 100% (mouche, lézard) .
On comprend la plupart des mécanismes autonomes et leurs développements (système nerveux périphérique). Tous les réflexes et leurs développements ne sont plus un secret. On comprend les mécanismes permettant l'établissement de stratégie par l'humain. Non seulement on les comprend, mais on les a simplifié et on en a fait des algos capable de fonctionner sans réseaux de neurones (certains de ces algos sont utilisés dans des jeux vidéos depuis des années).
On comprend les mécanismes de souvenir, on comprend les mécanismes de récompenses par le plaisir et de punition par la douleur. On comprend peu ou prou la faim, la soif et les différentes actions des besoins sur l'humain.
On comprend encore un peu mal le sommeil, mais on commence à saisir ses mécanismes sur le cerveau et le comportement.

Et très globalement, on comprend chaque partie du cerveau et son rôle depuis quelque temps déjà. On les simule, on les intègre en simu, on en fait fonctionner pas mal ensemble en simu ou sur robot.

une grosse boite noire.

Je pense que tu confond l’appellation « boite noire » qu'on utilise pour designer des réseaux de neurones profond.
Déjà c'est une appellation erroné : on comprends ce qui se passe dans un réseau de type deep learning, mais c'est juste que le résultat est peu prédictible. Ensuite le cerveau ne fonctionne pas comme un réseau de type deep learning et les simulation de réseaux de neurones spécialisés inspirés du cerveau n'utilise pas forcément de deep learning. Ce dont des disciplines différentes.

- - - Mise à jour - - -

Sauf que j'ai jamais lu quelque chose de clair sur la conscience, pour moi c'est un peu le nouveau "âme" plus proche de la science tant je ne vois pas de définition. Mais ça provient peut être de ma méconnaissance, je n'ai juste jamais entendu quelqu'un en parler avec une définition clair.
Le seul critère parfois que je vois c'est de se reconnaître dans un miroir ce qui me semble tout de même assez éloigné de ce qu'on veut faire porter à la conscience.

Il n'y a effectivement pas de définition claire qui fait consensus à ma connaissance.
Mais le fait est qu'on s'auto-perçoit tous comme étant nous même une petite caméra ouverte sur le monde.

Le phénomène est difficilement définissable mais existe à l'évidence. (il y a un courant philo qui nie son existence mais il est ultra-minoritaire).

Pourtant jusqu'ici on a pas besoin de ce phénomène pour expliquer le monde. Ce qui pose en soit un problème.

[Ze Venerable]

On comprend les mécanismes de souvenir,

Je n'ai pas beaucoup de temps, je réagis juste sur ce petit extrait car il me semble que j'ai tout de suite un exemple qui illustre bien les limites (que j'imagine, en noob sur le sujet) on a sur la connaissance du fonctionnement du cerveau. Est-ce que par exemple l'on sait sous quelle forme l'information de mon code de CB est stockée dans mes neurones ?

[Nilsou]

À peu près oui.
Je ne sais pas ce que tu entends par « forme ». Mais on sait reproduire un réseau de neurone à peu près identique à ces zones dans l'esprit et qui sera capable de retenir un code de CB oui.

Attention, ce n'est pas parce qu'on comprends quelque chose et qu'on peut le reproduire qu'il est facile de le lire en allant foutre des électrodes dans le cerveau. C'est une information diffuse, un peu comme si on parlait d'un fichier crypté en somme. Et comme c'est fait par apprentissage durant le développement, me motif exact varie évidemment de personne en personne.

Le meilleur moyen qu'on ait trouvé pour le moment est d'ailleurs d'enregistrer la tambouille neuronale puis de demander à un autre réseaux de neurones de le decrypter.

[Ze Venerable]

Ca m'épate, merci. Ca amène plein de questions mais c'est pas l'endroit pis je comprendrais pas les réponses.

En tout cas de note, on comprend / on pourrait reproduire l'essentiel des nombreux mécanismes élémentaires qui constituent l'activité du cerveau d'un individu.

Du coup c'est qu'une question de nombre de processeurs disponibles qui nous empêche de faire un jumeau numérique d'un cerveau humain (j'ai entendu parler de ce projet de faire une simulation d'un réseau de neurones biologiques, ils en étaient même pas au nveau d'un cerveau de mouche non ?).

[Nilsou]

Du coup c'est qu'une question de nombre de processeurs disponibles qui nous empêche de faire un jumeau numérique d'un cerveau humain (j'ai entendu parler de ce projet de faire une simulation d'un réseau de neurones biologiques, ils en étaient même pas au nveau d'un cerveau de mouche non ?).

Disons que l’interaction de différentes sous partie spécialisés est un travail d’ingénierie ultra-complexe. Pour le moment très honnêtement, on ne sait pas mettre tout ensemble et que ça fonctionne parfaitement. On sait faire des sous ensemble et on sait le faire avec pas beaucoup de neurone. On comprends comment tout fonctionne globalement, mais de là à le mettre en application tout ensemble en simulation il y a un monde.

Mettre tout ensemble, que ça marche, puis que ça marche avec autant de neurone qu'un cerveau humain, serait un projet d’ingénierie ultra complexe.

Pour le moment la principale barrière à cela est ... l'organisation de la recherche elle même. L'organisation de la recherche mondiale est peu propice à créer de nouveaux « projet Manhattan ». On est un peu dans la situation où on comprends le principe de réaction en chaine, la radioactivité, mais techniquement : faire une bombe A demanderait le travail conjoint de milliers de techniques coordonnés.

Le second problème est ... encore l'organisation de la recherche, surtout en IA . Pour des raisons d'organisation un brin capitaliste du monde (euphémisme) la recherche suit elle aussi la voie du profit, et souvent cela signifie la voie de ce qui est le plus impressionnant à moindre cout. En ce moment, il est bien plus impressionnant de mettre un unique type de neurone, d'en faire une tambouille simpliste qui n'a aucun rapport avec le cerveau et pondre des milliers de projets de deep learning gadget de par le monde. C'est simple (à la portée de petites équipes et budgets), ça demande peu d'efforts humains, c'est compatible avec l'état de la recherche et de la technique en somme.

À l'inverse : coordonner des centaines de recherches différentes pour faire des centaines de simulations de neurones fonctionnant différemment avec des règles d'apprentissages différentes pour faire un tout cohérent. C'est atrocement difficile.

Enfin, une fois qu'on oublie le coté « effet Waou », l'objectif peut sembler un peu vain par rapport aux problèmes du monde. Pourquoi dépenser l'organisation d'un nouveau projet Manhattan pour juste ... faire ce que n'importe quelle femme enceinte fait toute seule depuis la nuit des temps. C'est un travail intéressant scientifiquement, mais pragmatiquement un peu vain ... et n'importe quelle financeur, quand il voit s'aligner les millions, commence à se poser la question, pertinemment.

[dralasite]

Une étude récente viens de conclure que les voitures autonomes sont plus sûres que les voitures pilotées par des humains (sauf le matin, le soir ou quand elles tournent).

Donc quand il s'agit de conduire tout droit en plein jour, c'est super safe! Faut juste penser à reprendre le contrôle dans les virages.

[MoTorBreath]

Au pire tu appelles le service assistance pour qu'il te fasse prendre le virage à distance avec son joystick.

[564.3]

Concernant la définition de la conscience il y a des frontières plus ou moins floues qui dépendent autant de nos capacités médicales, qui restent très limitées, que de choix arbitraires culturels.
Sur le sujet j'aime bien l'approche du neurologue https://fr.wikipedia.org/wiki/Antonio_Damasio
Il prend des cas concrets de patients qui ont des problèmes neurologiques rares et leur impact (aspect médical), c'est intéressant à lire même si on n'est pas d'accord avec le modèle qu'il tire de tout ça (aspect culturel).

Même s'il y a eu ces derniers temps des effets d'annonces de prévision d'une intelligence artificielle générale prochaine, ça reste de la science fiction vu où on en est…

[Ze Venerable]

Je ne sais pas ce que tu entends par « forme ».

Sur un disque dur, l'information elle est écrite en binaire quoi, via la polarité de trucs magnétiques qui peut avoir que 2 états.
C'est uniquement via les connections entre les neurones que la mémoire (d'un code, ...) se fait ? Du coup si je mets 10s pour mémoriser une série de quelques chiffres, c'est autant de temps pour que ces nouvelles connections se forment dans le cerveau ?

[Nilsou]

C'est ça.
Mais c'est plus la repetition qui va jouer que le temps. Pendant ces 10s tu te repete le truc en boucle pour le retenir.
Ça + divers mecanismes de regulation de l'attention font qu'on va vite oublier un truc benin n'arrivant qu'une fois, alors que se concentrer et repeter permets de retenir sur le long terme.

Ha et l'info entre les neurones est en quelque sorte analogique. Une synapse laisse passer plus ou moin d'energie selon divers parametres mais c'est pas tout blanc et tout noir.
C'est très different des deux etats du disque dur.