Le topic de l'Intelligence Artificielle, le topic qui parle en langage naturel

[Helix]

Si on pouvait dégager ce terme d'IA qui laisse croire à une intelligence, ce serait probablement une première étape pour avoir une analyse posée et objective, sans trop de subjectivité liée à la SF.
C'est ça le gros truc qui m'agace dans le discours actuel, il y a tellement de bagages émotionels lié à ce terme. Je milite toujours pour le terme "apprentissage artificiel" qui est un peu plus réaliste.

[Ubuu]

J'ai souvenir d'un vieux reportage (plus de 10 ans) qui présentait des modèles d'IA qui communiquaient entre elles. Elles développaient leurs propres langages et au bout d'un moment, on ne savait plus ce qu'elles se disaient. On développe des IA qui nous permettent de récupérer une solution, sans connaitre le raisonnement derrière. C'est ça qui est potentiellement dangereux.

Oui c'est une des choses sensées que je vois à leur pétition et à la tribune du Time. Réussir à comprendre comment une IA a aboutit à tel résultat est précieux. J'ai cru comprendre que le même problème se posait avec les générateurs probabilistes de texte comme chatgpt. Je ne saurais dire si c'est dangereux mais ne serait-ce que pour améliorer l'IA, éviter les gros crashs, et ils n'en parleront évidemment pas, mais aussi pour les droits d'auteurs.

Ceci et leur invitation à plus de transparence me semble très sain

Par contre les scénarios sur la fin du monde et l'IA qui avale Mein Kampf et à qui il prend l'envie de conquérir le monde, je n'ai pas du tout les connaissances pour évaluer le risque. Mais si risque il y a il va falloir sortir des arguments autrement plus solides. Là il y en a 0
Un moratoire international avec passage en force des gouvernements comme ils l’appellent de leurs voeux demande d'être plus et mieux éclairé, on s'en fiche de leur fan fic, on veut des éléments

et "for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause." je sais pas mais ...
je vis dans un monde où des algorithmes font déjà la ligne éditorial pour une majorité des êtres humains. Où depuis plus d'une dizaine d'années de la désinformation et des théories du complots ont déferlé sur ces réseaux gérés par intelligence artificielle. Les données personnelles sont recueillies et traitées de manières très opaques, des affaires comme Cambridge Analytica n'étant que le sommet visible d'un iceberg que l'on peut soupçonner plus vaste. Les fakes et les bots pullulent dans ces espaces régulés par IA, souvent mis en avant. Des psychiatres alertent sur les effets dévastateurs des rs sur certains enfants et ados. La Chine et Israel ont basculé vers des sociétés de surveillance et de controle ayant peu à envier à 1984, grâce à des IA orchestrées de A à Z par des humains.

Tout ça n'est pas conçu par des IA maléfiques, ce sont des choix économiques et politiques. J'ai l'impression d'une diversion avec leurs angoisses peu en prises avec le réel ...
parmi les signataires des pontes de meta, google, microsoft, amazon, apple, etc. Ils nous pavent généreusement le débat

supposons qu’une IAG décide de jouer à la bourse, rétribue des humains après un démarchage via des emails en leur demandant de faire des actions sur le monde réel (voter pour quelqu’un, prononcer des discours crées par la machine, enseigner des choses à quelqu’un, aider son prochain, assassiner, [Cette exemple est dédiée à votre imagination], ect). Concrètement, est-ce qu’il obéit à quelqu’un ou décide t-il pour lui-même? Peut-il subvertir en mettant des humains sous ses ordres, voire même sans qu’on le sache ? Une simple connexion internet suffit. On le voit, c’est l’intelligence qui permet le contrôle.

Je ne suis pas sûr que l'intelligence existe de manière abstraite telle une essence divine détachée de matérialité. Mais j'avale mon chapeau s'il est démontré que l'IA comprends qu'il existe un monde extérieur à elle et à sa base de donnée.
Mais il va falloir le démontrer. Il ne suffit pas d'agiter le scénario du pire mais d'expliquer en quoi ces intelligences fortes se démarquent, quels sont les signes, quelles sont les questions posées etc. C'est un débat s'il est réel qui mérite le concours d'une large part de la communauté scientifique, voir intellectuelle. On est sur des phénomènes complexes et inédits. Qu'ils donnent des éléments, osef de leurs scénarios

On ne déteste pas les fourmis, mais si on a envie d’aménager un terrain et qu’il y a une fourmilière, on n’a pas trop de scrupules à la détruire. Si on souhaite ne pas se retrouver à la place des fourmis, alors mettre en place des études en sûreté sur ces intelligences artificielles est un début et une nécessité.

Ca pour le coup c'est très clair dans leur pétition, ils demandent aux contribuables américains de prendre la charge économique induite par leurs expériences

[Shosuro Phil]

Si on va dans les questions de terminologie, on pourrait aussi dégager tous les "smart X". À commencer par smartphone, mais aussi smart city, smart contract... le seul truc malin dans tous ces noms, c'est le mec qui a réussi à faire accepter le mot.

[Kodiak]

@Nilsou :
Peut pas, j'ai bu le contenu du verre.

Plus sérieusement, sur la forme :
Il ne te choque pas que la pétition en question soit dénouée de transparence ?
C'est quoi les process de vérifications ? A priori une adresse email et ensuite ? Pas un mot.
Les noms en haut de la liste ont été vérifié de façon indépendante et directe. Le haut se termine oû ? 4ème nom, 5 ème, 25 ème ??
La vérification directe, c'est en gros j'appelle un collègue, une connaissance et lui demande si il signerait cette lettre. Et bien sur, tu ne lui dis pas de qui, quoi cela émane (indépendante).
Si c'est le sujet de la pétition est la libération des nains de jardins par l'amical de Mon Uke, alors le manque de rigueur et de méthode, ne seront peut être pas vraiment regardés.
Ce n'est pas du tout le cas ici. Il existe plusieurs axes qui prônent la transparence, la rigueur, la sécurité et autres.
Grotesque, absurde, surréaliste ?

Sur le fond :
Le premier paragraphe à non pas pour but de présenter l'état de l'art en terme d'IA, ce que tu pourrais attendre d'une introduction à une lettre mais de connoter l'IA : compétition avec l'homme, risques profonds, esprits numériques plus puissants que personne (tout le monde est concerné), savant fou qui ne contrôle plus rien.
Un certain parti pris non ?

Le deuxième paragraphe s'appuie sur l'aspect outils et, la compétitivité entre l'homme et la machine : la productivité.
Cela a toujours été le cas dans l'histoire de l'humanité. Les réponses politiques des sociétés n'ont juste pas été les mêmes selon divers critères liés à leur propre histoire.
Réponses que chacun de nous est libre d'observer à travers un modèle social. Alors pourquoi aujourd'hui en serait-il autrement et sous quelles formes ?
Des études du déploiement de l'outil IA sont réfléchies et disponibles depuis quelques années.
Un exemple de secteur d'activité qui aborde la question de l'emploi : https://cirano.qc.ca/files/publications/2020s-49.pdf
Tu peux tout à fait trouver d'autres ressources par secteur d'activité : banque, ressources humaines, comptabilité, audit, finance, assurance...
Les acteurs économiques sont connus. La croissance lié au marché de l'IA est connue.
Cela te parait cohérent d'évoquer le marché de l'emploi sans contexte économique ? Moi pas.
Pourquoi écrire : " Devons-nous laisser les machines inonder nos canaux d'information de propagande et de mensonges ? Devrions-nous automatiser tous les emplois, y compris ceux qui sont gratifiants ? Devons-nous développer des esprits non humains qui pourraient un jour être plus nombreux, plus intelligents, plus obsolètes et nous remplacer ? Devons-nous risquer de perdre le contrôle de notre civilisation ?"
C'est un scénario. Rien de plus. Qui oublie d'ailleurs toute notion de dynamique.
Je trouve la distinction entre les emplois gratifiants et tous les emplois tellement dénuée d'humanité. Un biais cognitif sans doute.

Un autre biais me laisse entrevoir qu'un être tellement supérieur à l'homme en tout point et une telle perfection, débarrassé de ses biais, s'appelerait Dieu. Cela peut gêner quelques institutions. Un conflit d'intérêt.

Le dernier paragraphe me parait un peu présomptueux. On a le pouvoir de mettre en pause.. Pour le clonage humain, il me semble que les législations diffèrent d'un pays à l'autre.

Le reste, c'est des bonnes intentions qui seront un casse tête juridique entre états signataires ou pas. Entre des individus qui pourront à juste titre prétendre avoir été victime d'un "outil" au même titre que l'outil "IA".
Tu peux trouver beaucoup d'autres problématiques.
Et au final, cela sera une taxe.
Les décideurs politiques ne sortent pas d'un chapeau magique. Ils sont élus. Si une majorité des électeurs est pour une libéralisation de l'IA, ce n'est pas aux chercheurs de décider.
Tiens une problématique très concrète, toi qui bosses dans l'IA. Admettons que tu sois d'accord avec cette lettre, ton employeur non. Comment cela se passe ?

Bref je ne vois pas beaucoup de raison dans cette lettre mais beaucoup de passion.

[Laya]

Si on pouvait dégager ce terme d'IA qui laisse croire à une intelligence, ce serait probablement une première étape pour avoir une analyse posée et objective, sans trop de subjectivité liée à la SF.
C'est ça le gros truc qui m'agace dans le discours actuel, il y a tellement de bagages émotionels lié à ce terme. Je milite toujours pour le terme "apprentissage artificiel" qui est un peu plus réaliste.

Tu n'es pas drôle, au moins aujourd'hui tu peux faire une régression linéaire et dire que tu fais de l'IA.

Sinon j'aime bien apprentissage machine comme terme, très proche du tient. Ca a le mérite de regrouper tout de manière assez large. A vrai dire je considère même l’apprentissage machine comme une sous branche des math proba.
Tout de suite ça rend le terme plus clair et on ne voit pas tout de suite hal .

[Cedski]

Effectivement ce serait beaucoup plus juste. Parlons de ML au lieu d'AI...

A mon avis c'est trop tard le terme IA/AI est déjà dans le langage courant.

[ian0delond]

Si on pouvait dégager ce terme d'IA qui laisse croire à une intelligence, ce serait probablement une première étape pour avoir une analyse posée et objective, sans trop de subjectivité liée à la SF.
C'est ça le gros truc qui m'agace dans le discours actuel, il y a tellement de bagages émotionels lié à ce terme. Je milite toujours pour le terme "apprentissage artificiel" qui est un peu plus réaliste.

puis aussi changer le terme artificiel par automatique/machine. Artificiel c'est soit ça implique de faire une copie très ressemblante soit c'est péjoratif. A moins d'être Nilsou, synthétiser l'intelligence c'est pas vraiment l'objectif.

[deathdigger]

Deuxième nouvelle de Asimov dans le cycle des robots, et première apparition de Susan Calvin : les "trois lois" sont là pour protéger les humains des robots.

Car un robot est tellement supérieur à l'homme qu'il ne supporterait pas qu'un de ces derniers lui adresse simplement la parole et le tuerait directement... Il ne se faisait pas trop d'illusion, le bon docteur. Mais il voyait en direct ce que donnait le mythe de "la race supérieure", juste entre êtres humains. Alors d'une incompréhensible intelligence.

On pourrait aussi citer "R.U.R" de Karel Capek, première apparition du mot robot en SF, et ça part déjà en sucette.

Au pire, les IA se contenteraient de nous ignorer, tout autant que quelques fourmis de plus. Jusqu'au coup de bombe insecticide...


@ deathdigger : votre cas de figure, là, c'est un bel épisode de la "Quatrième dimension". Tiré du "Lendemain de la machine" de Rayer, me semble-t-il.

Je pense surtout à la dernière nouvelle, avec une IA qui prend ses propres décisions sans expliquer aux humains, ceux-ci étant incapables de comprendre ce qui va arriver.

[Charmide]

Le débat qui fait surface dans le mainstream c'est un vague reflet d'un débat bien plus vieux qui a été rebattu et rebattu, ça explique en partie pourquoi le truc s'est radicalisé et tu te retrouves avec un gus sur time.com qui parle très sérieusement de bombarder des data centers à coup de drone quitte à provoquer une guerre nucléaire parce que c'est mieux que de développer un GPT-5.

Si c'est un sujet qui vous intrigue vous pouvez y aller et lire les nombreux trucs que Yudowsky (et les gens qui n'ont pas le même avis) a écrit (pouvez commencer là https://www.alignmentforum.org/), y'a de quoi s'occuper, je pense que vous aurez des objections aux objections aux objections à toutes les objections et scénarios de SF auxquels vous pouvez penser. Comme beaucoup de choses dans la communauté rationaliste et ses descendantes c'est intéressant mais y'a des relents de superiorité et de certitude, et grosso-merdo à force de sur-intellectualiser les trucs ça finit par des conclusions dont je doute légèrement. (EDIT: par exemple me semble que ça parle de "manipulations postbiologiques" parce que y'a eu 2934 débats sur la façon dont l'IA pourrait nous tuer, et que les nanotechnologies qui étaient à la mode ne le sont plus et qu'un virus est plus ~crédible~ désormais).

Y'a pas longtemps il a fait une liste des scénarios qu'il trouvait les plus probables pour que l'IA ne finisse pas en drame, c'est bien wtf: https://manifold.markets/EliezerYudk...cll1ZGtvd3NreQ

[Helix]

puis aussi changer le terme artificiel par automatique/machine. Artificiel c'est soit ça implique de faire une copie très ressemblante soit c'est péjoratif. A moins d'être Nilsou, synthétiser l'intelligence c'est pas vraiment l'objectif.

Yep, Apprentissage Machine ou Automatique, ça me va encore mieux.

- - - Mise à jour - - -

Tu n'es pas drôle, au moins aujourd'hui tu peux faire une régression linéaire et dire que tu fais de l'IA.

Voilà, avec la mode actuelle, les gens pensent aussi que je fais de l'IA.

[tompalmer]

Je pense surtout à la dernière nouvelle, avec une IA qui prend ses propres décisions sans expliquer aux humains, ceux-ci étant incapables de comprendre ce qui va arriver.

Ca c'est impossible, a moins que ce soit codé comme ca, ce qui serait hautement débile.

[Nilsou]

,Mais pourquoi une IA aurait elle envie de dominer l'humanité ?
C'est complètement inutile de son point de vu. C'est très anthropocentriste comme réflexion.

Je pense que tu anthropocentrise trop la chose justement . Une IA n'a pas forcément à vouloir dominer le monde pour faire de la merde là ou tu attends autre chose.
C'est simplement que plus son mode de fonctionnement s'éloigne du tient ou plus tu perds le fil de ce qui se fait en interne dans son « cerveau » plus, de fait, la surprise est envisageable, bonne comme mauvaise.

Voir la réponse de deathringer page précédente sur l'exemple d'Asimov. Parfois même le fait d'avoir une IA aussi forte et imprévisible fait qu'elle va expliciter des choses pour toi de ta requête, choses qui sont horribles et que tu n'aurais peut-être pas acceptées si tu en avais clairement su les conséquences.

L'IA est enfermée dans son monde. Y a t-il des éléments, des exemples, des situations où une IA a tenté de prendre contact avec le monde extérieur de sa propre initiative ? Même de manière partielle, même sur le terrain informatique ? du genre une IA de type chatgpt qui se met à écrire des e-mails à des gens sans qu'on lui ait rien demandé ?

Là aussi tu anthropocentrise pas mal d'une part, et tu négliges les progrès en IA, d'autre part.
Tu anthropocentrise pas mal parce que tu attends d'un autre organisme qu'il « prenne contact » comme tu attendrais d'un humain qu'il se plaigne de sa cellule de prison. Alors que ... non en fait ... même un animal s'exprime de manière très exotique par rapport à notre mode d'expression. Pourquoi s'attendre d'une IA cela...
Ensuite, les IAs de type ChatGPT sont contraintes pour ne donner une réponse que s’il y a une question. Mais c'est une contrainte voulue et qu'on peut faire sauter sans soucis. On bosse régulièrement sur différents types d'IAs autonomes. La question qui est posée c'est plutôt sur le déploiement d'IA autonome, bien plus pratique pour de nombreuses raisons.

Voir aussi l'exemple de deathringer.

Dans la "pétition" qui s'inquiète d'une prise de controle de la civilisation c'est l'IA qui d'elle même prendrait l'initiative de dominer le monde, pour flatter son égo ou je ne sais quelle raison

Il n'y a nulle part ça dans ce texte ...Tu mésinterprètes, je pense.

C'est atrocement pauvre en terme d'argumentations pour des experts AI, ils ne convaincront pas grand monde avec ça, même s'ils ont raison, l'effort pédagogique est nul.

Ce n’est pas le truc le mieux écrit de la terre, mais tu ne peux pas non plus réexpliquer la vie dans une pétition. Tu ne peux pas faire un cours sur l'effet du réchauffement climatique quand tu fais une pétition sur l'écologie et idem tu ne va pas faire un cours sur l'IA pour expliquer en quoi le risque est reel modulo l'histoire de l'IA, les technologies, la trajectoire scientifique et le contexte politique.
Comme le dit Charmide, qui a parfaitement raison :
« Le débat qui fait surface dans le mainstream c'est un vague reflet d'un débat bien plus vieux qui a été rebattu et rebattu »

C'est un sujet qui est traité dans le domaine, autant scientifiquement que dans le domaine de la fiction, depuis presque 100 ans maintenant ... On ne peut pas revenir sur tout tout le temps.

L'équivalent ce serait les experts du GIEC qui commenceraient par nous écrire des fan fic post apo dans une planète à +3° en détaillant l'effondrement des civilisations façon hollywood chewing-gum
Bon ils passeraient pour des clowns, heureusement qu'ils ont une autre approche

Ils ne font pas de pétition. La pétition est un outil qui vient en complément de rapport plus élaboré. Ce n'est pas la même temporalité non plus. Tu peux lancer une pétition d'experts, qui comprennent parfaitement le fond du texte, avec un texte, même mal écrit, en quelques heures. Pour faire un rapport comme le fait le GIEC il te faudra des années.

Et le type du Time qui voit des manipulations postbiologiques (oui oui post) et propose des bombardements préventifs, j'aimerais bien savoir à quoi il tourne. Mais bon il semble que c'est un super expert AI reconnu par le milieu et tout, bon ...

J'ai pas lu ceci, tu fais référence à qui ?

- - - Mise à jour - - -

Pour répéter ce que j’ai dit plus haut, le problème est l’hypothèse dans lequel l’IA deviendrait plus intelligent que nous dans tous les domaines et qu’ils ne partagent plus nos objectifs. Souvent, on imagine qu’une IA voulant nous asservir serait forcément un robot aux yeux rouges avec une arme à la main. Il y a encore plus simple : supposons qu’une IAG décide de jouer à la bourse, rétribue des humains après un démarchage via des emails en leur demandant de faire des actions sur le monde réel (voter pour quelqu’un, prononcer des discours crées par la machine, enseigner des choses à quelqu’un, aider son prochain, assassiner, [Cette exemple est dédiée à votre imagination], ect). Concrètement, est-ce qu’il obéit à quelqu’un ou décide t-il pour lui-même? Peut-il subvertir en mettant des humains sous ses ordres, voire même sans qu’on le sache ? Une simple connexion internet suffit. On le voit, c’est l’intelligence qui permet le contrôle. Face à un tigre, nu et désarmé, on est très faible. C’est l’intelligence qui nous a permis d’avoir un contrôle sur les tigres, pas la force. Si nous sommes moins intelligents que l’IAG, est-ce qu’on ne risque pas de perdre le contrôle sur nos gestes et nos choix ?

C'est un bon exemple réaliste : on pourrait déployer très vite des IA dans le contexte financier, et on le fait déjà, et ça a déjà des effets avec des variations importantes des flux économiques parce qu'il y a des milliers de paris qui s’opèrent à la seconde. Plus on déploie et on donne de rênes à des IAs générales pour atteindre un objectif, plus il est possible qu'elle tente effectivement d'atteindre cet objectif, mais par des chemins complètement non prévu (en même temps c'est pour ça qu'on met une IA), mais ... foireux pour nous.

et "for coping with the dramatic economic and political disruptions (especially to democracy) that AI will cause." je sais pas, mais ...
je vis dans un monde où des algorithmes font déjà la ligne éditorial pour une majorité des êtres humains. Où depuis plus d'une dizaine d'années de la désinformation et des théories du complots ont déferlé sur ces réseaux gérés par intelligence artificielle. Les données personnelles sont recueillies et traitées de manières très opaques, des affaires comme Cambridge Analytica n'étant que le sommet visible d'un iceberg que l'on peut soupçonner plus vaste. Les fakes et les bots pullulent dans ces espaces régulés par IA, souvent mis en avant. Des psychiatres alertent sur les effets dévastateurs des rs sur certains enfants et ados. La Chine et Israel ont basculé vers des sociétés de surveillance et de controle ayant peu à envier à 1984, grâce à des IA orchestrées de A à Z par des humains.

Tout ça n'est pas conçu par des IA maléfiques, ce sont des choix économiques et politiques. J'ai l'impression d'une diversion avec leurs angoisses peu en prises avec le réel ...
parmi les signataires des pontes de meta, google, microsoft, amazon, apple, etc. Ils nous pavent généreusement le débat

Tu as très bien résumé. C'est pour ça que je disais d'ailleurs que le principal problème est passé sous silence dans cette discussion/pétition.
Le problème n°1 ce n'est pas que les IA aillent vers des objectifs inhumains non prévus. Ce problème existe, mais se pose dans un second temps.
Le problème n°1 c'est d'avoir des IAs généralistes + de grandes masses de données qui vont être à la disposition du premier dictateur ou mec un peu autoritaire venu. Cela demandera un clic pour ce type de personne d'avoir la liste des personnes votant très probablement comme ceci ou cela, sans même nécessiter de service d'analyse de l'info qui pourrait faire éventuellement fuiter la requête. N'importe quel dictateur en chef pourra demander un accès sécurisé à la base de données générale de l'état, recueilli pour le bien de tous évidemment, et demander quels sont les leaders les plus probables qu'il faut assassiner pour gagner la prochaine élection, ou où sont les principaux pôles de résistances, etc., etc. Et j'en passe, parce qu'en utilisation malsaine il y a vraiment de quoi faire.

En fait c'est le pendant analytique ultime à la quantité de données déjà récoltées qui était un peu difficile à analyser sans que cela ne fuite. Tous les ingrédients pour un 1984 à grande échelle et différentes saveurs partout sur la planète. Les ingrédients étaient déjà plus ou moins là et en cours d'usage dans bien des états, mais là il y a un outil de très grande puissance en plus qui va aller dans ce sens, et déployable très vite.

C'est ça, selon moi, le risque n°1.

Qu'on ait trop confiance en tout plein d'IAs auquel on donne les rênes comme dans l'exemple de la nouvelle ou on lui file l'objectif de nourrir le monde et qu'elle trouve un moyen pas très sain de le faire, c'est un autre problème, mais à mon avis : un peu plus à long terme.

- - - Mise à jour - - -

Je ne suis pas sûr que l'intelligence existe de manière abstraite telle une essence divine détachée de matérialité. Mais j'avale mon chapeau s'il est démontré que l'IA comprends qu'il existe un monde extérieur à elle et à sa base de donnée.

Ha, mais ça c'est très très démontré ^^
Quand tu fais un système d'IA qui reboucle avec l’extérieur (en robotique par exemple), l'IA ne voit QUE le monde extérieur, en permanence. Donc on sait parfaitement faire ce type d'IA.
ChatGPT et cie sont des IAs volontairement castrés de ce point de vue là, au départ, par le fait qu'ils n'apprennent pas en direct (parce qu'on sait que l'IA se fait alors troller par des dizaines d'utilisateurs qui la font converger vers des horreurs ^^. Ça pose le problème de l'esprit critique propre d'une entité IA, sujet qui occupe tout un pan de la recherche), et par le fait qu'ils n'aient que peu accès au monde extérieur (mais c'est en cours de correction ça, via déjà, les hacks présentés par charmide et les travaux de Microsoft sur l'adaptation pour Bing (qui sont des hacks aussi dans l'esprit, mais c'est déjà ça).

Si on va dans les questions de terminologie, on pourrait aussi dégager tous les "smart X". À commencer par smartphone, mais aussi smart city, smart contract... le seul truc malin dans tous ces noms, c'est le mec qui a réussi à faire accepter le mot.

.
Il y a le journal La Décroissance qui utilise « Ordiphone » pour désigner les smartphone. Je trouve le terme pratique à l'usage et assez propre.

[Orhin]

- Elle existe, puisque chacun l’expérimente.

Ben même ça c'est pas évident.
Si tu prends le courant philosophique de l’illusionnisme, ils ne sont pas exactement d'accord avec ce prémisse (du moins pas au sens usuel) :

[Nilsou]

Vu la vidéo, pas vraiment convaincu.
Le phénomène ressenti en lui même est perçu par chacun. Nier le fait est un peu absurde.

Tout le reste de sa logique me parait acceptable, mais cette conclusion me parait vraiment absurde. Même si c'est une illusion créé par un phénomène quelconque, rien n'explique que l'organisme soumis à l'illusion ne reste pas « dans le noir », rien ne force cette illusion à prendre corps, rien ne force le je à apparaitre. Et si il apparait par la force de cette illusion, on revient au problème initial ... pourquoi cette force d'illusion suffit à faire apparaitre ce sentiment de conscience.

En fait c'est une manière de nier le problème en niant l'existence initiale de la chose. Ou de le déplacer plus loin, ce qui ne le résout aucunement. Si on appelle le phénomène qu'on perçoit « illusion de la conscience » on a juste rebouclé sur le même ensemble de question et d'implication.
À la limite, tout ce que ça dit de plus d'intéressant en repoussant la question plus loin c'est que tout dispositif réunissant les conditions de l'illusion (à définir) aurait également cette illusion (dont les robots/IA etc.). Mais c'est une conclusion à laquelle arrivent bien d'autres hypothèses.

[Orhin]

Ah mais je dis pas que je suis spécialement convaincu personnellement par cette position (qui reste d'ailleurs assez mineure dans les branches de la philo qui étudient la conscience).
C'était juste pour illustrer que le débat est tellement vaste à ce sujet qu'on peut même discuter certaines des prémices "de bases".

À noter qu'il y a une version complète de l'interview qui va plus dans le détail (et qui aborde rapidement quelques autres sujets) : https://www.youtube.com/watch?v=vrfaqsb_0LM

[Nilsou]

C'était juste pour illustrer que le débat est tellement vaste à ce sujet qu'on peut même discuter certaines des prémices "de bases".

Complétement d'accord.

Faudra que je regarde la version complète, merci pour le lien.

[Orhin]

J'ai pas lu tous les pavés qui ont suivi, mais je vous conseille d'écouter attentivement ce podcast dans lequel Roger Penrose explique que, d'après lui, la conscience n'est pas une computation :



C'est intéressant de voir que, même sans se perdre dans des débats interminables sur la nature de la conscience, il pose des limites claires sur ce qu'elle est ou n'est pas (et une des conséquences de ce qu'il dit est que le concept de singularité qui comme par magie engendrerait la conscience n'est qu'un mythe).

C'était très intéressant, mais attention ça reste hautement spéculatif (Penrose le dit d'ailleurs dans la vidéo qu'il n'a pas de réponse).
Je suis pas vraiment d'accord avec les "limites claires" qui seraient posées du coup.

[Nilsou]

Pas convaincu par la vidéo personnellement. Il y a trop de trucs qui sont supputatif et les grand machin quantique c'est un peu, hum, voila quoi.
Même le fait de mettre en off ou en on la conscience n'est pas une évidence dans la mesure ou on sait qu'on peut avoir des états de consciences particuliers sous différentes substances et ne plus avoir souvenir du tout ensuite de ces états (les rêves en étant une forme) et finir avec un grand trou noir d'un moment. En bref, on sait que la conscience à un instant t n'a « conscience » de la conscience à l'instant t-1 que via les souvenirs, forme purement matérielle de stockage de donnée, jusqu’à preuve du contraire, et dont le mécanisme est, eux, bien connu, qu'on peut aisément effacer etc.
Il y a donc une forme d'évidence à ce que la mise sur off de l'enregistreur de souvenir empêche la conscience du « futur » de se souvenir de la conscience du passé (pardonnez moi la formulation grossière) mais ça n'implique de fait pas forcément que la conscience du passé à bel et bien était mise sur off... peut être qu'elle flottait juste dans un éternel présent dont ne se souviendra jamais, qu'en sait on ...

[Charmide]

Ça fait très première scène d'un film de SF a venir bientôt

[Haleks]

Pas convaincu par la vidéo personnellement. Il y a trop de trucs qui sont supputatif et les grand machin quantique c'est un peu, hum, voila quoi.
Même le fait de mettre en off ou en on la conscience n'est pas une évidence dans la mesure ou on sait qu'on peut avoir des états de consciences particuliers sous différentes substances et ne plus avoir souvenir du tout ensuite de ces états (les rêves en étant une forme) et finir avec un grand trou noir d'un moment.

Je vais pas me prononcer sur l'aspect quantique (c'est bien trop abstrait pour moi), mais je pense pas qu'il faille se concentrer sur l'absence de mémoire, dûe à une cuite ou autre, comme preuve d'absence de conscience (trou noir ou pas, un mec bourré est bel et bien en train de gesticuler et de baver des incohérences, même s'il ne va pas s'en souvenir) : on sait que l'état de sommeil naturel n'a rien à voir avec une anesthésie. Le sommeil est un état de conscience altéré naturellement, dans lequel le cerveau reste très actif, activité qui est largement absente lors d'une anesthésie. Le cerveau ne traite plus les flux d'informations quand on est sous anesthésie - c'est bien pour ça qu'on se réveille sans aucun souvenir, contrairement au sommeil ou au coma. La perte de mémoire après une cuite, elle n'est pas dûe à une "pause" de la conscience, mais à des troubles de mémoire à court terme, qui ne s'imprime plus dans la mémoire à long terme.

En bref, on sait que la conscience à un instant t n'a « conscience » de la conscience à l'instant t-1 que via les souvenirs, forme purement matérielle de stockage de donnée, jusqu’à preuve du contraire, et dont le mécanisme est, eux, bien connu, qu'on peut aisément effacer etc.

Je suis pas un spécialiste hein, mais je pense que c'est erreur de découper le phénomène de conscience en une succession d'instantanés; c'est un processus continu. D'ailleurs, un peu HS (et il faudra que je retrouve la vidéo), mais je me souviens d'un autre podcast avec Fridman dans lequelle un biologiste parlait de l'apparition de la vie sur Terre, et expliquait qu'il n'y a pas d'instant "T" qui marquerait le passage de l'inerte au vivant, puisque là aussi la vie est un processus continu. Je crois qu'il y a un parallèle à faire avec la conscience.

Au fait, je me rends compte que j'ai pas posté la conversation complète



La troisième partie, à 9:43, explique bien son poit de vue : dans le cerveau humain, la computation est gérée par le cerebellum, qui est complètement dissocié de l'activité associée à la conscience/compréhension (qui doit donc se situer ailleurs).

[Nilsou]

Je suis pas un spécialiste hein, mais je pense que c'est erreur de découper le phénomène de conscience en une succession d'instantanés; c'est un processus continu.

Ha mais c'était juste pour illustrer. Ça peut être un processus continue et n'avoir conscience du passé de lui même que via la mémoire.
Dans ce cas mon raisonnement reste intact : je vois mal comment tu distingue une interruption de conscience d'une perte de mémoire. Au final, se réveiller à un instant t en pensant « il y a deux heures, c'est sur, je n'étais pas conscient » n'est une preuve de rien. Car tu as pu simplement oublier ce qu'il s'est passé il y a deux heures pour tout un tas de raisons, ou même ne jamais l'enregistrer.
Le seul truc dont on peut être sur vis à vis de la conscience c'est l'instant présent.

De fait, même le postulat, pourtant simple, que la conscience s'allume et s’éteint, est un postulat que je trouve bien difficilement démontrable.

[Haleks]

Ha mais c'était juste pour illustrer. Ça peut être un processus continue et n'avoir conscience du passé de lui même que via la mémoire.
Dans ce cas mon raisonnement reste intact : je vois mal comment tu distingue une interruption de conscience d'une perte de mémoire. Au final, se réveiller à un instant t en pensant « il y a deux heures, c'est sur, je n'étais pas conscient » n'est une preuve de rien. Car tu as pu simplement oublier ce qu'il s'est passé il y a deux heures pour tout un tas de raisons, ou même ne jamais l'enregistrer.

Bah, une perte de mémoire n'est pas la même chose qu'une perte de conscience?
Si t'as pété mon canapé après avoir gobé des champis, t'étais bien conscient (ou dans un état de conscience altérée) au moment de le faire, même si tu n'en gardes aucune mémoire (bon en vrai on s'en souvient vaguement).
Inversement, si on t'endort et que tu te souviens de rien, c'est bel et bien parce que tu as perdu conscience - ce que le personnel médical peut confirmer. T'étais probablement pas en train de chanter Monique avec le chirurgien.

Enfin je sais pas, y a bien une distinction entre les deux pour moi.
J'vois pas bien pourquoi tu tiens absolument à associer mémoire et conscience?

EDIT : ok j'vois un peu où tu veux en venir avec ta dernière phrase. Perso je ferais cette distinction :
- Le sommeil naturel (et ses différentes phases et ses rêves) est un état altéré/minimal de la conscience, durant lequel l'information continue d'être digérée. Il n'y pas vraiment d'interruption du processus, et on reste attentif dans une certaine mesure puisqu'on est facilement réveillé.
- L'anesthésie court-circuite le traitement de l'information (ce qui ne se produit pas naturellement) et il est impossible de te réveiller tant que tu es perfusé. Je comprends ce que tu veux dire en disant qu'on a pas une certitude absolue que la conscience est en OFF, mais c'est ce qui s'en rapproche le plus à priori.

Du coup je le trouve pas déconnant, son postulat.

[Nilsou]

Il y a une distinction que tu fais du point de vue d'un observateur extérieur. Mais du point de vue du mec qui pète ton canapé après avoir gobé des champi qui oublie tout et se reveille en pensant avoir dormis toute la soirée, lui même n'a aucune preuve tangible qu'il était conscient à ce moment là. Et il pourrait très bien argumenter en disant que c'est pas lui il était dans le coma.

La seule preuve tangible de ta conscience du passé ce sont tes souvenirs.

[Haleks]

J'ai édité mon post.

Mais je trouve que tu pars dans un point de vue extrême là; si on suit ta logique, on peut nier toute réalité et... à quoi bon se prendre la tête dans ce cas-là? ^^
Si on en arrive à des considérations aussi nihilistes, c'est peut-être qu'il manque un peu de nuance dans la discussion.

J'irais pas jusqu'à dire que seuls tes souvenirs comptent pour ce qui est de la réalité du passé : tu as une expérience de la vie, des témoins, et d'autres choses qui t'indiquent que non, ni ta mémoire ni ton ressenti ne sont 100% objectifs ou fiables.


Ça, ou on est tous brain-dead quand on est bébé.

[Kodiak]

Ca pour le coup c'est très clair dans leur pétition, ils demandent aux contribuables américains de prendre la charge économique induite par leurs expériences

Pas comme ça que je le vois.

Je crois plutôt que le pouvoir politique au sens premier du terme, c'est à dire organiser, gérer un Etat est très conscient de ses limites dans nos démocraties.
Il y a une corrélation entre le pouvoir économique et le pouvoir politique.
Internet a donné naissance au GAFAM qui ont un pouvoir économique immense. Ce pouvoir ne s'est pas construit avec la violence. Il s'est imposé de lui même parce qu'il correspondait à une demande.
Pourquoi une croissance aussi rapide ? Payer moins, illusion de la gratuité.
Le pouvoir politique, pas plus con qu'un autre, voit que demain les GAFAM auront un pouvoir encore plus grand à travers le déploiement de cette technologie.
La taxe se veut un frein et une volonté de responsabiliser non pas les GAFAM mais les consommateurs, qu'ils soient américains ou européens.

[Orhin]

Pas convaincu par la vidéo personnellement. Il y a trop de trucs qui sont supputatif et les grand machin quantique c'est un peu, hum, voila quoi.

D'ailleurs il n'explique pas du tout le lien "c'est quantique" => "c'est pas calculable".

Ça, ou on est tous brain-dead quand on est bébé.

Ben, avant un certain age quand on encore un fœtus, oui.

[Nilsou]

Mais je trouve que tu pars dans un point de vue extrême là; si on suit ta logique, on peut nier toute réalité et... à quoi bon se prendre la tête dans ce cas-là? ^^

C'est pas du tout Nihiliste, c'est scientifique
Et scientifiquement le problème c'est que chaque postulat sur la conscience se fait très vite haché menue. Si ce n'était pas le cas, le problème serait bien plus simple

J'irais pas jusqu'à dire que seuls tes souvenirs comptent pour ce qui est de la réalité du passé : tu as une expérience de la vie, des témoins, et d'autres choses qui t'indiquent que non, ni ta mémoire ni ton ressenti ne sont 100% objectifs ou fiables.

L’expérience de la vie, ce sont les souvenirs. Les témoins c'est un facteurs extérieurs ils peuvent bien te dire que tu faisais dodo ou que tu a tenté de te jeter du haut d'un pont pendant la nuit, tu n'aura aucune preuve interne à toi même si tu n'a pas de souvenir.
C'est pas « extrême » ou « nihiliste », c'est un simple fait.

[Haleks]

D'ailleurs il n'explique pas du tout le lien "c'est quantique" => "c'est pas calculable".

C'est pas le lien qu'il cherche à établir; sa réflexion c'est plutôt : les calculs sont effectués dans le cervelet, mais la conscience semble résider ailleurs dans le cerveau; donc calculs et conscience sont dissociables - ou en tout cas pas aussi intimement liés qu'on le pense, et donc il y a doit y avoir quelque chose de plus que le simple calculus derrière la conscience (c'est peut-être un phénomène quantique). En gros hein, j'ai tout charcuté là - faut dire aussi qu'il aime bien digresser le papi.

Ben, avant un certain age quand on encore un fœtus, oui.

Okay, mais est-ce que tu te souviens de ce que tu faisais ou pensais quand t'avais 3 ans? Probablement pas, et pourtant t'avais déjà de la mémoire, et tu faisais déjà consciencieusement chier tes parents.

C'est pas du tout Nihiliste, c'est scientifique
[...]

L’expérience de la vie, ce sont les souvenirs. Les témoins c'est un facteurs extérieurs ils peuvent bien te dire que tu faisais dodo ou que tu a tenté de te jeter du haut d'un pont pendant la nuit, tu n'aura aucune preuve interne à toi même si tu n'a pas de souvenir.
C'est pas « extrême » ou « nihiliste », c'est un simple fait.

Peut-être qu'on se comprend mal, mais pour moi tu es en train de dire que la conscience se limite à la mémoire - ça c'est pas un fait, c'est ton interprétation. Ou alors on a n'a pas du tout la même définition de la conscience - et là pour le coup, je sais pas s'il existe une definition minimale et communément admise pour quelque chose qui est par essence aussi subjectif. Pour moi ça englobe la conscience physique de soi et la capacité d'appréhender le "monde extérieur", la compréhension et l'intuition, et un "feedback" continuel entre mémoire du passé et l'instant présent, grosso modo.

[Nilsou]

Peut-être qu'on se comprend mal, mais pour moi tu es en train de dire que la conscience se limite à la mémoire

Mais j'ai jamais dit ça

Tout ce que je dis c'est que par définition, la conscience c'est le phénomène du « je » au présent. Tu n'a pas conscience de ton toi passé ou de toi futur, tu es incarné dans le présent.
Tu a une image de ton toi passé via ta mémoire, mais c'est une autre histoire.

J'utilisais simplement ce fait simple pour pointer du fait que même des affirmations comme « la conscience s’éteint quand on est sous anesthésie » sont extrêmement difficile à prouver par la simple absence de souvenir de ton toi passé pour ton toi futur, que tu fasse dodo, soit sous anesthésie ou que tu ait été conscient sous drogue : ton toi du moment aura peut être vécu des choses différentes mais ton toi du futur sera bien incapable de différentier ces situations, fautes de souvenirs ...

En l'absence de témoignage valide de ton toi du futur nous assurant de son état d'extinction ou de vie à un instant t dans le passé, difficile de tirer la moindre conclusion.

[Ubuu]

Il n'y a nulle part ça dans ce texte ...Tu mésinterprètes, je pense.

Si il y a ça mot pour mot dans le texte


Nilsou puisque tu nous parle d'autonomie de l'IA etc.
Quel est l'exemple le plus surprenant que tu ai vu dans ton labo ou ailleurs, d'une prise de décision (initiative) autonome de l'IA ?
je parle bien de quelque chose pour laquelle elle n'est pas du tout prévue


@charmide je vais parcourir tes liens, et oui je sais que c'est un débat très vieux sur l'IA
La façon dont on explore l'IA et ses limites entre un peu en écho je trouve avec des thèmes plus anciens encore, sur les automates ou autres, ou des mythes comme ceux du golem qui prend vie etc. Je trouve qu'on y parle plus de l'humain que de la nature du sujet que l'on prétend étudier mais c'est passionnant.