Le topic de l'Intelligence Artificielle, le topic qui parle en langage naturel

[Anonyme20240202]

Bah t'as ignoré la partie sur la location de la conscience dans le code et dans le Pentium 4.

Dans le cerveau on essaye actuellement de déterminer les parties où résident la conscience, y'a des hypothèses concernant le cortex cérébral par exemple.

Maintenant tu me montres quelle partie du Pentium 4 ou de son set d'instruction sont dédiées à la conscience.

J'ai aucun problème avec les gens qui me disent qu'un Pentium 4 est conscient, comme Michio Kaku le fait, allez simplement au bout du raisonnement pour avoir un avis clair. Plutôt que de dire on pense que l'AI est consciente parce qu'elle se comporte comme un humain.

Le papier de Chalmers je te recommande de le lire si c'est pas fait, c'est très pauvre, je ne sais pas quoi commenter honnêtement, si ce n'est que les slides sont très moches

- - - Mise à jour - - -

Ca me rassure d'un coup, moi qui pensait que "la question n'est pas aussi simple et y'a des gens des deux côtés" c'était "malhonnête et similaire à la médecine quantique ou autre arnaque", trucs un peu mystique, ésotérisme, mystiques, et autre trucs sympathiques

Ouais j'y suis allé un peu fort. Mais le sujet des réseaux de neurones artificiels (artificiels, c'est dans le nom, fabriqués par qui, par nous) est entièrement compris et on peut l'étudier step by step. Pas la conscience. Donc quand tu balances on sait pas alors qu'on sait je trouve ça bidon, et ça laisse la porte ouverte au charlatanisme. Le problème de la conscience du cerveau et de la conscience des réseaux de neurones artificiels sont tellement éloignés.

L'observabilité est un problème majeur concernant le cerveau. L'observabilité d'un réseau de neurone artificiel ne pose AUCUN problème, on l'a construit étape par étape et on le run étape par étape, m'enfin, j'pense que mes posts sont clairs.

Mais je débarquerai avec des intros plus douces à l'avenir, mes excuses aux familles et bisous

---

Aussi t'as l'air d'avoir mal compris la notion de propriété émergente, ou alors on s'est mal compris. Propriété émergente d'un système c'est une nouvelle propriété qui n'est pas prédite par les lois du système.

Donc dans le jeu de la vie de Conway, les gliders et autres, considérés comme entités, c'est une propriété émergente.

Allez out of bound dans un jeu vidéo c'est un peu la même idée. Une propriété émergente est construite sur un système en fonctionnement mais ne fait pas partie du fonctionnement du système.

Donc la conscience dans une AI est par définition une propriété émergente (et moi je dis que ça n'existe pas, mais on a le droit de dire que si), parce que comme expliqué plus haut, les AI ne sont pas conçues pour être consciente.

Donc si elles sont conscientes, c'est une propriété émergente, qui émerge de leur fonctionnement qui initialement est une machine complexe déterministe, y'a rien de mal à dire que la conscience émerge de la complexité, c'est une des voies les plus acceptée dans l'étude de la conscience.

être unicellulaire (simple) -> pas conscient -> algue (simple) -> pas conscient -> vers de terre (moins simple) -> faible degré de conscience -> mouche (un peu compliqué quand même, 100'000 neurones) -> un peu conscient -> etc.

AI (complexe? question à déterminer, une mouche c'est 100'000 "vrai" neurones, une AI c'est des milliards de faux neurones) -> conscient ?

Faut juste être clair sur ce qu'on déclare sinon c'est du mysticisme

[Charmide]

Bah t'as ignoré la partie sur la location de la conscience dans le code et dans le Pentium 4.

Dans le cerveau on essaye actuellement de déterminer les parties où résident la conscience, y'a des hypothèses concernant le cortex cérébral par exemple.

Maintenant tu me montres quelle partie du Pentium 4 ou de son set d'instruction sont dédiées à la conscience.

Bof, la partie "location" ça aussi c'est assez simpliste, à ma connaissance y'a un paquet de chercheurs qui ont arrêté de chercher "où réside la conscience" et qui en sont à se dire que ça n'est pas la bonne façon de voir les choses. Ca va aussi dans le sens que la question est plus compliquée que la façon dont tu la présentes.

J'ai aucun problème avec les gens qui me disent qu'un Pentium 4 est conscient, comme Michio Kaku le fait, allez simplement au bout du raisonnement pour avoir un avis clair. Plutôt que de dire on pense que l'AI est consciente parce qu'elle se comporte comme un humain.

Y'a littéralement personne dans ce thread qui t'as dis que ChatGPT était conscient, et certainement pas moi. Et littéralement personne nul part que j'ai vu dire que ChatGPT était conscient parce

Ouais j'y suis allé un peu fort. Mais le sujet des réseaux de neurones artificiels (artificiels, c'est dans le nom, fabriqués par qui, par nous) est entièrement compris et on peut l'étudier step by step. Pas la conscience. Donc quand tu balances on sait pas alors qu'on sait je trouve ça bidon, et ça laisse la porte ouverte au charlatanisme. Le problème de la conscience du cerveau et de la conscience des réseaux de neurones artificiels sont tellement éloignés.

L'observabilité est un problème majeur concernant le cerveau. L'observabilité d'un réseau de neurone artificiel ne pose AUCUN problème, on l'a construit étape par étape et on le run étape par étape, m'enfin, j'pense que mes posts sont clairs.

Ouais bah je vois pas ce que ça rajoute à la nonsequitur que j'évoquais plus haut.

Aussi t'as l'air d'avoir mal compris la notion de propriété émergente,...

non ça va, merci, je sais ce que ça veut dire

Le problème de la "conscience" c'est que ce n'est jamais bien défini. On est pas très loin de l’âme parfois à mes yeux tellement ça peut mélanger des concepts différents.

Ouais c'est valide même au-delà de la conscience pour la compréhension. Tout le discours fait très sanctuarisation de l'être humain comme quelque chose de bien différent de tout le reste et d'à jamais non-réplicable à cause "d'un truc" qu'on sait pas vraiment définir, et qu'on ne connait pas en l'état des sciences, sur lequel on a au mieux des hypothèses. C'est peut-être vrai, mais c'est une croyance, un pari sur le futur, y'a rien de scientifique là-dedans. Va donc trouver tes 21 grammes d'âme.
Donc ça me fait beaucoup rire que Kamikaze débarque avec ses gros sabots en m'expliquant que je suis "un mystique" quand c'est littéralement l'inverse. But contre son camp. C'est comme les politiques qui pendant le COVID t'expliquaient des trucs avec aplombs et comme étant "parfaitement démontré scientifiquement" pour se contredire 6 mois plus tard quand les scientifiques, eux sceptiques, découvraient de nouveaux trucs. Y'a rien de mieux que faire dire à la science ce qu'elle ne dit pas pour la décrédibiliser.

[Anonyme20240202]

Ouais j'ai fait l'amalgame entre compréhension et conscience. Là c'est mon biais personnel qui ressort, parce que je vois beaucoup de définition de la compréhension qui n'incluent pas la conscience. Dans mon cas je pense que c'est lié, via la notion de considération. C'est p'têt hors sujet

Bon après comme d'hab y'a pas le ton sur un forum, mais la majorité de mes posts c'est de l'argumentaire et à la cool, faut p'têt que je coupe les remarques qui ont l'air d'avoir fait mal (pardon lol) mais s'pas non plus le gros de mes posts quoi.

[Charmide]

La vraie réponse

[Nilsou]

Si tu prends un réseau de neurone facilement observable sur ton pc, un réseau simple mais qui peut largement générer des poèmes. Pour un quelconque poème généré tu peux entièrement expliquer sa génération, c'est un processus déterministe, observable et reproductible, en chacune de ses parties. Tu peux faire ça à la maison. Pour un système plus gros c'est aussi faisable, mais il faut plus de puissance de calcul bien sûr.

Et si tu prends un neurone seul tu peut le simuler à la perfection ou presque, c'est déterministes, et à la limite on pourrait faire des jumeaux parfait d'organisme simple.
Tu pourrais évidemment arguer qu'il y a du bruit etc qui peut éventuellement échapper à la prédiction. Et je pourrais te répondre qu'on peut tout à fait mettre du bruit, et même du bruit réel (avec une source de bruit analogique/quantique etc.) sur un modèle simulé et donc échapper à toute prédictibilité au niveau micro.

Il est certain qu'une AI, qui ne l'oublions c'est très important, a subit un entraînement qui par définition était arbitraire et guidé

Un enfant ne subit il pas également un entrainement qui est arbitraire et guidé ?
En soit je ne vois donc pas bien ton point sur ce sujet.
Si je drogue quelqu'un jusqu’à le rendre dépendant d'une action, ou si j'éduque un enfant pour que tel chose soit bien et l'autre soit mal, cela supprime t-il sa conscience ?

La raison pour laquelle comprendre est entre guillemets c'est que l'AI ne possède pas la notion fondamentale de réflexion par exemple.

Au final il faut arrêter de mettre de la magie partout et se souvenir qu'un CPU y'a une clock à base d'un quartz, et qu'à chaque tick on va effectuer une opération déterministe simple, et que ton algorithme de génération d'image, aussi complexe qu'il soit, l'ensemble de ses possibilités déterministes est aussi simple à encadrer. Genre si tu n'appuies pas sur le bouton, il ne se passe rien, tu peux littéralement debugger le code et tout effectuer step by step.

Mais c'est fondamentalement la même chose avec la neurobiologie, au niveau micro on sait ce qui se passe à chaque « tick ». Il y a un peu de bruit partout, mais rien n’empêche d'en rajouter dans un modèle donc ...
N'est-ce pas justement mettre de la magie partout que d'invoquer la notion de « réflexion », notion floue et non définie ?

N'existe que ce qui a été programmé et rien d'autre. Donc c'est partir vraiment très loin de parler de compréhension ou de conscience, car il faut expliquer où ces deux choses existent dans un code entièrement observable et déterministe, reproductible, modifiable en chacune de ses parties, énumérable, etc. une pure machine

Ici encore, on pourrait poser la même question sur chaque phénomène neurobiologique.

Si conscience ou compréhension il y a, concept émergents vis à vis du code qui n'a rien à voir avec ça, il faut les pointer du doigt. C'est impossible, il ne sont nulle part. Je veux bien qu'on essaye de me le montrer, mais y'a juste aucune place pour ça que ce soit dans le code ou dans les poids ou lors de l’exécution.

Comme tu le dis, un phénomène émergent n'est pas pointable dans un code.
Tu tombe mal parce que je suis plus ou moins spécialiste des phénomènes émergent en IA, c'est le cœur de mes travaux en robotique etc. On peut faire émerger des comportements sans que ce ne soit codé nul part.
Algo des fourmis, algos des abeilles, Boids etc... n'en sont que les exemples de base les plus évident. Un exemple courant qu'on voit en enseignement c'est la construction de tas par des robots donc la programmation ne contient pas une ligne de code à ce propos :


[*au passage je me rends compte que google est vraiment devenu mauvais, je lui ait mis le titre exacte de la vidéo, vu que je l'ai sur mon PC, et il a été incapable de me la retrouver alors que c'est youtube quoi, un truc à eux (j'ai même parcourut toutes les pages, qui étaient en nombre limitées)... idem en mettant le titre partiellement ou quoi...
J'ai foutu ça sur Qwant c'était dans les deux premiers résultats ]

Ils ne font que s’arrêter quand il repère des trucs devant eux mais le calibrage fait qu'ils ont tendance à mal voir les petits objets alors que des gros tas ça marche, de fait ils vont pousser les objets un par un jusqu’à faire naturellement des tas, qu'ils vont éviter.

C'est un classique. Dans tout phénomène émergent il n'y a pas de ligne de code qui code le phénomène, même sur les plus simple. Ne parlons donc pas d'un réseaux de neurone embarqué dans un robot. Je n'étudie que ça des phénomène émergent de réseaux de neurone sur robot, bien malin celui qui pointe la ligne de code ou le neurone responsable.

Et là on parle de truc simple. Donc avec des choses a priori bien plus complexe comme la « réflexion » ou la « conscience » je ne vois pas bien en quoi ce serait déconnant ...

Après l'argument de Nilsou de dire si ça fait pareil que nous alors c'est comme nous, c'est la notion déjà très bien connue de Zombie Philosophique https://fr.wikipedia.org/wiki/Zombie_(philosophie)

C'est pas l'argument de Nilsou, c'est l'argument de Turing ou d'Asimov.
Ne serais-ce pas toi qui est un peu magique ? Tu écris qu'il ne faut pas mettre de la magie partout « j'aime pas ces trucs un peu mystique », c'est le cœur de ta réponse, et pourtant tu reboucle sur quelque chose qui me parait bien magique d'un point de vue scientifique : à savoir, tu nie le fait que deux choses ayant le même résultat puisse avoir la même nature. En quelque sorte, tu divinise la nature de l'homme et un robot reproduisant 100% des actions d'un hommes ne vaudrait pas d'être considéré comme humain.
Ce n'est guère scientifique comme argumentaire. Et ça rappelle un peu celui qu'on déployait également pour parler des noirs et des indiens du point de vue des européens, à l'époque : ils font tout comme nous, mais au fond, ils sont forcément pas pareil, parce que nous c'est nous et eux on SAIT qu'ils sont forcément différent, sans âme. Toute proportion gardée, mais j’espère que tu appréciera le sel de cette comparaison

Une autre manière de le dire c'est aussi que Crysis peu tourner sur un Pentium 4, genre même sans GPU.

Ca tournera peut-être à une frame par jour, mais ça tournera.

Donc ChatGPT peut tourner sur un Pentium 4 (c'est la notion de machine de Turing), ça produira peut-être un token par an, mais ça tournera, c'est déterministe. De la même manière je peux ralentir la clock de tous les CPUs sur lesquels ChatGPT tourne actuellement pour atteindre ce résultat.

Donc dire que GPT ou Stable Diffusion sont conscients, c'est dire qu'intrinsèquement un Pentium 4 a toujours eu le potentiel d'être conscient, et que même à un cycle d'une instruction par an, ce qui détermine sa conscience et sa compréhension c'est un agencement d'instruction particulière, parce que y'a pas de nouvelles instructions hein.

C'est du grand n'importe quoi. 'Fin pas tant que ça à vrai dire, on peut être très sérieusement être ouvert à ce genre de discussion, mais j'espère que ça met quand même en évidence l'exotisme de ce genre de déclaration

Je vois vraiment pas le point. Il est connu que la conscience humaine est modulable en vitesse en fonction de divers facteurs subjectifs mais également neurologique. Il est tout à fait possible de venir ralentir la « clock » de l'être humain à coup de substance diverse et il verra tout en accéléré ou ralentie.
Plus fondamentalement, on sait que le temps même est relatif : il est tout à fait possible d'avoir un être humain qui circule très vite et donc l'horloge interne et sa conscience tournent à une vitesse autre que celle du terrien « statique ».
Ça ne pose aucun problème à personne et personne n'use de cet argument pour en déduire que les humains ne sont donc pas conscient ...

Un autre argument en défaveur de la notion de compréhension et de conscience c'est qu'on peut indéfiniment scale ou downscale un réseau de neurone, de manière itérative.
Donc si on parle de compréhension ou de conscience, il faut pointer du doigt à quelle itération elles apparaissent. Dans ce cas là la conscience est dirigée par un degré de complexité
Ca c'est une notion discutée par Michio Kaku notamment

http://www.youtube.com/watch?v=0GS2rxROcPo

Et Kaku déclare très sérieusement qu'un thermostat a une unité de conscience. Je suis pas du tout dans la moquerie hein, vous avez l'air de mal comprendre mon post. Je dis juste qu'il faut aller au bout du raisonnement et en étudier les conséquence sur la notion de compréhension et de conscience.

Ensuite on a le droit d'être d'accord/pas d'accord

Je ne vois pas trop le problème avec la supposition de Kaku, c'est une supposition comme une autre, qu'on retrouve dans bien des religions sur Terre au passage
Par contre je pense que tu as tort en pensant que ça coule forcément de source en poussant le raisonnement. Il peut y avoir des non linéarité, la conscience peut très bien apparaitre d'un coup sans intermédiaire à partir d'un certain seuil. Ou alors ça n'a rien à voir avec la complexité et on se plante complétement (ce ne serait pas la première fois en science).
Il y a en effet un gros biais dans cette affaire : on ne communique qu'avec des humains et avec des animaux partiellement, on déduit de cette communication que la conscience existe très probablement chez les autres qui sont pareil à moi (mais sans preuve je le rappelle, je suis peut être le seul mec conscient de l'univers et vous êtes tous des robots déterministes, qu'est-ce que j'en sais moi ). Et quand on s'éloigne un peu (animaux) il y a du débat qui apparait et quand on s'éloigne encore plus (plante) il y a encore plus de débat. Mais finalement tout ceci ne vient que de ce postulat sur « pareil à moi », postulat très psychologique et non pas très scientifique.
Si on rejette ce postulat on a juste 0 information sur la conscience : 0.
Si on accepte ce postulat vu qu'on a que ça sous le coude, alors il n'y a aucune raison de refuser la conscience à toutes choses se rapprochant de moi par le comportement.

AI (complexe? question à déterminer, une mouche c'est 100'000 "vrai" neurones, une AI c'est des milliards de faux neurones) -> conscient ?

J'ai plus ça en tête, mais il me semble que quand ils disent « parameters » dans les papiers ils viennent parler des poids neuronaux, qui sont infiniment plus nombreux que le nombre de neurone (c'est une fonction puissance, donc vraiment vraiment plus nombreux).
Je crois que c'est plutôt 100 Millions le nombre de neurone de ChatGPT, l'humain c'est entre 100 et 200 milliards, mais c'est exponentiel, le nombre de connexion neuronale chez un humain c'est 10.000 milliards de synapses, et sauf qu'il n'y a pas que les synapses, on sait que pas mal d'autres paramètres internes aux neurones évoluent et viennent moduler l’information. Donc le nombre final de paramètres évoluant dans un être humain est très loin de chatGPT.
Ceci dit, ce n'est pas non plus inatteignable techniquement.

[Charmide]

Je sais plus si je l'avais déjà sorti avec toutes ces discussions mais je trouve que Steven Pinker, un autre avec qui t'as le droit d'être d'accord, résume bien le truc ici:

[Nilsou]

(vis à vis de son dernier point) Peut être qu'un jour on arrivera à observer la conscience, ce n'est pas strictement impossible, mais pour le moment nos connaissances sur le phénomène se limite à :

- Elle existe, puisque chacun l’expérimente.
- Plus on avance plus on se rends compte qu'elle n'a aucune autre propriété visible (on peut émuler toutes les autres propriétés sans avoir besoin de la conscience).

Ce qui rends la chose particulièrement spécial dans le monde scientifique. Un phénomène observé mais qui n'est rattaché à rien.
C'est même particulièrement chelou. Certains pensent qu'il pourrait même s'agir d'une loi fondamentale de l'univers, qu'il reste à définir.

[Titouin]

Une pétition vient d’être lancée sur futureoflife pour mettre en pause la recherche sur l’intelligence artificielle durant six mois. Les signataires estiment que de nombreuses étapes ont été franchies et nécessitent une réflexion approfondie avant de pouvoir aller plus loin, que ce soit sur le bénéfice/risque de cette technologie, l’impact sur la société, l’éthique ou encore la réglementation. Je vous ai traduit la lettre :

Interrompre les expériences géantes en matière d'IA : Lettre ouverte

Les systèmes d'IA dotés d'une intelligence compétitive avec celle de l'homme peuvent présenter des risques profonds pour la société et l'humanité, comme le montrent des recherches approfondies[1] et comme le reconnaissent les principaux laboratoires d'IA[2]. Comme l'indiquent les principes d'IA d'Asilomar, largement approuvés, l'IA avancée pourrait représenter un changement profond dans l'histoire de la vie sur Terre, et devrait être planifiée et gérée avec l'attention et les ressources nécessaires. Malheureusement, ce niveau de planification et de gestion n'existe pas, même si les derniers mois ont vu les laboratoires d'IA s'enfermer dans une course incontrôlée pour développer et déployer des esprits numériques toujours plus puissants que personne - pas même leurs créateurs - ne peut comprendre, prédire ou contrôler de manière fiable.

Les systèmes d'IA contemporains deviennent aujourd'hui compétitifs sur le plan humain pour des tâches générales[3], et nous devons nous interroger : Devons-nous laisser les machines inonder nos canaux d'information de propagande et de mensonges ? Devrions-nous automatiser tous les emplois, y compris ceux qui sont gratifiants ? Devons-nous développer des esprits non humains qui pourraient un jour être plus nombreux, plus intelligents, plus obsolètes et nous remplacer ? Devons-nous risquer de perdre le contrôle de notre civilisation ? Ces décisions ne doivent pas être déléguées à des leaders technologiques non élus. Les systèmes d'IA puissants ne doivent être développés que lorsque nous sommes certains que leurs effets seront positifs et que leurs risques seront gérables. Cette confiance doit être bien justifiée et augmenter avec l'ampleur des effets potentiels d'un système. La récente déclaration de l'OpenAI concernant l'intelligence artificielle générale indique qu'"à un moment donné, il pourrait être important d'obtenir un examen indépendant avant de commencer à former les futurs systèmes, et pour les efforts les plus avancés d'accepter de limiter le taux de croissance du calcul utilisé pour créer de nouveaux modèles". Nous sommes d'accord. C'est maintenant qu'il faut agir.

C'est pourquoi nous demandons à tous les laboratoires d'IA d'interrompre immédiatement, pendant au moins six mois, la formation de systèmes d'IA plus puissants que le GPT-4. Cette pause devrait être publique et vérifiable, et inclure tous les acteurs clés. Si une telle pause ne peut être mise en place rapidement, les gouvernements doivent intervenir et instaurer un moratoire.

Les laboratoires d'IA et les experts indépendants devraient profiter de cette pause pour élaborer et mettre en œuvre conjointement un ensemble de protocoles de sécurité partagés pour la conception et le développement d'IA avancées, rigoureusement contrôlés et supervisés par des experts externes indépendants. Ces protocoles devraient garantir que les systèmes qui y adhèrent sont sûrs au-delà de tout doute raisonnable[4], ce qui ne signifie pas une pause dans le développement de l'IA en général, mais simplement un recul par rapport à la course dangereuse vers des modèles de boîte noire toujours plus grands et imprévisibles, dotés de capacités émergentes.

La recherche et le développement dans le domaine de l'IA devraient être recentrés sur l'amélioration de la précision, de la sécurité, de l'interprétabilité, de la transparence, de la robustesse, de l'alignement, de la fiabilité et de la loyauté des systèmes puissants et modernes d'aujourd'hui.

Parallèlement, les développeurs d'IA doivent collaborer avec les décideurs politiques pour accélérer considérablement le développement de systèmes robustes de gouvernance de l'IA. Ceux-ci devraient au minimum comprendre : de nouvelles autorités réglementaires compétentes dédiées à l'IA ; la surveillance et le suivi des systèmes d'IA hautement performants et des grands pools de capacité de calcul ; des systèmes de provenance et de filigrane pour aider à distinguer le réel du synthétique et pour suivre les fuites de modèles ; un écosystème robuste d'audit et de certification ; la responsabilité pour les dommages causés par l'IA ; un financement public robuste pour la recherche technique sur la sécurité de l'IA ; et des institutions dotées de ressources suffisantes pour faire face aux perturbations économiques et politiques dramatiques (en particulier pour la démocratie) que l'IA provoquera.

L'humanité peut jouir d'un avenir florissant grâce à l'IA. Ayant réussi à créer des systèmes d'IA puissants, nous pouvons maintenant profiter d'un "été de l'IA" au cours duquel nous récolterons les fruits de nos efforts, nous concevrons ces systèmes pour le plus grand bénéfice de tous et nous donnerons à la société une chance de s'adapter. La société a mis en pause d'autres technologies aux effets potentiellement catastrophiques[5], et nous pouvons faire de même ici. Profitons d'un long été de l'IA et ne nous précipitons pas sans préparation vers l'automne.

Vous pouvez trouver la lettre originale ici.

La particularité, c’est que de nombreux chercheurs d’université, ingénieurs, experts ou des créateurs de ces intelligences artificielles l’ont signé. Rappelons que de nombreux éminents chercheurs en IA sont inquiets, pas seulement les technophobes. Ce n’est pas non plus que l’IA pourrait devenir malfaisante ou qu’elle pourrait développer une conscience, mais bien que ses objectifs puissent ne plus partager celles des humains.

[Cedski]

ces ou ses objectifs ?

[Eloso]

Si l'IA a des objectifs divergents de ceux des humains qui l'ont conçu ne serait-ce pas reconnaître qu'elle a une conscience ? Je trouve la formulation peu claire...


(et merci Kamikaze pour toutes tes explications, c'est très intéressant).

[DoomedOne]

Il suffit de prévoir des coupe-circuits manuels et d'élever des humains exceptionnels qui auront pour tâche d'atteindre la manette quelque soit le système de défense mis en place par l'IA.

[Cedski]

Si l'IA a des objectifs divergents de ceux des humains qui l'ont conçu ne serait-ce pas reconnaître qu'elle a une conscience ? Je trouve la formulation peu claire...


(et merci Kamikaze pour toutes tes explications, c'est très intéressant).

Surtout avec une faute de français.

(@Titoin C'est vraiment pas un reproche, j'en fais tous le temps, mais c'est dans ce genre de cas qu'on voit que c'est important )

- - - Mise à jour - - -

Il suffit de prévoir des coupe-circuits manuels et d'élever des humains exceptionnels qui auront pour tâche d'atteindre la manette quelque soit le système de défense mis en place par l'IA.

Sinon on créé des IA pour débrancher les IAs qui pèteraient un cable.
Easy.

- - - Mise à jour - - -

... et j'étais venu là pour poster ça:

https://www.7sur7.be/faits-divers/un...adis~a2af388b/



(on est d'accord le gars avait sans aucun doute d'autres problèmes sous-jacents....)

[Haleks]

Le problème de la "conscience" c'est que ce n'est jamais bien défini. On est pas très loin de l’âme parfois à mes yeux tellement ça peut mélanger des concepts différents.

J'ai pas lu tous les pavés qui ont suivi, mais je vous conseille d'écouter attentivement ce podcast dans lequel Roger Penrose explique que, d'après lui, la conscience n'est pas une computation :



C'est intéressant de voir que, même sans se perdre dans des débats interminables sur la nature de la conscience, il pose des limites claires sur ce qu'elle est ou n'est pas (et une des conséquences de ce qu'il dit est que le concept de singularité qui comme par magie engendrerait la conscience n'est qu'un mythe).

EDIT : la discussion complète : https://www.youtube.com/watch?v=orMtwOz6Db0

[ian0delond]

Si l'IA a des objectifs divergents de ceux des humains qui l'ont conçu ne serait-ce pas reconnaître qu'elle a une conscience ? Je trouve la formulation peu claire...

ca serait surtout reconnaitre qu'il y a eu une bourde humaine pendant la conception de l'IA. On ne s'émeut pas de la conscience de l'IA de blood bowl 3 a chaque fois qu'elle oublie que chercher le ballon et aller dans la zone d'en-but devrait être son objectif.

[Titouin]

(@Titoin C'est vraiment pas un reproche, j'en fais tous le temps, mais c'est dans ce genre de cas qu'on voit que c'est important )

Mais c’est tout naturel, passes une bonne journée Cedki.

[Eloso]

ca serait surtout reconnaitre qu'il y a eu une bourde humaine pendant la conception de l'IA. On ne s'émeut pas de la conscience de l'IA de blood bowl 3 a chaque fois qu'elle oublie que chercher le ballon et aller dans la zone d'en-but devrait être son objectif.

Ouais alors l'IA de BB3, elle a des intérêts divergents des nôtres, je le sais, la dernière fois elle a aligné 9 orcs noirs (alors que c'est 6 max dans les règles) contre mon équipe de Noblesse Impériale que je voulais tester. J'aurais aimé que quelqu'un soit super entrainé pour l'éteindre sur le coup

[Seymos]

Avant de faire un moratoire sur l'IA, on devrait déjà interdire aux gens de jouer à BB en solo.

[Laya]

Avant de faire un moratoire sur l'IA, on devrait déjà interdire aux gens de jouer à BB en solo.

Bloodborne?

[Eloso]

Bloodborne?

On s'en fout de ce jeu peu connu et nul. BB = Blood Bowl. Y a pas de discussion

[Kodiak]

Une pétition vient d’être lancée sur futureoflife pour mettre en pause la recherche sur l’intelligence artificielle durant six mois. Les signataires estiment que de nombreuses étapes ont été franchies et nécessitent une réflexion approfondie avant de pouvoir aller plus loin, que ce soit sur le bénéfice/risque de cette technologie, l’impact sur la société, l’éthique ou encore la réglementation. Je vous ai traduit la lettre :



Vous pouvez trouver la lettre originale ici.

La particularité, c’est que de nombreux chercheurs d’université, ingénieurs, experts ou des créateurs de ces intelligences artificielles l’ont signé. Rappelons que de nombreux éminents chercheurs en IA sont inquiets, pas seulement les technophobes. Ce n’est pas non plus que l’IA pourrait devenir malfaisante ou qu’elle pourrait développer une conscience, mais bien que ses objectifs puissent ne plus partager celles des humains.

Je trouve cette lettre totalement déconnectée de la réalité aussi bien sur le fond que sur la forme. Surréaliste.
Si je vois le verre à moitié plein, je me dis que c'est voulu et que l'effet est de souligner l'absurdité de certains aspects de notre société.
Si je vois le verre à moitié vide, je me dis qu'il n'y a aucun effet voulu et on peut se demander le parti pris de cette lettre.

[Mastaba]

Ce n’est pas non plus que l’IA pourrait devenir malfaisante ou qu’elle pourrait développer une conscience, mais bien que ses objectifs puissent ne plus partager celles des humains.

Les objectifs de quoi? De l'IA?

[Nilsou]

Je trouve cette lettre totalement déconnectée de la réalité aussi bien sur le fond que sur la forme. Surréaliste.
Si je vois le verre à moitié plein, je me dis que c'est voulu et que l'effet est de souligner l'absurdité de certains aspects de notre société.
Si je vois le verre à moitié vide, je me dis qu'il n'y a aucun effet voulu et on peut se demander le parti pris de cette lettre.

Sur quel aspect en particulier ? Détaille ton point de vue ...
Parce que moi en tant que chercheur je trouve la lettre assez classique sur le fond. Et elle est même gentille, elle passe outre de très nombreux point négatif à l'introduction d'IA de ce calibre, points qui sont parmi les pires et qui sont non exposés dans la lettre.

Les objectifs de quoi? De l'IA?

https://content.spiceworksstatic.com...8682b1dcf1.jpg

Bah sur une IA assez grosse, tu l'entraine avec des jeux de récompenses punition, mais sur des IAs vraiment avancés telles que celles sur lesquelles j’expérimente en labo, on laisse l'IA s'auto-inventer, d'une certaine manière, les récompenses secondaires.
Vous trouvez ça gros parce que vous ne connaissez pas l'état de l’art de ce type de technologie. Mais la réalité c'est que même dans mon labo on bosse sur des IA dont on ne sait pas quels sont les « buts » une fois un certain stade d'apprentissage passé. On observe le résultat, on note que ça va globalement dans notre sens, et qu'elle fait plein de truc autre également au passage.
Il n'y a rien de déconnant qu'un tel type d'IA finisse par avoir, effectivement, des objectifs qui seraient vraiment très éloigné de ceux que tu as implémenté au départ. Le passage sur la « loyauté » de l'IA est donc assez pertinent. Aujourd'hui il faut bien voir qu'on tente de créer des organismes qui sont autonome, avec tout ce que veut dire ce mot.

[Charmide]

Relance de 12

[deathdigger]

Les objectifs de quoi? De l'IA?

https://content.spiceworksstatic.com...8682b1dcf1.jpg

Merci de relire Asimov

Un cas : on demande à une IA de résoudre la faim dans le monde, en planifiant les récoltes sur une année selon la météo calculée. On suit ses recommandations et au bout de six mois, les récoltes sont catastrophiques et la famine entraîne la mort de milliards d’individus.
L’IAa rempli son job, avec moins de personnes sur Terre, moins de famine et le stratagème trouvé a permis de passer sous les radars qu’un bête "Tuez un tiers des humains ".

[Ubuu]

Mais pourquoi une IA aurait elle envie de dominer l'humanité ?
C'est complètement inutile de son point de vu. C'est très anthropocentriste comme réflexion.
L'IA est enfermée dans son monde. Y a t-il des éléments, des exemples, des situations où une IA a tenté de prendre contact avec le monde extérieur de sa propre initiative ? Même de manière partielle, même sur le terrain informatique ? du genre une IA de type chatgpt qui se met à écrire des e-mails à des gens sans qu'on lui ait rien demandé ?

Dans la "pétition" qui s'inquiète d'une prise de controle de la civilisation c'est l'IA qui d'elle même prendrait l'initiative de dominer le monde, pour flatter son égo ou je ne sais quelle raison
C'est atrocement pauvre en terme d'argumentations pour des experts AI, ils ne convaincront pas grand monde avec ça, même s'ils ont raison, l'effort pédagogique est nul.
L'équivalent ce serait les experts du GIEC qui commenceraient par nous écrire des fan fic post apo dans une planète à +3° en détaillant l'effondrement des civilisations façon hollywood chewing-gum
Bon ils passeraient pour des clowns, heureusement qu'ils ont une autre approche

Et le type du Time qui voit des manipulations postbiologiques (oui oui post) et propose des bombardements préventifs, j'aimerais bien savoir à quoi il tourne. Mais bon il semble que c'est un super expert AI reconnu par le milieu et tout, bon ...

[Seymos]

Il est docteur en IA ?

[Laya]

Il est docteur en IA ?

[deathdigger]

Mais pourquoi une IA aurait elle envie de dominer l'humanité ?
C'est complètement inutile de son point de vu. C'est très anthropocentriste comme réflexion.
L'IA est enfermée dans son monde. Y a t-il des éléments, des exemples, des situations où une IA a tenté de prendre contact avec le monde extérieur de sa propre initiative ? Même de manière partielle, même sur le terrain informatique ? du genre une IA de type chatgpt qui se met à écrire des e-mails à des gens sans qu'on lui ait rien demandé ?

Dans la "pétition" qui s'inquiète d'une prise de controle de la civilisation c'est l'IA qui d'elle même prendrait l'initiative de dominer le monde, pour flatter son égo ou je ne sais quelle raison
C'est atrocement pauvre en terme d'argumentations pour des experts AI, ils ne convaincront pas grand monde avec ça, même s'ils ont raison, l'effort pédagogique est nul.
L'équivalent ce serait les experts du GIEC qui commenceraient par nous écrire des fan fic post apo dans une planète à +3° en détaillant l'effondrement des civilisations façon hollywood chewing-gum
Bon ils passeraient pour des clowns, heureusement qu'ils ont une autre approche

Et le type du Time qui voit des manipulations postbiologiques (oui oui post) et propose des bombardements préventifs, j'aimerais bien savoir à quoi il tourne. Mais bon il semble que c'est un super expert AI reconnu par le milieu et tout, bon ...

J'ai souvenir d'un vieux reportage (plus de 10 ans) qui présentait des modèles d'IA qui communiquaient entre elles. Elles développaient leurs propres langages et au bout d'un moment, on ne savait plus ce qu'elles se disaient. On développe des IA qui nous permettent de récupérer une solution, sans connaitre le raisonnement derrière. C'est ça qui est potentiellement dangereux.

[Titouin]

Les objectifs de quoi? De l'IA?

Mais pourquoi une IA aurait elle envie de dominer l'humanité ?
C'est complètement inutile de son point de vu. C'est très anthropocentriste comme réflexion.
L'IA est enfermée dans son monde. Y a t-il des éléments, des exemples, des situations où une IA a tenté de prendre contact avec le monde extérieur de sa propre initiative ? Même de manière partielle, même sur le terrain informatique ? du genre une IA de type chatgpt qui se met à écrire des e-mails à des gens sans qu'on lui ait rien demandé ?

Dans la "pétition" qui s'inquiète d'une prise de controle de la civilisation c'est l'IA qui d'elle même prendrait l'initiative de dominer le monde, pour flatter son égo ou je ne sais quelle raison
C'est atrocement pauvre en terme d'argumentations pour des experts AI, ils ne convaincront pas grand monde avec ça, même s'ils ont raison, l'effort pédagogique est nul.
L'équivalent ce serait les experts du GIEC qui commenceraient par nous écrire des fan fic post apo dans une planète à +3° en détaillant l'effondrement des civilisations façon hollywood chewing-gum
Bon ils passeraient pour des clowns, heureusement qu'ils ont une autre approche

Et le type du Time qui voit des manipulations postbiologiques (oui oui post) et propose des bombardements préventifs, j'aimerais bien savoir à quoi il tourne. Mais bon il semble que c'est un super expert AI reconnu par le milieu et tout, bon ...

En fin de compte, il existe deux types d’intelligences artificielles. Les IA restreintes (faibles) sont celles que l’on connaît aujourd’hui. Une IA conçue pour jouer aux échecs, une voiture autonome ou une caméra à reconnaissance faciale sont des intelligences artificielles faibles car elles ne sont conçues que pour une tâche donnée (Jouer, conduire, filmer et reconnaître), ou dit autrement, pour la tâche pour laquelle elles sont programmées. Avec certains cas et d’autres non, elle peut surpasser l’être humain. Ce dont les signataires s’inquiètent le plus, c’est la nouvelle génération d’intelligence artificielle dite générale (ou fortes) qui a pour vocation de surpasser l’être humain dans la quasi-totalité des tâches cognitives. On a un exemple d’embryon avec chatgpt, qui peut répondre à toutes les questions qu’on lui pose de manière plausible (pas forcément vrai, pas forcément réelle ni même réaliste, mais plausible, vraisemblable).

Les machines ont bien un objectif. C’est juste qu’on n’est pas d’accord sur l’idée de malveillance ou de conscience qui sont inopérants pour parler des IA. Concrètement, si vous êtes poursuivi par un missile à guidage infrarouge (associé à la chaleur), vous ne dites pas "Ah ! Les machines ne peuvent pas avoir d’objectifs !". Ce qui vous inquiète, c’est que l’objectif du missile n’est pas liée au vôtre, pas qu’elle ait une conscience ou un but à atteindre.

Pour répéter ce que j’ai dit plus haut, le problème est l’hypothèse dans lequel l’IA deviendrait plus intelligent que nous dans tous les domaines et qu’ils ne partagent plus nos objectifs. Souvent, on imagine qu’une IA voulant nous asservir serait forcément un robot aux yeux rouges avec une arme à la main. Il y a encore plus simple : supposons qu’une IAG décide de jouer à la bourse, rétribue des humains après un démarchage via des emails en leur demandant de faire des actions sur le monde réel (voter pour quelqu’un, prononcer des discours crées par la machine, enseigner des choses à quelqu’un, aider son prochain, assassiner, [Cette exemple est dédiée à votre imagination], ect). Concrètement, est-ce qu’il obéit à quelqu’un ou décide t-il pour lui-même? Peut-il subvertir en mettant des humains sous ses ordres, voire même sans qu’on le sache ? Une simple connexion internet suffit. On le voit, c’est l’intelligence qui permet le contrôle. Face à un tigre, nu et désarmé, on est très faible. C’est l’intelligence qui nous a permis d’avoir un contrôle sur les tigres, pas la force. Si nous sommes moins intelligents que l’IAG, est-ce qu’on ne risque pas de perdre le contrôle sur nos gestes et nos choix ?

On ne déteste pas les fourmis, mais si on a envie d’aménager un terrain et qu’il y a une fourmilière, on n’a pas trop de scrupules à la détruire. Si on souhaite ne pas se retrouver à la place des fourmis, alors mettre en place des études en sûreté sur ces intelligences artificielles est un début et une nécessité.

[Tremex]

Deuxième nouvelle de Asimov dans le cycle des robots, et première apparition de Susan Calvin : les "trois lois" sont là pour protéger les humains des robots.

Car un robot est tellement supérieur à l'homme qu'il ne supporterait pas qu'un de ces derniers lui adresse simplement la parole et le tuerait directement... Il ne se faisait pas trop d'illusion, le bon docteur. Mais il voyait en direct ce que donnait le mythe de "la race supérieure", juste entre êtres humains. Alors d'une incompréhensible intelligence.

On pourrait aussi citer "R.U.R" de Karel Capek, première apparition du mot robot en SF, et ça part déjà en sucette.

Au pire, les IA se contenteraient de nous ignorer, tout autant que quelques fourmis de plus. Jusqu'au coup de bombe insecticide...


@ deathdigger : votre cas de figure, là, c'est un bel épisode de la "Quatrième dimension". Tiré du "Lendemain de la machine" de Rayer, me semble-t-il.