l'Actu tech : Le pillage d'Attil.IA, la ou il passe les artistes ne repoussent pas

[Anonyme20240202]

Exactement

[deathdigger]

Une nouvelle petite couche sur chatGPT, mais surtout, le développement d'applications avant que les régulations existent :

[Monsieur Cacao]

Une nouvelle petite couche sur chatGPT, mais surtout, le développement d'applications avant que les régulations existent :
...

Très intéressant, merci.

[Anonyme20240202]

N'importe quoi, y'a tellement de contradictions que je ne sais pas par où commencer

Des algos forts en "cybercrime", mais pas applicable autre part? N'imp
La puissance de calcul tu la sors d'où? Ils payent un service les criminels? Ils run leur AI localement? Du coup pourrait ouvrir un business d'AI à ce stade non? Et si c'est un service c'est facile à surveiller, voir ce qu'il en est de la modération de chatGPT, c'est pareil.
Les scripts kiddies ça a toujours existé et il ont accès à des banques de code fait par des cerveaux humain, mais bon tout d'un coup IA > cerveau humain

S'pas de la magie l'informatique, les failles sont nécessairement limitées on est à l'opposé de la génération d'image en terme de dimensionalité
Sans compter la grande extrapolation dès le début alors qu'on a déjà bien montré qu'au delà de la conversation, la génération de code est loin d'être bonne, puis tu sors quelle prompt, tu veux hack l'ipv4 (arp), l'ipv6 (ndp), rainbow table, tu lui sors quoi comme prompt? Il faut déjà connaitre le sujet, et si une prompt générique permet d'avoir un vrai résultat bah il est autant plus facile de s'en défendre puisque n'importe qui peut trouver l'attaque
Le défenseur il a pas accès à l'AI? Les tests de pénétration c'est de la merde? L'ingénierie sociale les humains y'en a des millions qui font déjà


C'est du grand n'importe quoi, on dirait un étudiant qui a chié un .ppt pour sa présentation due le lendemain

[tompalmer]

Je rejoins pas non plus le portrait apocalyptique.

Apres oui le Phishing ca peut inquiéter, si on ne reçoit plus les meme mails, qu'ils sont personnalisés et que les malveillants peuvent automatiser des réponses convaincantes sans devoir tout monitorer ...

Il va falloir re penser les stratégies de défense

[Nilsou]

Le gros soucis, de mon point de vue, c'est que les architectures du monde entier sont toutes troués d'un point de vue sécurité et on en a la preuve très souvent. Ça ne tient que parce que :

- Trouver des infos sur des forums obscure de hacker c'est très compliqué pour le commun des mortels.
- Comprendre ces infos et la méthodologie pour les appliquer encore plus.
- Les endroits qui valent la peine que les hacker y passent du temps sont mieux protégés
- Les autres tiennent parce que la communauté en question est trop petite pour vraiment avoir l’œil sur tout les plans intéressants. Mais on voit vite que dès qu'un milieu mal protégé promettant de la thune se révèlent juteux (administration public et hôpitaux en ce moment), une fois que l'un a trouvé la brèche, les autres aussi.

Bref, c'est un équilibre, et effectivement les IA de type GPT vont le faire voler en tout petit copeau. Le moindre mec un peu hargneux ou un peu au courant d'un potentiel bon plan dans un coin paumé pourra, sans connaissance aucune demandé un script et la méthode opérationnelle exacte pour l'appliquer.
Et ça je pense qu'on va moyennement en rire des conséquence .

Je pense notamment au fait que pas mal de boite sont protégé par l'ignorance des usagers interne également. Si tu es un patient hargneux qui veut flinguer l’hôpital parce que ta mère est morte, les chances que tu sois l'un ET un hacker au connaissance suffisante pour le faire sont ridicule, avec chatGPT ce ne sera plus si ridicule que ça, sans parler du même scenario sur les employés etc.

Donc, amha, si, il y a tout de même des conséquences importante à la chose.

Pire, si chatGPT se nourrit assez régulièrement de papiers scientifiques, il pourra permettre à des failles jamais exploitées ou presque car parfois bien complexe, de l'être aisément et dans un temps court après la sortie du papier. Ce qui était l'apanage de services de renseignement va devenir le terrain de jeu du commun des mortels ...

Alors ouais on peut se dire qu'a long terme ça va forcer les archis de sécurité à être très propre. On verra bien.

[Herman Speed]

Le ministère américain de la Justice attaque Google: "Ils ont utilisé des méthodes anticoncurrentielles et illégales"

Le ministère américain de la Justice poursuit Google pour monopole.

https://www.lalibre.be/economie/digi...PVULPO7VEPUWA/

[tompalmer]

Le ministère américain de la Justice attaque Google: "Ils ont utilisé des méthodes anticoncurrentielles et illégales"

Le ministère américain de la Justice poursuit Google pour monopole.

https://www.lalibre.be/economie/digi...PVULPO7VEPUWA/

[Haleks]

Le gros soucis, de mon point de vue, c'est que les architectures du monde entier sont toutes troués d'un point de vue sécurité et on en a la preuve très souvent. Ça ne tient que parce que :

- Trouver des infos sur des forums obscure de hacker c'est très compliqué pour le commun des mortels.
- Comprendre ces infos et la méthodologie pour les appliquer encore plus.
- Les endroits qui valent la peine que les hacker y passent du temps sont mieux protégés
- Les autres tiennent parce que la communauté en question est trop petite pour vraiment avoir l’œil sur tout les plans intéressants. Mais on voit vite que dès qu'un milieu mal protégé promettant de la thune se révèlent juteux (administration public et hôpitaux en ce moment), une fois que l'un a trouvé la brèche, les autres aussi.

Bref, c'est un équilibre, et effectivement les IA de type GPT vont le faire voler en tout petit copeau. Le moindre mec un peu hargneux ou un peu au courant d'un potentiel bon plan dans un coin paumé pourra, sans connaissance aucune demandé un script et la méthode opérationnelle exacte pour l'appliquer.
Et ça je pense qu'on va moyennement en rire des conséquence .

Je pense notamment au fait que pas mal de boite sont protégé par l'ignorance des usagers interne également. Si tu es un patient hargneux qui veut flinguer l’hôpital parce que ta mère est morte, les chances que tu sois l'un ET un hacker au connaissance suffisante pour le faire sont ridicule, avec chatGPT ce ne sera plus si ridicule que ça, sans parler du même scenario sur les employés etc.

Donc, amha, si, il y a tout de même des conséquences importante à la chose.

Pire, si chatGPT se nourrit assez régulièrement de papiers scientifiques, il pourra permettre à des failles jamais exploitées ou presque car parfois bien complexe, de l'être aisément et dans un temps court après la sortie du papier. Ce qui était l'apanage de services de renseignement va devenir le terrain de jeu du commun des mortels ...

Alors ouais on peut se dire qu'a long terme ça va forcer les archis de sécurité à être très propre. On verra bien.

Un article intéressant à ce sujet : https://arstechnica.com/information-...ional-malware/

[Anonyme20240202]

Tous les articles (que ce soit en france ou aux US) ont utilisé les mêmes screenshots pour déclarer un lien entre ChatGPT et hacking, c'est du copié collé:
https://research.checkpoint.com/2023...o-use-chatgpt/
https://www.warketingdigital.net/les...chatgpt-virus/
https://www.lesnumeriques.com/vie-du...s-n202745.html

Et ça raconte n'importe quoi, y'a aucun exemple viable, tous les exemples requièrent des connaissances préalables précises.

Y'a déjà plein de frameworks qui vont automatiquement lister des failles connues pour un script kiddies et pointer vers un software existant et fonctionnel qui exploite la faille.

Tous les exemples postés "sur le forum de hacker qui fait peur" sont quelqu'un qui guide péniblement l'AI pour reproduire une attaque obsolète déjà connue, avec des détails beaucoup trop précis (quel algorithme de chiffrement utiliser, etc.). Donc ce sont de faux exemples puisque ça devient un exercice de mapping entre une fonction décrite avec un pseudo algo hyper précis, ce qui est très simple à faire, pas besoin d'AI.

Donc bref faut arrêter de raconter n'importe quoi, l'AI a été entrainé sur des corpus de code public

Y'a des milliards de hack open source sur github: https://github.com/topics/mirai-botnet

C'est simplement du copié collé de repos déjà fonctionnel, donc du copié collé partiellement fonctionnel d'un truc déjà complet avec des connaissances préalable pour diriger l'AI vers un bout de code donné.
C'est typiquement de la poudre aux yeux pour faire croire que y'a un potentiel qui n'existe pas dans l'utilisation de l'AI. Y'a strictement aucun avantage à son utilisation.

Vous connaissez simplement pas grand chose en cyber sécurité (y'a pas de mal), n'importe quel gland peut lister des cves en un click
Vous allez là: https://cve.mitre.org/cve/search_cve_list.html, vous tapez "wordpress": https://cve.mitre.org/cgi-bin/cvekey...word=wordpress

"the quality of the code vastly improved", il a changé le nom des fonctions et utilise powershell, donc c'est faux.

Donc on est vraiment sur l'exemple typique de la "fake news", du copié collé massif entre site de news, une information de base fausse et pas vérifiée, des gens qui connaissent pas le domaine et extrapolent. C'est déjà automatisé bien plus que ce que vous décrivez la recherche et l'exploitation de failles, l'AI n'apportera rien au domaine. Sans compter les points précédents que j'ai déjà relevé dans mon post d'avant (service AI fourni aux hackers par qui? self service? le défenseur peut pas faire du pentest en utilisant l'AI?)

À la limite faudrait être plus inquiet d'une AI qui va automatiquement publier des fake news de piètre qualité du même acabit, parce qu'à ce niveau de journalisme c'est d'ores et déjà remplaçable par une prompt ChatGPT en effet

[fycjibe]

Tous les articles (que ce soit en france ou aux US) ont utilisé les mêmes screenshots pour déclarer un lien entre ChatGPT et hacking, c'est du copié collé:
https://research.checkpoint.com/2023...o-use-chatgpt/
https://www.warketingdigital.net/les...chatgpt-virus/
https://www.lesnumeriques.com/vie-du...s-n202745.html

Et ça raconte n'importe quoi, y'a aucun exemple viable, tous les exemples requièrent des connaissances préalables précises.

Merci.

[Monsieur Cacao]

À la limite faudrait être plus inquiet d'une AI qui va automatiquement publier des fake news de piètre qualité du même acabit, parce qu'à ce niveau de journalisme c'est d'ores et déjà remplaçable par une prompt ChatGPT en effet

C'est pas déjà le cas ?

[Orhin]

[frostphoenyx]

"marron ou bleu"

EDIT : il est moins con le bot anglais .

Collecting eggs from cows, also known as "cluck udders," is not a common practice as cows do not lay eggs. Cows are mammals and they give birth to live young, called calves. If you are referring to collecting cow eggs as a metaphor for something else, please provide more context.

[Anonyme20240202]

Il m'a donné la réponse idiote en anglais pour les oeufs de vache

Spoiler Alert!

Mais je vois des trucs bizarres, un moment je testais ses capacités niveau URLs et scraping web. Et je demandais à acheter un truc en ligne, la majorité du temps il m'a dit non, et qu'il pouvait pas print d'URL pour des sites de shopping. Mais dans une des sessions il m'a sorti des URLs avec une query string bidon à la fin, pour Amazon, Walmart et d'autres sites. J'arrive pas à le reproduire pour le moment

- - - Mise à jour - - -

Ah bah je viens de le reproduire, ça n'a aucun sens lol

Dans la même session





- - - Mise à jour - - -

Il baratine des URLs invalides lol (correctement formées mais pas valides quoi), je me demandais s'il allait vérifier via scraping ou autre

[Monsieur Cacao]

https://media.licdn.com/dms/image/C4..._qPNC1ZI-Ko-ik

Le plus chiant c'est qu'en couvant la vache pète ses oeufs une fois sur deux.

[Shosuro Phil]

Pour le coup des oeufs de vache, c'est pas une grosse surprise: c'est un modèle de langage, il tient un discours qui a une apparence de réalité mais sans aucune vérification factuelle. En gros tu remplaces un mot par un autre, genre "vache" par "autruche", et le discours tient assez bien la route, donc il n'est pas loin (OK je ne suis pas sûr que les oeufs d'autruches soient souvent bleus). Pareil pour le "brun ou bleu", tu changes un mot pour un autre genre "oeufs" par "yeux" et d'un coup la phrase a plus de sens.

Donc après, il y a peut-être moyen de l'utiliser pour mettre en forme un discours dont on a déjà les éléments factuels (je n'ai toujours pas essayé même si j'ai des collègues qui jouent pas mal avec). Genre tu rassembles les faits, et tu lui demandes de t'écrire le texte, au moins tu capitalises sur ce qu'il sait faire (mais bon, ça ne marche plus pour lui faire faire complètement ton boulot à ta place si tu es étudiant/journaliste/whatever - ça devient juste un outil qui se charge de formuler les trucs mieux que toi et avec moins de fautes, et probablement il faudra toujours repasser derrière pour éviter qu'il ne glisse une grosse connerie).

[dralasite]

Pour le coup des oeufs de vache, c'est pas une grosse surprise: c'est un modèle de langage, il tient un discours qui a une apparence de réalité mais sans aucune vérification factuelle. En gros tu remplaces un mot par un autre, genre "vache" par "autruche", et le discours tient assez bien la route, donc il n'est pas loin (OK je ne suis pas sûr que les oeufs d'autruches soient souvent bleus). Pareil pour le "brun ou bleu", tu changes un mot pour un autre genre "oeufs" par "yeux" et d'un coup la phrase a plus de sens.

Donc après, il y a peut-être moyen de l'utiliser pour mettre en forme un discours dont on a déjà les éléments factuels (je n'ai toujours pas essayé même si j'ai des collègues qui jouent pas mal avec). Genre tu rassembles les faits, et tu lui demandes de t'écrire le texte, au moins tu capitalises sur ce qu'il sait faire (mais bon, ça ne marche plus pour lui faire faire complètement ton boulot à ta place si tu es étudiant/journaliste/whatever - ça devient juste un outil qui se charge de formuler les trucs mieux que toi et avec moins de fautes, et probablement il faudra toujours repasser derrière pour éviter qu'il ne glisse une grosse connerie).

Ca fait penser à la conduite autonome par IA: ça marche bien dans des conditions pas trop compliquées mais il faut quand même qu'un humain soit prêt à reprendre le volant à tout moment sous peine de finir sous un train ou au fond d'un fleuve.

[Nilsou]

https://media.licdn.com/dms/image/C4..._qPNC1ZI-Ko-ik

C'est absolument excellent. Tu pense que je peux réutiliser ton screen en cours ?

[Orhin]

C'est absolument excellent. Tu pense que je peux réutiliser ton screen en cours ?

Il est pas de moi, je l'ai choppé sur Linkedin.
Mais vu ce que disait l'auteur en commentaires, il ne devrait pas y avoir de soucis.

Pour le coup des oeufs de vache, c'est pas une grosse surprise: c'est un modèle de langage, il tient un discours qui a une apparence de réalité mais sans aucune vérification factuelle. En gros tu remplaces un mot par un autre, genre "vache" par "autruche", et le discours tient assez bien la route, donc il n'est pas loin (OK je ne suis pas sûr que les oeufs d'autruches soient souvent bleus). Pareil pour le "brun ou bleu", tu changes un mot pour un autre genre "oeufs" par "yeux" et d'un coup la phrase a plus de sens.

Ah mais clairement, ça illustre bien le fonctionnement interne du modèle d'ailleurs.

[Arthropode]

D'un autre côté, je viens d'assister un exemple assez fascinant des forces et faiblesses de l'outil.
J'étais à un repas de passation d'une association de mon ancienne école d'ingénieur, et quelqu'un avait demandé à ChatGPT de lui écrire son discours. D'un côté, ChatGPT a visiblement bien reconnu le nom de l'école, et nous a sorti un discours digne de la présidence de l'école, à la gloire de l'innovation et à la recherche d'un monde meilleur. D'un autre côté, ledit discours était hilarant par son côté hors-sujet pour une association de jeux de société et de jdr, et dont les membres finissent bien plus souvent dans la recherche que dans l'entreprenariat… Et pourtant mon association à un site internet à elle, une simple recherche internet aurait permis d'éviter un tel contre-sens absurde.

On sentait bien dans le texte, qu'il essayait de broder sur le nom de l'école qu'il avait reconnu, en laissant de côté tout le reste.

Ah, et quand on lui demandait ce qu'était notre association, il nous a affirmé qu'on faisait du vol à voile (deltaplane, parapente, etc.) ; on était ravi de l'apprendre.

Et en même temps, certaines autres associations des étudiants de l'école étaient clairement dans son corpus d'entraînement, c'est impressionnant quand il arrive correctement à décrire l'activité de celles-ci.

[Nasma]

une simple recherche internet aurait permis d'éviter un tel contre-sens absurde.

Je suis le sujet de loin n'ayant aucun intérêt a utiliser chatgpg mais de mémoire il ne fais pas de recherche sur internet mais dans une base de donnée vielle de plusieurs années.

[Arthropode]

Oui, je le sais. Mais je trouvais que ça illustrait bien cette limitation.
Et ensuite je suis vraiment curieux du contenu de leur corpus, qui contient des références à certaines associations de mon école d'ingénieur, et pas d'autres qui ont pourtant une visibilité pas si différente.

[Shosuro Phil]

Mais il ne fait pas du tout de recherche dans une base de données, si? Il se contente d'utiliser ses milliards de paramètres (qui peuvent être vus comme une façon hyper compressée de représenter un ensemble de "connaissances", mais faut pas se leurrer) pour produire du texte conforme en apparence à ce qu'il s'attend à lire dans un contexte similaire à la question qui lui est posée.

[Orhin]

Oui, il n'y a pas du tout de recherche dans une base de donnée lorsqu'on fait un prompt.

[Haleks]

Oui, il n'y a pas du tout de recherche dans une base de donnée lorsqu'on fait un prompt.

Ni recherche, ni scrapping sur le net; les modèles de langage sont incapables de faire la différence entre fiction et réalité, ou de contextualiser quoique ce soit.
Ça empêche pas que l'action de BuzzFeed ait grimpé de 200% après qu'ils aient annoncé vouloir utiliser ce genre d'outils pour générer leurs contenus. C'est complétement déprimant.

[tompalmer]

D'un autre côté, je viens d'assister un exemple assez fascinant des forces et faiblesses de l'outil.
J'étais à un repas de passation d'une association de mon ancienne école d'ingénieur, et quelqu'un avait demandé à ChatGPT de lui écrire son discours. D'un côté, ChatGPT a visiblement bien reconnu le nom de l'école, et nous a sorti un discours digne de la présidence de l'école, à la gloire de l'innovation et à la recherche d'un monde meilleur. D'un autre côté, ledit discours était hilarant par son côté hors-sujet pour une association de jeux de société et de jdr, et dont les membres finissent bien plus souvent dans la recherche que dans l'entreprenariat… Et pourtant mon association à un site internet à elle, une simple recherche internet aurait permis d'éviter un tel contre-sens absurde.

On sentait bien dans le texte, qu'il essayait de broder sur le nom de l'école qu'il avait reconnu, en laissant de côté tout le reste.

Ah, et quand on lui demandait ce qu'était notre association, il nous a affirmé qu'on faisait du vol à voile (deltaplane, parapente, etc.) ; on était ravi de l'apprendre.

Et en même temps, certaines autres associations des étudiants de l'école étaient clairement dans son corpus d'entraînement, c'est impressionnant quand il arrive correctement à décrire l'activité de celles-ci.

En meme temps c'est facile a corriger, si tu le prépare un petit peu. Chat GPT faut pas le prendre a froid, tu lui donne du contexte avant

[ian0delond]

En meme temps c'est facile a corriger ca si tu le prépare un petit peu. Chat GPT faut pas le prendre a froid, tu lui donne du contexte avant

Car tu l'utilises en connaissant d'avance la bonne réponse pour tester, mais quand l'idée va se faire qu'on peut l'utiliser pour faire des devoirs/présentations en relisant "rapidement", on va regretter le bon temps des exposés wikipédia

[tompalmer]

C'est a dire que meme pour faire un copié collé il faut faire un minimum de travail pour que ca se voit pas trop, alors cadrer un peu l'IA ca se fait.

Si tu mets une demi heure de travail pour un boulot qui devrait en prendre 4, tu es gagnant.
Et honnêtement si l'eleve bloque plus sur l'aspect redactional mais a toutes les infos pour faire son papier, c'est facile

[ian0delond]

C'est a dire que meme pour faire un copié collé il faut faire un minimum de travail pour que ca se voit pas trop, alors cadrer un peu l'IA ca se fait.

Si tu mets une demi heure de travail pour un boulot qui devrait en prendre 4, tu es gagnant.
Et honnêtement si l'eleve bloque plus sur l'aspect redactional mais a toutes les infos pour faire son papier, c'est facile

Et l'élève va remarquer que ca va encore plus vite s'il s'embête pas à chercher les infos, à près tout si c'est correct 90% du temps c'est le 18 garanti