Le topic de la programmation: Et envoyez des sioux!

[Seb Ryu 84]

Vidéo excellente! Et tant que j'y suis: Linux vaincra

[gros_bidule]

Ha mais Linux a déjà vaincu Juste pas sur PC familial.

[Orhin]

https://twitter.com/emily_murnane/st...778633729?s=09



Ça me fait penser à certains projets.

[William Vaurien]

c'est l'illustration de l'encapsulation en programmation objet ?
sinon, je suis d'accord: why

[Nilsou]

Dites j'ai suivi une formation récente qui incluait un petit passage sur l'outil « Jupyter », notamment Jupyter notebook. Malheureusement j'ai pas bien compris à quoi ça sert par rapport à une IDE standard ...
J'ai regardé sur le net, sans trop comprendre l'usage non plus.

Quelqu'un pourrait m'expliquer la chose ?

[Nilct]

Je m'en sers pour des tutoriels/de la communication ou lorsque j'expérimente (et que je veux illustrer chaque étape).
L'avantage est qu'il est possible de mettre du texte (l'explication), le code et le résultat de ce code dans une même page.

Dernier effet kiss cool, il est possible d'avoir un serveur jupyter et plusieurs utilisateurs qui y accèdent à partir de leurs machines (sans avoir besoin d'installer tout un environnement par exemple, ni de copier des datas).

Sur Kaggle il y a une section dédiée aux notebooks et c'est vraiment super de partager l'information de cette façon (par contre pour du code propre et modulaire, ce n'est clairement pas l'objectif).

Pour info, Kaggle est un site de compétitions souvent Machine Learning ou Deep Learning.

[Helix]

Dites j'ai suivi une formation récente qui incluait un petit passage sur l'outil « Jupyter », notamment Jupyter notebook. Malheureusement j'ai pas bien compris à quoi ça sert par rapport à une IDE standard ...
J'ai regardé sur le net, sans trop comprendre l'usage non plus.

Quelqu'un pourrait m'expliquer la chose ?

C'est pas un truc pour développer, mais c'est un notebook interactif qui permet de tester des trucs. Identique à ce que tu as avec Maxima. Ou comme la ligne de commande Matlab, mais avec un peu d'édition.

[Nilsou]

Ok merci à tous

[Shosuro Phil]

Une vidéo de bibi pour les débutants ou pas

Débutants ou pas, on ne peut pas leur parler d'inPIOUTe!

(T'es un p... de bavard! 40 minutes!)

[ook4mi]

Qui qui veut faire du Java ?

-> Humble Bundle a pensé à vous !

[Teocali]

Putain, j'hésite....

[TwinBis]

T'as enfin envie de te mettre au Java ?

[ook4mi]

Putain, j'hésite....

Comme je te comprends, il manque quand même quelques livres sur les gros frameworks mais... :D

En ce moment, je dirige un projet SAP / GCP sinon j'aurais sauté dessus, enfin dans la GCP on peut faire du Java mais on est plus parti sur JavaScript pour le moment

[Teocali]

T'as enfin envie de te mettre au Java ?

Je fais du Java depuis 2001, chef

Mais y'a certain bouquin qui abordent des sujets qui m'interessent

- - - Mise à jour - - -

En ce moment, je dirige un projet SAP / GCP sinon j'aurais sauté dessus, enfin dans la GCP on peut faire du Java mais on est plus parti sur JavaScript pour le moment

Ah, tiens, on est a migré notre hébergement chez GCP nous. Et on a des plans pour migrer notre achitecture en microservices sur les deux ans qui viennent. Full Kotlin. Et c'est bon.

[gros_bidule]

Tiens, je vois que le bundle permet d'avoir un bouquin sur Quarkus.

Tip : si le sujet vous intéresse, je vous conseille à 3000% deux bouquins d'Antonio Goncalves (ce nom doit vous parler si vous suivez les CastCodeurs) :
- https://developers.redhat.com/books/practising-quarkus
- https://developers.redhat.com/books/...anding-quarkus

Et c'est gratos.

[Mr Slurp]

Bonjour cher amis Canard qui aiment la compilation et autre problèmes technique.

Je prends ma plume aujourd'hui, non pas pour un problème de code, mais pour une question d'infrastructure de compilation C++.
Après avoir déjà provoqué une révolution dans la compagnie ou je suis arrivé il y a deux ans, en commençant par dégager leur système de build maison tout pourri fait par des stagiaires encadrés par des dev débutant, et en le remplaçant par un système géré par ce vieil amis qu'est Jenkins.

Il y a peu, j'ai proposé de me renseigner sur la possibilité de remplacer les agents utilisés pour la compilation et les tests par un beau système virtualisé (nos agent sont d'ancienne machines de développeurs, avec des core I7-4770S). Mon premier problème, est que je n'y connais rien en matos hardware serveur.

Les objectifs sont :
- améliorer les temps de compile autant que possible, actuellement on tourne à 10 min de compile sous Windows 10 (CMake & Visual studio 2017/2019), et 6 minutes sous linux (CMake GCC), mais sous linux on compile aussi un peu moins de choses (je n'inclue pas le packaging dans ce temps, parce que là dessus on est très dépendant de ce que permet la solution utilisé). Je sais que l'on peut travailler de plein de façons différentes pour ça, mais actuellement la compile met très bien a genoux mon CoreI7 8700K à la maison, donc je pense qu'il y a peu à gagner sur le projet lui même, et bien plus sur l’environnement/hardware
- améliorer la maintenabilité/fiabilité (je ne sais pas combien de temps vont survivre ces machines "recyclées", et on a un seul agent linux desktop, donc si il meurt ça craint)
- augmenter un peu le nombre de coeur/machines : pour l'instant les machines de build servent aussi de machines de test (test d'intégration / non regression, les unit tests sont roulés juste après la compile), et avec du virtualisé, je suppose que je pourrai facilement mettre moins de coeur à mes VM de tests pour pimp un peu mes système de compile, et aussi si possible profiter du balancing d'un système virtualisé quand on a un seul build en cours (genre booker 16 coeur/agent de build, même si techniquement on en aurai que 12 réellement dispo pour la dite machine si tout le petit monde travaille a fond en même temps).
- ne plus avoir de problème de machine qui boot pas après une coupure secteur.

Bref, avec tout ça en tête, j'ai contacté des pro de la distribution/installation de système virtualisé, et j'ai reçu aujourd'hui les propositions commerciales. A ma grande stupeur, je me suis heurté à un prix qui dépasse de pas mal ce que j'avais imaginé... bon sur ce point je comprends parfaitement que le matos dédié infra serveur soit plus coûteux (fiabilité/disponibilité), j'ai découvert c'est quoi la "RAM ECC", et je sais aussi que les licence de serveur de virtualisation coûtent leur pesant de cacahuètes. Mais dans tout ça, ce qui m'a le plus étonné, c'est la fréquences CPU de base des processeurs types Xeon, qui me semble vraiment très en dessous de ce qui se pratique en CPU desktop (plage 2.2 -3Ghz, alors qu'en desktop de nos jours on frise les 5Ghz).

Bref, amis développeur C++, vous faites quoi vous pour votre infra de compile? Machine type desktop? Serveur virtualisés? Esclave qui pédale? Et aussi, selon votre expérience, à quel point la fréquences CPU est importante pour des compiles C++. Vaut t'il mieux investir dans 3 machines bien puissante malgré l'inconvénient de la maintenabilité/fiabilité, mais qui me coûterons 30% du prix de ce système virtualisé, et reléguer mes agents actuels pour le test uniquement? Me suis-je fourvoyé sur ce que je pense pouvoir obtenir des systèmes virtualisés?

Merci pour vos retours.

[Sahnvour]

Généralement la fréquence est moins importante que le nombre de coeurs parce que la compil ça se parallélise très bien.
Avant d'investir dans une grosse infrastructure très chère, est-ce que vous avez regardé les solutions de type Fastbuild pour faire de la compilation distribuée qui mettrait à contribution à la fois les machines de build et celles des devs ?
Malheureusement je crois que CMake n'a toujours pas de générateur fastbuild.
Ça changera pas tout, mais si vous générez des projets msbuild sur windows et make sur linux, je vous conseille de faire du ninja à la place qui en général est bien meilleur dans l'ordonnancement de ses tâches et fait gagner du temps de build là dessus.

En ce qui concerne les modèles de CPU, j'ai l'impression que des epyc/threadripper d'AMD sont plus intéressants de nos jours que les xeons.

[Mr Slurp]

Généralement la fréquence est moins importante que le nombre de coeurs parce que la compil ça se parallélise très bien.
Avant d'investir dans une grosse infrastructure très chère, est-ce que vous avez regardé les solutions de type Fastbuild pour faire de la compilation distribuée qui mettrait à contribution à la fois les machines de build et celles des devs ?
Malheureusement je crois que CMake n'a toujours pas de générateur fastbuild.
Ça changera pas tout, mais si vous générez des projets msbuild sur windows et make sur linux, je vous conseille de faire du ninja à la place qui en général est bien meilleur dans l'ordonnancement de ses tâches et fait gagner du temps de build là dessus.

En ce qui concerne les modèles de CPU, j'ai l'impression que des epyc/threadripper d'AMD sont plus intéressants de nos jours que les xeons.

Ouai J'ai déjà Ninja dans la ligne de mire, mais une chose à la fois. Je suis partis de loin pour mettre en place une vraie infra de build et faire que les cmake ne soient pas totalement n'importe quoi, et j'ai des tonnes de tests à automatisé a créer pour soulager nos pauvres QA qui font bien trop de truc automatisable à la main.... et je suis trop souvent tout seul à travailler sur tous ces sujets là dans mon équipe.

Pour les AMD Epyc, j'ai effectivement vu ça en regardant et me documentant sur les CPU serveur. Il faut que je re-contact mon fournisseur pour en discuter avec lui. Par contre, même après une nuit de sommeil, je ne sais toujours pas quoi penser du bénéfice potentiel de la virtualisation pour un build serveur. Si d'autres personnes en ont fait l'expérience et ont des retours, vous êtes les bienvenu.

[rOut]

Personnellement je pense que pour de l'intégration continue des VMs c'est ce qu'il y a de mieux. Pas besoin de grosse fréquence à mon avis, certes tu vas peut être pouvoir compiler en un rien de temps, mais c'est pas tellement l'intérêt de l'intégration continue. L'idée c'est plutôt de s'assurer que la compilation et les tests soient faits en environnement contrôlé et en tâche de fond pour libérer du temps sur les machines de dev.

Multiplier les VMs pour pouvoir exécuter plus de tâches différentes en parallèle ça peut être plus intéressant que d'avoir un CPU plus rapide, surtout quand ton temps de compilation est de ~10min. D'ailleurs si ce n'est pas déjà fait, mettre en place ccache (il semblerait qu'il marche aussi sous Windows mais jamais testé?) permet en général de gagner un temps fou, et en particulier dans ce genre de cas ou tu vas compiler du code avec peu de différence.

Du coup un serveur virtualisé c'est sans doute bien, mais tu peux aussi très bien faire ça sur une ou plusieurs machines de bureau en y créant des VM (ou mieux, en industrialisant ça et en les créant à la demande).

[Mr Slurp]

Personnellement je pense que pour de l'intégration continue des VMs c'est ce qu'il y a de mieux. Pas besoin de grosse fréquence à mon avis, certes tu vas peut être pouvoir compiler en un rien de temps, mais c'est pas tellement l'intérêt de l'intégration continue. L'idée c'est plutôt de s'assurer que la compilation et les tests soient faits en environnement contrôlé et en tâche de fond pour libérer du temps sur les machines de dev.

Multiplier les VMs pour pouvoir exécuter plus de tâches différentes en parallèle ça peut être plus intéressant que d'avoir un CPU plus rapide, surtout quand ton temps de compilation est de ~10min. D'ailleurs si ce n'est pas déjà fait, mettre en place ccache (il semblerait qu'il marche aussi sous Windows mais jamais testé?) permet en général de gagner un temps fou, et en particulier dans ce genre de cas ou tu vas compiler du code avec peu de différence.

Du coup un serveur virtualisé c'est sans doute bien, mais tu peux aussi très bien faire ça sur une ou plusieurs machines de bureau en y créant des VM (ou mieux, en industrialisant ça et en les créant à la demande).

Le but du serveur est de rendre le hardware plus fiable et résilient qu'un set de machines au fond du bureau, mais ça fait partie de mes interrogations, "est ce qu'avec 3 bécane à 4000€ neuve monté avec un gros threadripper des familles, ça ne remplirai pas mieux mon besoin". Sinon oui, comme tu le cites, le serveur de virtualisation me permettrait en effet d'explorer l'instanciation de VM sur demande. Pour ce qui est de la parallélisation, j'ai déjà pu en faire pour la partie tests des différentes sous versions, avec un gain significatif, et j'ai encore quelques idée de ce coté ci a explorer.
Disons qu'avant d'aller essayer de défendre un budget, je veux être de coup et de choisir la bonne solution et vos avis me sont utiles. Merci

[deathdigger]

T'as pensé au Cloud ? Genre https://azure.microsoft.com/fr-fr/se...ops/pipelines/ ?
Parce que monter une infrastructure dans ta boite, suppose que tu auras l'équipe pour l'administrer, la maintenir, etc.
Si tu ne comptes pas compiler toutes les deux minutes, financièrement il est peut-être plus rentable d'avoir de la ressource à la demande, et ne pas avoir à se soucier de l'infra qui tourne derrière peut t'éviter quelques nuits blanches

[vectra]

C'est peut-être off-topic, mais vous avez déjà utilisé des pre-compiled headers?
Je dis ça par intérêt, j'aurais aimé m'y mettre perso.

[Tramb]

Mouais les PCH.
Faut que le projet s'y prête on va dire. Genre très gros projets en multiples strates.
Je n'ai rien contre le principe mais je l'ai toujours vu mal mis en place, c'est à dire avec des gains pas ouf, un impact sur le boulot incrémental, un salopage généralisé des dépendances, et la perte de cette invariant qui permet de faire à peu près de la programmation modulaire "la première ligne de caca.cpp est un include de caca.h".

[Mr Slurp]

T'as pensé au Cloud ? Genre https://azure.microsoft.com/fr-fr/se...ops/pipelines/ ?
Parce que monter une infrastructure dans ta boite, suppose que tu auras l'équipe pour l'administrer, la maintenir, etc.
Si tu ne comptes pas compiler toutes les deux minutes, financièrement il est peut-être plus rentable d'avoir de la ressource à la demande, et ne pas avoir à se soucier de l'infra qui tourne derrière peut t'éviter quelques nuits blanches

Pour la maintenance de l'infra, à mon sens, que ce soit maintenir N machines physiques type PC, 1 gros serveur de virtualisation, ou N instance de cloud, le problème reste le même, je suis pas admin système/réaseau et nous n'en avons pas dans la compagnie (~30 Dev/project management + 5 non techniques). Je dirai même que de ce point de vue, pour moi en tout cas, il me semble plus simple de maintenir des PC Windows 10/Ubuntu... bah parce que je connais bien ces environnement.
Si on achète un serveur, cela vient avec de la formation et du support (je l'ai demandé au sous traitant que j'ai contacté, et il l'a donc inclue dans le tarif). J'y ai déjà touché de très loin et rapidement il y a une paire d'années, mais définitivement pas assez pour me considérer autonome.
Le cloud, tout comme le serveur de VM, j'y connais vraiment pas assez, et cela me poserai d'autre type de soucis : une grosse partie de nos tests (un peu les UT, mais bien plus pour les tests d'integ), ont besoin de quantité de donnée importante qui sont pour le moment sur le NAS de notre infra. et je ne sais pas comment je pourrai gérer ça (avoir une instance avec les données qui devrait être vivante si au moins une des instances de compile/test est active) et cela va aussi sûrement me poser des soucis pour les tests de performances ou l'on a besoin d'avoir une partie de ces données répliquées en locale sur la machine qui les exécute.

Bref, c'est pas simple et mon manque de connaissance sur le cloud et la virtualisation ne me facilite pas la prise de décision. Bon ça tombe bien, il a y a rien d'urgent et aucun calendrier à tenir pour le moment.

C'est peut-être off-topic, mais vous avez déjà utilisé des pre-compiled headers?
Je dis ça par intérêt, j'aurais aimé m'y mettre perso.

Les pré compiled header, je pense que ça vaut le coup pour du code qui ne bouge pas ou pas beaucoup. Si je devais toucher à la compile je m'orienterai sur ce que rOut et Sahnvour ont évoqué : ccache/Ninja
Et aussi, dans mon cas, ça va pas mal au delà de la compilation simple puisque c'est tout le système d'intégration continue qui devrait être géré.

[Nilsou]

Dites petite question de C++ :

En C++ il n'existe aucune façon « standard » de copier un tableau de classe en profitant de la surcharge du « = » des classes ainsi définie ?

Je pensais à std:copy mais la description de la fonction ne dit rien à ce propos...

[deathdigger]

Pour la maintenance de l'infra, à mon sens, que ce soit maintenir N machines physiques type PC, 1 gros serveur de virtualisation, ou N instance de cloud, le problème reste le même, je suis pas admin système/réaseau et nous n'en avons pas dans la compagnie (~30 Dev/project management + 5 non techniques). Je dirai même que de ce point de vue, pour moi en tout cas, il me semble plus simple de maintenir des PC Windows 10/Ubuntu... bah parce que je connais bien ces environnement.
Si on achète un serveur, cela vient avec de la formation et du support (je l'ai demandé au sous traitant que j'ai contacté, et il l'a donc inclue dans le tarif). J'y ai déjà touché de très loin et rapidement il y a une paire d'années, mais définitivement pas assez pour me considérer autonome.
Le cloud, tout comme le serveur de VM, j'y connais vraiment pas assez, et cela me poserai d'autre type de soucis : une grosse partie de nos tests (un peu les UT, mais bien plus pour les tests d'integ), ont besoin de quantité de donnée importante qui sont pour le moment sur le NAS de notre infra. et je ne sais pas comment je pourrai gérer ça (avoir une instance avec les données qui devrait être vivante si au moins une des instances de compile/test est active) et cela va aussi sûrement me poser des soucis pour les tests de performances ou l'on a besoin d'avoir une partie de ces données répliquées en locale sur la machine qui les exécute.

Bref, c'est pas simple et mon manque de connaissance sur le cloud et la virtualisation ne me facilite pas la prise de décision. Bon ça tombe bien, il a y a rien d'urgent et aucun calendrier à tenir pour le moment.



Les pré compiled header, je pense que ça vaut le coup pour du code qui ne bouge pas ou pas beaucoup. Si je devais toucher à la compile je m'orienterai sur ce que rOut et Sahnvour ont évoqué : ccache/Ninja
Et aussi, dans mon cas, ça va pas mal au delà de la compilation simple puisque c'est tout le système d'intégration continue qui devrait être géré.

Pour le cloud, c'est plus simple à gérer car, justement, ce n'est pas à toi de t'occuper de la partie infra/support/installation.
Pour les tests, si j'ai bien compris la doc, tu peux les faire dans pipeline, mais t'as aucune raison de les faire là-bas. Toi ce qui t'intéresse, c'est d'avoir de la ressource pour la compilation. Une fois ton projet compilé dans le cloud, tu peux le rapatrier et exécuter avec tes données en local, non ? (ou alors je n'ai pas saisi ce que tu voulais).

[Cwningen]

Dites petite question de C++ :

En C++ il n'existe aucune façon « standard » de copier un tableau de classe en profitant de la surcharge du « = » des classes ainsi définie ?

Je pensais à std:copy mais la description de la fonction ne dit rien à ce propos...

J'avoue que, sur cppreference, c'est pas clair si c'est le constructeur de copies ou l'opérateur d'assignation qui est utilisé (mais l'exemple utilise l'assignation). Mais si il y a un comportement différent entre les deux, ta classe est vraiment louche.

Edit: Ah si, dans le paragraphe complexité : "Exactly (last - first) assignments"

[Mr Slurp]

Pour le cloud, c'est plus simple à gérer car, justement, ce n'est pas à toi de t'occuper de la partie infra/support/installation.
Pour les tests, si j'ai bien compris la doc, tu peux les faire dans pipeline, mais t'as aucune raison de les faire là-bas. Toi ce qui t'intéresse, c'est d'avoir de la ressource pour la compilation. Une fois ton projet compilé dans le cloud, tu peux le rapatrier et exécuter avec tes données en local, non ? (ou alors je n'ai pas saisi ce que tu voulais).

Gagner sur la compile ça serait bien mais c'est pas mon seul critère. Comme cité (rOut et Sahnvour), y'a des solutions software à appliquer qui me feront gagner plus de temps de compile que des MHz de CPU(par contre avoir + de coeurs peut aider), mais ce n'est pas le seul point crucial que je cherche à attaquer : "c'est tout le système d'intégration continue qui devrait être géré".

Bref, une compile plus rapide c'est un bonus certes, mais je ne veux pas la ralentir non plus dans l'immédiat (tout en sachant que j'ai d'autres leviers pour l'améliorer) et si je me pose tant de question sur la compile c'est parce que la fréquence CPU des serveur est souvent pas mal plus faible que la fréquences CPU des processeurs Desktop.

Je vois beaucoup d'avantages à la virtualisation, notamment sur la suppression d'un set de machines vieillissantes, et la fiabilisation du système de build en général, ainsi qu'un gain de facilité à le maintenir ou encore s'éviter des ennuis du type :
- ah mais cette machine à que 120Gb de SSD donc on peut pas a avoir plus de X workspa
- celle ci à que X de RAM,
- on a qu'un seul Linux et si il tombe en panne ou qu'on a besoin de maintenance dessus, c'est littéralement bloquant pour toute la compagnie
- etc

Bref, je chercher à fiabiliser/pérenniser le système, sans pour autant perdre en performance sur la partie compilation.

[Nilsou]

J'avoue que, sur cppreference, c'est pas clair si c'est le constructeur de copies ou l'opérateur d'assignation qui est utilisé (mais l'exemple utilise l'assignation). Mais si il y a un comportement différent entre les deux, ta classe est vraiment louche.

Edit: Ah si, dans le paragraphe complexité : "Exactly (last - first) assignments"

Hum sauf que sur cpppreference moi je vois rien de clair du tout sur le fait qu'il y a utilisation de l'un ou de l'autre ... Le fait que le mot assignments soit utilisé dans le paragraphe complexité est loin d'être clair (ça vu juste dire qu'il y a X transfert de donnée, c'est juste la façon de parler de la complexité, ça ne veut pas forcement dire qu'il y a utilisation de l'opérateur = de la classe) ...

[deathdigger]

Gagner sur la compile ça serait bien mais c'est pas mon seul critère. Comme cité (rOut et Sahnvour), y'a des solutions software à appliquer qui me feront gagner plus de temps de compile que des MHz de CPU(par contre avoir + de coeurs peut aider), mais ce n'est pas le seul point crucial que je cherche à attaquer : "c'est tout le système d'intégration continue qui devrait être géré".

Bref, une compile plus rapide c'est un bonus certes, mais je ne veux pas la ralentir non plus dans l'immédiat (tout en sachant que j'ai d'autres leviers pour l'améliorer) et si je me pose tant de question sur la compile c'est parce que la fréquence CPU des serveur est souvent pas mal plus faible que la fréquences CPU des processeurs Desktop.

Je vois beaucoup d'avantages à la virtualisation, notamment sur la suppression d'un set de machines vieillissantes, et la fiabilisation du système de build en général, ainsi qu'un gain de facilité à le maintenir ou encore s'éviter des ennuis du type :
- ah mais cette machine à que 120Gb de SSD donc on peut pas a avoir plus de X workspa
- celle ci à que X de RAM,
- on a qu'un seul Linux et si il tombe en panne ou qu'on a besoin de maintenance dessus, c'est littéralement bloquant pour toute la compagnie
- etc

Bref, je chercher à fiabiliser/pérenniser le système, sans pour autant perdre en performance sur la partie compilation.

Je suis d'accord avec toi, mais que la virtualisation soit chez toi ou sur le cloud, ça revient au même
Après, si tu as la maintenance et tout le toutim avec tes serveurs virtuels chez toi, c'est aussi une option. Mais il va falloir que tu gères les queues et autres pour la compil', là où c'est à peu-près transparent dans le cloud.

Pour ma part, c'est un truc que je n'ai jamais fait (ce n'est pas mon métier de faire des grosses applis lourdes), mais quand je vois ça :


Je trouve ça assez cool (avec la notion de version et de last build, de tests auto en masse, etc). Tu peux monter la même chose sur des serveurs AWS avec un peu plus de boulot.

Edit : En français


Edit 2 : Bon du coup, vu que c'est gratuit pour mon utilisation, je suis en train de tester