Le fil des beaux gosses linuxiens, v2 où comment installer LFS sur BTRFS en RAID10

[William Vaurien]

Question pour les experts en shell, parce que je rame un peu pour passer un truc en ksh vers du bash.

J'ai le bout de code en début de ksh:

#if we are in a console
if [[ -t 1 ]] ; then       
    # redirect std out to a log file         
	> /tmp/logfile
    # and configure the standard output of the "tee" process to go explicitly to the screen (/dev/tty)
    tee /tmp/logfile >/dev/tty |&

    # Our stdout and stderr, all goes into this coprocess
    exec 1>&p 2>&1
fi

Si je comprend bien ce truc, le shell doit rediriger sa sortie standard vers un fichier 'logfile',
> /tmp/logfile
puis un sous-process tourne en background pour lire ce fichier de log et le rediriger vers /dev/tty qui est un fichier 'device' représentant le terminal.
tee /tmp/logfile >/dev/tty |&
Je n'ai pas compris le |&. C'est spécifique au ksh cette notation ?

Ensuite il y a cette redirection un peu mystérieuse:
exec 1>&p 2>&1

exec sans rien si j'ai bien compris c'est une redirection pour le programme en cours
2>&1 à priori je comprend; on redirige stderr vers stdout.

1>&p est spécifique au ksh (d'après les man ksh et bash) et veut dire "The output to the co-process is moved to standard output."
Et du coup je pige pas trop: c'est la sortie du tee que l'on rebalance vers le stdout ? Si oui pourquoi il y a > /dev/tty derrière le tee...

Question de noob: y a pas moyen de faire plus simple ce genre de truc ? Et comment le faire en bash qui n'a pas 1>&p

Sinon question contextualisée:
Le ksh était lancé à la main par les admins avant (gros script fourre tout de déploiement qui fait du cvs, du packaging, de la distribution sur des serveurs distants, du depackaging, du stop/start de service et de l'installation de binaire )

Le bash est une refonte en cours dans lesquelles pas mal des parties du ksh ont bougées vers des systèmes externes (jenkins) et il ne reste plus dans ce script la partie depackaging et installation. Il ne sera plus lancé à la main, mais via un outil de déploiement. Du coup je me demande si cette 'redirection de la mort' est toujours nécessaire: le job qui va lancer ce shell capturera ses sorties standards. Est-ce que c'est toujours nécessaire de faire ce genre de truc selon vous ?
J'ai bien envie de balancer ce bout de code, mais je suis pas vraiment un spécialiste des dev system, j'ai un peu peur de rater un truc.

[Wobak]

Si ton job capture stdout, contente toi du 2>&1 ça devrait suffire

[William Vaurien]

et si je veux faire un truc qui s'autolog dans un fichier quand même ?

[Wobak]

Visiblement il a été fait un peu à l'arrache ce truc.

J'ai l'impression qu'ils auraient pu faire | tee -a et ça aurait fait tout ça non ?

[root@test ~]# yum repolist | tee -a testlog
Loaded plugins: product-id, replace, rhnplugin, search-disabled-repos,
              : subscription-manager, versionlock
This system is receiving updates from RHN Classic or Red Hat Satellite.
repo id                            repo name                              status
local-rhel7.3-x86_64               Red Hat Enterprise Linux 7.3 - x86_64   4,751
rapidrecovery                      rapidrecovery repository                    5
rhel-x86_64-server-7               Red Hat Enterprise Linux Server (v. 7  17,255
rhel-x86_64-server-extras-7        RHEL Server Extras (v. 7 for 64-bit x8    639
rhel-x86_64-server-optional-7      RHEL Server Optional (v. 7 64-bit x86_ 12,834
rhel-x86_64-server-rh-common-7     Red Hat Common (for RHEL 7 Server x86_    183
rhel-x86_64-server-supplementary-7 RHEL Server Supplementary (v. 7 for 64    222
webtatic/x86_64                    Webtatic Repository EL7 - x86_64          444
repolist: 36,333
[root@test ~]# cat testlog
Loaded plugins: product-id, replace, rhnplugin, search-disabled-repos,
              : subscription-manager, versionlock
This system is receiving updates from RHN Classic or Red Hat Satellite.
repo id                            repo name                              status
local-rhel7.3-x86_64               Red Hat Enterprise Linux 7.3 - x86_64   4,751
rapidrecovery                      rapidrecovery repository                    5
rhel-x86_64-server-7               Red Hat Enterprise Linux Server (v. 7  17,255
rhel-x86_64-server-extras-7        RHEL Server Extras (v. 7 for 64-bit x8    639
rhel-x86_64-server-optional-7      RHEL Server Optional (v. 7 64-bit x86_ 12,834
rhel-x86_64-server-rh-common-7     Red Hat Common (for RHEL 7 Server x86_    183
rhel-x86_64-server-supplementary-7 RHEL Server Supplementary (v. 7 for 64    222
webtatic/x86_64                    Webtatic Repository EL7 - x86_64          444
repolist: 36,333

- - - Mise à jour - - -

Pour moi tee -a ça append dans un fichier tout en laissant l'affichage à stdout.

[William Vaurien]

et si on veut faire ça depuis le shell lui même (juste pour comprendre) ?

J'ai l'impression que tous programme en shell peut vite devenir un foutoir sans nom.
Rien qu'en lisant le man du bash je me suis rendu compte que je ne connaissais absolu pas la majorités des fonctionnalités.
Et puis je me suis rapidement dit que si je commençais à utiliser ce genre de trucs (par ex ${parameter%%word} et ${parameter##word}, un simple script finirait par ressembler à du perl moisi.

J'ai du réécrire pas mal de vieux shell pour ce projet et je regrette un peu de ne pas être passé directement sur du Python...

[William Vaurien]

autre question, dans ce même script (le gros moche en ksh), il y a de nombreux appels à des sous programmes du genre:

crontab super-crontab.txt > /dev/null 2>&1

Mais si on a mis une redirection générale en haut, on ne devrait pas avoir besoin de cette redirection, non ?
(je vais teste ça, ce sera plus simple en fait )

[Nattefrost]

et si on veut faire ça depuis le shell lui même (juste pour comprendre) ?

J'ai l'impression que tous programme en shell peut vite devenir un foutoir sans nom.
Rien qu'en lisant le man du bash je me suis rendu compte que je ne connaissais absolu pas la majorités des fonctionnalités.
Et puis je me suis rapidement dit que si je commençais à utiliser ce genre de trucs (par ex ${parameter%%word} et ${parameter##word}, un simple script finirait par ressembler à du perl moisi.

J'ai du réécrire pas mal de vieux shell pour ce projet et je regrette un peu de ne pas être passé directement sur du Python...

J'ai aussi récemment réecrit du script shell en python. Alors oui c'est plus confortable que du shell, mais je me retrouve quand même souvent à faire des trucs comme ça. Après ca dépend peut-être de la nature des taches que tu as à faire.

# si pas besoin de l'output
os.system(commande_shell) 
# si besoin de l'output
output, error = subprocess.Popen(shlex.split(command_shell), stdout=subprocess.PIPE, stderr=subprocess.PIPE).communicate()
if not error:
    # fais qqchose avec output
    ...

Donc en pratique j'écris des bouts de shell mais toute la logique reste en python et c'est déjà vachement plus commode .

[Wobak]

et si on veut faire ça depuis le shell lui même (juste pour comprendre) ?

J'ai l'impression que tous programme en shell peut vite devenir un foutoir sans nom.
Rien qu'en lisant le man du bash je me suis rendu compte que je ne connaissais absolu pas la majorités des fonctionnalités.
Et puis je me suis rapidement dit que si je commençais à utiliser ce genre de trucs (par ex ${parameter%%word} et ${parameter##word}, un simple script finirait par ressembler à du perl moisi.

J'ai du réécrire pas mal de vieux shell pour ce projet et je regrette un peu de ne pas être passé directement sur du Python...

Je comprends pas ta question, donc je vais te faire des exemples pour voir si je couvre ton problème

Depuis mon shell (tu voulais dire script peut être ?)

[root@gorthaur ~]# yum repolist 2>&1 | tee -a testvaurien1
Loaded plugins: product-id, replace, rhnplugin, search-disabled-repos,
              : subscription-manager, versionlock
This system is receiving updates from RHN Classic or Red Hat Satellite.
repo id                             repo name                             status
!local-rhel7.3-x86_64               Red Hat Enterprise Linux 7.3 - x86_64  4,751
!rapidrecovery                      rapidrecovery repository                   5
!rhel-x86_64-server-7               Red Hat Enterprise Linux Server (v. 7 17,255
!rhel-x86_64-server-extras-7        RHEL Server Extras (v. 7 for 64-bit x    639
!rhel-x86_64-server-optional-7      RHEL Server Optional (v. 7 64-bit x86 12,834
!rhel-x86_64-server-rh-common-7     Red Hat Common (for RHEL 7 Server x86    183
!rhel-x86_64-server-supplementary-7 RHEL Server Supplementary (v. 7 for 6    222
!webtatic/x86_64                    Webtatic Repository EL7 - x86_64         444
repolist: 36,333
[root@gorthaur ~]# cat testvaurien1
Loaded plugins: product-id, replace, rhnplugin, search-disabled-repos,
              : subscription-manager, versionlock
This system is receiving updates from RHN Classic or Red Hat Satellite.
repo id                             repo name                             status
!local-rhel7.3-x86_64               Red Hat Enterprise Linux 7.3 - x86_64  4,751
!rapidrecovery                      rapidrecovery repository                   5
!rhel-x86_64-server-7               Red Hat Enterprise Linux Server (v. 7 17,255
!rhel-x86_64-server-extras-7        RHEL Server Extras (v. 7 for 64-bit x    639
!rhel-x86_64-server-optional-7      RHEL Server Optional (v. 7 64-bit x86 12,834
!rhel-x86_64-server-rh-common-7     Red Hat Common (for RHEL 7 Server x86    183
!rhel-x86_64-server-supplementary-7 RHEL Server Supplementary (v. 7 for 6    222
!webtatic/x86_64                    Webtatic Repository EL7 - x86_64         444
repolist: 36,333

Si je veux le faire dans le script, il te faut deux lignes :

[root@gorthaur ~]# cat myscript.sh
#!/bin/bash

exec 2>&1
exec > >( tee -a vaurien2)

/usr/bin/yum repolist
[root@gorthaur ~]# ./myscript.sh
Loaded plugins: product-id, replace, rhnplugin, search-disabled-repos,
              : subscription-manager, versionlock
This system is receiving updates from RHN Classic or Red Hat Satellite.
repo id                             repo name                             status
!local-rhel7.3-x86_64               Red Hat Enterprise Linux 7.3 - x86_64  4,751
!rapidrecovery                      rapidrecovery repository                   5
!rhel-x86_64-server-7               Red Hat Enterprise Linux Server (v. 7 17,255
!rhel-x86_64-server-extras-7        RHEL Server Extras (v. 7 for 64-bit x    639
!rhel-x86_64-server-optional-7      RHEL Server Optional (v. 7 64-bit x86 12,834
!rhel-x86_64-server-rh-common-7     Red Hat Common (for RHEL 7 Server x86    183
!rhel-x86_64-server-supplementary-7 RHEL Server Supplementary (v. 7 for 6    222
!webtatic/x86_64                    Webtatic Repository EL7 - x86_64         444
repolist: 36,333
[root@gorthaur ~]# cat vaurien2
Loaded plugins: product-id, replace, rhnplugin, search-disabled-repos,
              : subscription-manager, versionlock
This system is receiving updates from RHN Classic or Red Hat Satellite.
repo id                             repo name                             status
!local-rhel7.3-x86_64               Red Hat Enterprise Linux 7.3 - x86_64  4,751
!rapidrecovery                      rapidrecovery repository                   5
!rhel-x86_64-server-7               Red Hat Enterprise Linux Server (v. 7 17,255
!rhel-x86_64-server-extras-7        RHEL Server Extras (v. 7 for 64-bit x    639
!rhel-x86_64-server-optional-7      RHEL Server Optional (v. 7 64-bit x86 12,834
!rhel-x86_64-server-rh-common-7     Red Hat Common (for RHEL 7 Server x86    183
!rhel-x86_64-server-supplementary-7 RHEL Server Supplementary (v. 7 for 6    222
!webtatic/x86_64                    Webtatic Repository EL7 - x86_64         444
repolist: 36,333

[William Vaurien]

Je voulais dire depuis un script, pardon.

Merci beaucoup, c'est super classe, bien mieux que le truc en ksh

comment tu expliques ?
exec > >( tee -a vaurien2)

Est-ce que c'est juste:
(tee -a vaurien) va rediriger une copie du std vers vaurien2
exec > va rediriger toutes les sorties vers le sous process (le tee).

et je ne comprends pas le deuxième > dans exec > >()

[Cwningen]

tee /tmp/logfile >/dev/tty |&
Je n'ai pas compris le |&. C'est spécifique au ksh cette notation ?

En bash, '|&' est un pipe dans lequel tu rediriges également la sortie d'erreur (équivalent à '2>&1 |'). Mais là ça peut pas être ça, il manquerait la suite du pipe. Ça doit être spécifique à ksh.

Edit:
'>(command)' ou '<(command)' c'est comme si tu passais un fichier sauf que le fichier est l'entrée ou la sortie de la commande. Un peu comme des pipes mais sauf que tu peux les utiliser en argument (exemple 'cat <(commande1) <(commande2)'). 'exec' doit pas marcher avec les pipes, donc ici ça devient nécessaire.

[Wobak]

C'est ce qu'on appelle un named pipe.

En gros c'est équivalent à un mkfifo suivi d'une redirection.

Donc je te laisse lire ça si tu veux en savoir plus

https://www.linuxjournal.com/article/2156

[Mayalabielle]

@Wingi C'était y a quasiment dix jours

J'avais besoin d'un nouveau laptop personnel avec des specs moyennes, je suis aventureux j'essaie ce site : https://www.linux-shop.fr/ , quelqu'un en a déjà entendu parler/commandé ?
Bon la ubuntu qui est dessus par défaut va vite dégager mais le tout est de ne pas payer une licence windows a l'achat de la machine.
Et en plus, c'est FRANCAIS MONSIEUR.

Moi je me suis pris un Dell XPS 15, au poil avec un kernel 4.13.7

[William Vaurien]

Merci pour vos réponses de haut niveau

[Wobak]

Merci pour vos réponses de haut niveau

Je sais pas si tu te rends compte, mais à l'IRL de Novembre, je vais te prendre de ton temps pour qu'on discute Linux et CERN

[William Vaurien]

il y a un club de jeux de plateau au CERN Ils jouent souvent le dimanche et le jeudi soir au CERN, tu veux un rencard ?
le site web est mort mais il y a bien quelques acharnés qui se retrouvent au restau principal pour jouer en buvant une bière.

Le CERN me manque drôlement

[Lupuss]

La chance T'as pas des offres d'emploi pour les copains?

[William Vaurien]

https://jobs.web.cern.ch/

[wardog]

https://jobs.web.cern.ch/

Ils ont des postes de sysadmins linux
Faut que je traduise mon CV...

[TarteAuxFleurs]

Coin !
J'ai besoin d'un petit coup de main pour configurer iptables sur mon serveur.
Je fait tourner un serveur OpenVPN derrière un tunnel SSL (parce que le handshake est bloqué dans ma résidence, j'ai pas besoin de stunnel en dehors de chez moi ).
La connexion VPN marche bien, mais il y a encore des paquets qui sont droppés. Notamment, impossible d'utiliser mumble, ni de faire du torrent.
Je vous ai mis les deux fichiers de config ci dessous, j'ai viré ce que je considérait comme du bruit

# Init
iptables -t filter -F
iptables -t filter -X
iptables -t filter -P INPUT DROP
iptables -t filter -P FORWARD DROP
iptables -t filter -P OUTPUT DROP

#VPN
iptables -A INPUT -i eth0 -m state --state NEW -p udp --dport 1192 -j ACCEPT
iptables -A INPUT -i tun+ -j ACCEPT
iptables -A OUTPUT -o tun+ -j ACCEPT
iptables -A FORWARD -i tun+ -j ACCEPT
iptables -A FORWARD -i tun+ -o eth0 -m state --state RELATED,ESTABLISHED -j ACCEPT
iptables -A FORWARD -i eth0 -o tun+ -m state --state RELATED,ESTABLISHED -j ACCEPT
iptables -t nat -A POSTROUTING -s 10.8.0.0/24 -o eth0 -j MASQUERADE
iptables -t nat -A POSTROUTING -j ACCEPT

Dans ma config openvpn :

port 1192
dev tun
local 0.0.0.0
server 10.8.0.0 255.255.255.0

Vous avez une idée de ce qu'il manque comme règle ? J'arrive pas à comprendre ce qui ne vas pas... Et j'ai passé un paquet de moment dessus

[blutch2]

Coin !
J'ai besoin d'un petit coup de main pour configurer iptables sur mon serveur.
Je fait tourner un serveur OpenVPN derrière un tunnel SSL (parce que le handshake est bloqué dans ma résidence, j'ai pas besoin de stunnel en dehors de chez moi ).
La connexion VPN marche bien, mais il y a encore des paquets qui sont droppés. Notamment, impossible d'utiliser mumble, ni de faire du torrent.
Je vous ai mis les deux fichiers de config ci dessous, j'ai viré ce que je considérait comme du bruit

# Init
iptables -t filter -F
iptables -t filter -X
iptables -t filter -P INPUT DROP
iptables -t filter -P FORWARD DROP
iptables -t filter -P OUTPUT DROP

#VPN
iptables -A INPUT -i eth0 -m state --state NEW -p udp --dport 1192 -j ACCEPT
iptables -A INPUT -i tun+ -j ACCEPT
iptables -A OUTPUT -o tun+ -j ACCEPT
iptables -A FORWARD -i tun+ -j ACCEPT
iptables -A FORWARD -i tun+ -o eth0 -m state --state RELATED,ESTABLISHED -j ACCEPT
iptables -A FORWARD -i eth0 -o tun+ -m state --state RELATED,ESTABLISHED -j ACCEPT
iptables -t nat -A POSTROUTING -s 10.8.0.0/24 -o eth0 -j MASQUERADE
iptables -t nat -A POSTROUTING -j ACCEPT

Dans ma config openvpn :

port 1192
dev tun
local 0.0.0.0
server 10.8.0.0 255.255.255.0

Vous avez une idée de ce qu'il manque comme règle ? J'arrive pas à comprendre ce qui ne vas pas... Et j'ai passé un paquet de moment dessus

Salut,

j'essaierai de forcer les paquets mumble en accepter.

Donc faire : iptables -A INPUT -i eth0 -m state --state NEW -p udp --dport 1192 -j ACCEPT
iptables -A INPUT -i tun+ -j ACCEPT
iptables -A OUTPUT -o tun+ -j ACCEPT
iptables -A FORWARD -i tun+ -j ACCEPT

et modifier les valeurs nécessaire et noms pour Mumble. Pas sur que ça fonctionne. Si ça fonctionne ça ne sera que pour Mumble ces nouvelles règles, donc pas de règles globales.

[Wobak]

Ils ont des postes de sysadmins linux
Faut que je traduise mon CV...

Woputain. Lien ?

[wardog]

Woputain. Lien ?

https://jobs.web.cern.ch/job/7811

[William Vaurien]

C'est la page des candidatures spontanées, et je ne suis pas certains que ça débouche sur une embauche dans plus de 1% des cas
Mais rien n'empêche de tenter sa chance et de continuer de guetter une ouverture de poste 'officielle'.

[ducon]

Je suis en train d’essayer de supprimer emacs de ma Debian.

aptitude remove emacs22
aptitude remove emacs23-bin-common emacs23-common emacs23-nox emacs24-bin-common emacs24-common emacs24-nox emacsen-common maxima-emacs

Ça m’installe emacs 25.

aptitude remove emacs25-bin-common emacs25-common emacs25-el emacs25-lucid emacsen-common

Ça m’installe xemacs21.

aptitude remove xemacs21-basesupport emacsen-common xemacs21-bin xemacs21-nomule xemacs21-support

Ça veut m’installer emacs 25 mais je vire des trucs en plus et il reste emacsen-common, invirable.

[Bordeliec]

Mais pourquoi tu l'as installé ??? Un moment de faiblesse ?

[ducon]

C’était il y a longtemps.

[Cwningen]

Essaye aptitude why pour voir qui a une dépendance sur emacs.

[ducon]

Je sais qui a une dépendance sur emacsen-common, c’est dictionaries-common.

[Patate]

Perso j'ai pas persévéré mais j'ai jamais réussi à le virer...

[Mayalabielle]

Je suis en train d’essayer de supprimer emacs de ma Debian.

aptitude remove emacs22
aptitude remove emacs23-bin-common emacs23-common emacs23-nox emacs24-bin-common emacs24-common emacs24-nox emacsen-common maxima-emacs

Ça m’installe emacs 25.

aptitude remove emacs25-bin-common emacs25-common emacs25-el emacs25-lucid emacsen-common

Ça m’installe xemacs21.

aptitude remove xemacs21-basesupport emacsen-common xemacs21-bin xemacs21-nomule xemacs21-support

Ça veut m’installer emacs 25 mais je vire des trucs en plus et il reste emacsen-common, invirable.

Brûle ta machine