Design & Développement web - Le topic des canards qui mangent des cookies

[M0s]

Tiens je viens de découvrir par hasard l'option "browser integrity check" de cloudfare.

J'étais en train d'écrire quelques lignes de python pour aller récup le json généré par l'api d'un site web et faire 2-3 tests. Sauf que au lieu d'obtenir le json en question, j'ai eu droit à une erreur 403 et un message de cloudfare qui m'indique un ban auto basé sur l'user agent.

Sur le coup ça fait quand même tout drôle. Surtout quand on utilise une api et qu'on est pas en train d'essayer de scrape à la sauvage. Mais ça va il est plutôt "souple" leur système en fait. En passant un user agent un peu plus légitime que "Python-urllib..." dans le header, du genre "Mozilla/5.0...", le ban disparaît d'un coup comme par magie

[gros_bidule]

Ha ben le truc à faire quand tu scrappes, c'est de te faire passer pour un bot de référencement type Google/Bing.
Simplement parce que les sites qui ont une politique SEO servent généralement deux versions de leurs sites :
- normal avec pubs et plein de trucs inutiles pour un scrapper (du bruit donc),
- et une version justement pour les bots, toute propre et surtout plus légère (pour plaire à Google). Cette dernière version est évidemment du pain béni pour toi.

[Awake]

Servir une page différente à GoogleBot est une très mauvaise idée car ils sont capables de s'en rendre compte et pénalisent ceux qui le font. J'ai bossé avec des gens très compétents en SEO, ils ne l'ont jamais recommandé.

[gros_bidule]

On a vu de bons SEO différents alors

[M0s]

Ha ben le truc à faire quand tu scrappes, c'est de te faire passer pour un bot de référencement type Google/Bing.

Ah ouais faudra que je teste à l'occasion alors.

Après sur le site en question y'a une api plutôt bien documentée donc c'est de suite plus simple que d'avoir à sortir des outils style beautifulsoup

[Mayalabielle]

On a vu de bons SEO différents alors

Tout le monde est bon SEO, en fait.

[tompalmer]

Spoiler Alert!

1&1 :



Prestashop :

Jpp

[deathdigger]

Toi, t'as stocké des images en base
Sinon y'a sur certains CMS des systèmes de log et de cache qui stockent énormément de trucs qui ne servent aux rien. Faut penser à vider les tables régulièrement (j'avais le cas avec un site sur typo3)

[tompalmer]

Non la BDD est neuve je sais pas du tout pourquoi ça se connecte pas

J'en ai commandé une spécialement pour prestashop, pour la dissocier du wordpress

[deathdigger]

Mmmmh, j'ai cru que c'était full, mais en fait non effectivement
Fais un petit script en php pour vérifier si la connexion se fait.

[tompalmer]

Je ne connais pas le PHP (mais justement le bouton de test fait ça et le message d'erreur est sur le screen)

1) J'ai un wordpress
2) Je crée un sous domaine juste pour y mettre presta
3) je me démerde pour que ça fonctionne avec cloudflare
4) Je crée une BDD
5) je met Presta sur le FTP

et ça merde à partir de maintenant quand je lie la BDD a prestashop. Pourtant c'est les bonnes infos.

Et évidemment le service client 1&1 est stupide, je me demandais si c'était pas un truc a activer de leur côté

[gros_bidule]

Peut être est-ce Cloudflare qui sème la pagaille ?
Normalement la base de données n'est accessible qu'en local, mais possible que le script de verif essaie donc de se connecter à la base non pas en local mais via Cloudflare.
Virer Cloudflare au moins le temps de l'install serait une piste.

[tompalmer]

Alors je suis parti sur une installation via le système d'app 1&1, ça vaut bien la méthode manuelle, enfin j'espère.

[tompalmer]

Alors la faute était que le password était trop long, c'est con et la solution n'est nulle part, donc voilà, ne faites pas des mdp de 20 caractères pour vos BDD liées a prestashop.

[tenshu]

lolstashop.

[Nattefrost]

[tompalmer]

Mais c'est utilisé par le slip Français !

Sans rire ça fait parti des arguments sur la page du site Bon j'espère que c'est simple et efficace, les autres considérations m’intéressent moins.

[Nattefrost]

J'ai rapidement vérifié dans la doc MySQL, c'est pas de ce côté là (41chars) donc j'imagine que c'est côté prestashop.

[gros_bidule]

C'est nul le Slip Français, ça rentre dans la raie des fesses dès que tu marches 2m

[MrBeaner]

C'est cool Prestashop quand on maîtrise un peu. Par contre les galères ponctuelles sont vraiment relou.

Je dirais que c'est la meilleure solution pour le prix, vu les alternatives, mais je serais bien curieux de voir ce que donne WooCommerce aujourd'hui.

[tompalmer]

En fait mon plug in wordpress s'adaptait mal au thème, donc j'ai préféré faire un sous domaine (même si j'ai regardé un peu les trucs genre etsy mais c'est du vol)

Pour l'instant je trouve que Prestashop se défend pas trop mal, le set up est pas plus chiant qu'autre chose.

[Siscka]

Hello, vous connaissez des sites qui mettent en relations des freelances avec des clients ?

ça serait pour faire des petites missions genre site vitrine/api/script.

[tompalmer]

J'en suis très vite revenu, c'est payé une misère et ça met en concurrence tout le monde, tirant les marchés vers le bas.

[Siscka]

Ouais jme doute mais.

Balance des noms.

Merci

[tompalmer]

Je me souviens plus mais côté client j'utilise Fiverr maintenant.
Ce qui est tout a fait indécent parce que je peux payer n'importe quoi pour 5 Euros, c'est fait en Inde ou au Pakistan parfois, c'est un peu le plate forme ultime du libéralisme et tout le monde s'aligne sur les prix des Pays pauvres.

Y'a 5 ans on trouvait des plates formes françaises, les prix étaient du genre 40 Euros pour un Logo. 100 ou 200 pour un site web, maintenant c'est 60 sur Fiverrr.

[tenshu]

Je pense que les free, hopwork s'est taillé une belle part du marché maintenant.
Après y'en a vraiment ouatmilles qui se sont monté ces dernières années.

[tompalmer]

Pour quelqu'un qui veut faire rentrer du Cash à tout prix sur une courte période ça peut être interessant, mais ça revient a être un chauffeur Uber du code

[tompalmer]

Tiens d'ailleurs j'ai fait une connerie, quand je tape mon domaine principal le site m'envoie sur mon sous domaine

Pourtant j'avais bien fait un dossier séparé à la racine etc ..

EDIT : c'est bon, petit soucis de dossier de destination

[zatura]

y'a du canard qui touche à Drupal 8 ici ?

[tompalmer]