Cahier des charges d’un client : comment avoir un système permettant de scraper sur des sites précis du contenu, et de le traiter, le tout scalable ?

❎ Je suis Admin-sys N+3 , du coup ça pourrait sembler ne pas correspondre à mes taches habituelles, et pourtant non et voici ce que j’ai conçu, et aider à mettre en production en équipe :

💻 Un setup baremétal OVH , avec une VM ( pour faciliter les backups ) , le tout sous KVM / Libvirt ( moins d’exposition qu’un proxmox and co )

⛴️ dans la VM un setup sous podman ( le docker de linux ), avec du Haproxy ( filtrage de l’entrant, gestion SSL ), qui pointe sur du node-RED et un setup laravel ( PHP / Mysql ).

👷‍♂️ Enfin des workers ( tjrs en podman ) pour traiter les demandes de node-RED en python avec dépendances complexes ( chromium ) .

ℹ️ Exemple type de setup que je vais maintenir ( Infogérance ), sécuriser ( VPN / Firewall ) et faire évoluer ( car scalable )

Quand on y pense vu le nombre de technologies et les différents métiers que ça demande, qui d’autre qu’un expert Linux / Infogérant de l’hébergement est capable de monter un setup comme celui ci dans les règles de l’art et non juste pour un poke ?

Alors si vous aussi avez des projets complexes en rapport avec Linux et l’hébergement Web, contactez moi !