Fonctionnalités du noyau Linux (Episode 3) – Gestion des périphériques

Nous avons vu dans l’épisode 1 l’architecture générale de l’environnement du noyau Linux, ainsi que ce que celui-ci réalise en matière de gestion de processus, et dans l’épisode 2 ce qu’il réalise en termes de gestion mémoire.

Pour continuer notre exploration des fonctionnalités du noyau, nous allons, dans cet épisode, aborder la gestion des périphériques.

Sur un PC les périphériques sont nombreux : clavier, souris, écran, carte graphique, carte réseau, clé USB, disque dur, SSD, etc.

Dans le monde Windows, les périphériques ont été historiquement livrés par leur constructeur accompagnés par le pilote de périphérique adapté à Windows. Pendant des décennies les constructeurs n’ont pas daigné fournir les pilotes de périphériques (drivers) adaptés à Linux. Les programmeurs du noyau Linux ont donc dû s’adapter en les développant eux-mêmes.

Une technique qui a beaucoup été utilisée est la retro-ingénierie, qui consiste à décortiquer le driver pour Windows jusqu’à ce qu’on ait compris ce qu’il fait et comment il fonctionne.

Dans les années 90, lorsque les programmeurs du noyau étaient encore peu nombreux (l’époque où le contributeur numéro deux après Linus Torvalds était le légendaire Alan Cox), il n’y avait généralement presqu’une seule personne derrière chaque famille de drivers.

Alan Cox, la légende

A cette époque, les drivers pour les cartes réseau Ethernet étaient par exemple pratiquement tous codés par un programmeur de la NASA (dont j’ai oublié le nom, on pourrait le retrouver en allant farfouiller dans le code source Linux de ces drivers).

Le monde Linux a donc appris au fil des décennies à coder seul ses drivers. Le noyau est donc devenu de facto très bon pour auto-détecter le matériel.

Jusqu’à la version 0.99.14 du noyau Linux, les drivers étaient en dur dans le noyau. C’était une époque où les utilisateurs de Linux compilaient eux-mêmes un noyau aux petits oignons pour leur machine. Lors de la configuration pré-compilation, on indiquait quels drivers on voulait, et le noyau était ensuite compilé avec ces drivers. Quand on bootait dessus, on avait le support des périphériques dont on avait retenu le driver dans le noyau. Cette action était assez sportive car le driver n’était pas lié à un modèle commercial de périphérique, mais généralement à la puce électronique située au cœur de ce périphérique. Il n’était donc pas rare de devoir consulter Windows pour savoir quelle puce Windows disait détecter.

A partir de la version 0.99.15 du noyau Linux en 1994, celui-ci s’est vu ajouter la fonction de modules chargeables. On pouvait désormais monter ou démonter dynamiquement un driver dans le noyau, ce qui fut une avancée notable.

Au cours des années 2000, des distributions comme Ubuntu ont poussé très loin les mécanismes d’auto-détection du matériel, ces mécanismes se terminant par la montée dynamique du bon driver dans le noyau.

Entre temps, pour la petite histoire, Windows s’est inspiré de Linux en ayant de moins en moins la nécessité d’utiliser des drivers externes fournis par les constructeurs. Les drivers sont intégrés dans le code du noyau Windows.

La gestion des périphériques dans le noyau Linux

Les périphériques étant du matériel, seul le noyau a les droits pour y accéder. Ces accès se font par des pilotes de périphériques en dur dans le noyau ou montés sous forme de modules comme nous l’avons vu (commande lsmod pour voir quels modules sont montés, insmod pour monter un module, rmmod pour descendre un module).

Continuer la lecture

Tutoriel Linux : auto-héberger le moteur d’automatisation n8n

Si vous cherchez à faire communiquer entre eux des outils comme Google Sheets, Slack, Notion ou votre base de données, n8n est une solution qui mérite le détour. C’est un outil d’automatisation de workflows, un peu dans l’esprit de Zapier ou Make, mais avec une différence importante : vous pouvez l’installer sur vos propres serveurs.

N8n fonctionne avec un modèle « fair-code ». Le code est accessible et modifiable, mais avec quelques restrictions : vous ne pouvez pas revendre la plateforme comme un service hébergé à des tiers. C’est un entre-deux entre le logiciel open-source pur et les solutions totalement fermées.

La version gratuite (appelée Community Edition) peut tourner sur votre infrastructure sans limitation de nombre d’exécutions ni de workflows. Vos données restent chez vous, ce qui peut être un argument décisif si vous travaillez avec des informations sensibles. Si vous préférez éviter de gérer l’installation, une version cloud existe aussi, mais elle est payante.

L’installation avec Docker est simple. Il suffit de lancer le conteneur avec l’image officielle, d’exposer le port 5678 qui est celui de l’interface web, et de monter un volume pour que vos données (workflows, identifiants, paramètres) soient conservées d’un redémarrage à l’autre. Pas besoin de base de données externe pour commencer : n8n utilise SQLite par défaut, un fichier unique léger qui fait très bien l’affaire pour un usage individuel ou en petite équipe.

Principe de fonctionnement

Le principe est simple : vous construisez des workflows en reliant des « neuds » (ou nodes) graphiques à l’écran. Chaque neud correspond à une action ou à une intégration avec un service. n8n en propose plus de 500, ce qui couvre déjà pas mal de besoins courants.

Parmi les intégrations disponibles, on trouve :

  • Les outils de messagerie comme Slack, Teams, Discord ou Telegram
  • Les applications de productivité : Notion, Asana, Jira, Trello
  • L’écosystème Google : Sheets, Drive, Gmail, Calendar
  • Les CRM : HubSpot, Salesforce, Pipedrive
  • Les bases de données : PostgreSQL, MySQL, MongoDB, Redis
  • Les services cloud : AWS, Google Cloud, etc.

Et si le service que vous voulez utiliser n’est pas dans la liste, vous avez toujours la possibilité d’utiliser le neud « HTTP Request » pour envoyer des requêtes à n’importe quelle API. Il y a aussi un neud « Code » qui permet d’écrire un peu de JavaScript ou de Python pour faire des traitements personnalisés.

L’éditeur visuel intègre un débogueur. Vous pouvez voir à chaque étape du workflow ce qui entre et ce qui sort, ce qui aide beaucoup quand un workflow ne fonctionne pas comme prévu.

Continuer la lecture

Fonctionnalités du noyau Linux (Episode 2) – Gestion de la mémoire

Nous avons vu dans l’épisode 1 l’architecture générale de l’environnement du noyau Linux, ainsi que ce qu’il réalise en matière de gestion de processus.

Dans l’épisode 2 nous allons voir comment le noyau gère la mémoire.

La mémoire dont nous parlons ici est la mémoire RAM physique installée sur l’ordinateur.

Nous avons vu dans l’épisode 1 que, lors du boot de l’ordinateur, le noyau est le premier programme monté en mémoire, et qu’il se verrouille dans une zone de haut privilège.

Le reste de la mémoire physique présente sur la machine est donc disponible pour que le noyau y fasse tourner des processus et y conserve des caches.

Pour faire tourner ces processus, la mémoire physique sera utilisée sous forme de mémoire virtuelle à base de pages.

Une page fait 4 Ko car c’est la taille standard pour la majorité des micro-processeurs, un bon compromis entre la gestion de la mémoire et les performances.

Pages physiques et pages virtuelles

La figure ci-dessus montre ce qui se passe réellement dans la machine.

Continuer la lecture

Tutoriel Ubuntu : chiffrer un disque ou une clé USB avec LUKS

LUKS (Linux Unified Key Setup) est le standard de chiffrement sous Linux pour chiffrer les disques.

Au passage, on dit bien chiffrer et non crypter. Vous savez pourquoi ? C’est très simple :

  • Chiffrer : rendre illisible des données en utilisant une clé
  • Déchiffrer : rendre lisible des données chiffrées en utilisant la clé de déchiffrement
  • Décrypter : rendre lisible les données chiffrées sans connaître la clé de déchiffrement
  • Crypter : serait donc rendre illisible les données sans connaître la clé, ce qui n’a aucun sens

Bref, revenons à LUKS. C’est un système assez génial qui crée un conteneur chiffré agnostique du système de fichiers qu’on met dedans. On peut donc avoir par exemple une clé USB ext4, VFAT ou NTFS chiffrée.

Le principe de fonctionnement consiste à chiffrer les données avec une unique clé aléatoire de très grande taille, qu’on va appeler MK (Master Key), et ensuite chiffrer MK avec la clé que connait l’utilisateur.

L’avantage de cette méthode est évident : si l’on veut changer la clé utilisateur qui protège le disque, on a juste à rechiffrer MK avec cette clé et non le disque entier, ce qui pourrait prendre des heures.

LUKS est prévu pour fonctionner en mode multi-utilisateurs, c’est à dire qu’il y a un entête mis sur le disque qui contient N fois la clé MK chiffrée par N utilisateurs différents. Ainsi les N utilisateurs peuvent utiliser le disque en ne connaissant que sa propre clé et jamais celle des autres.

Le chiffrement du disque en lui-même, avec la clé MK, se fait en AES 256. C’est très robuste.

Tuto 1 pour chiffrer une clé USB

Continuer la lecture

Fonctionnalités du noyau Linux (Episode 1) – Architecture et processus

Fonctionnalités du noyau Linux (Episode 1)

La tâche la plus difficile qu’on puisse concevoir en informatique est d’écrire un noyau de système d’exploitation. Seuls les développeurs les plus talentueux peuvent se lancer dans une telle tâche. Nous allons découvrir pourquoi en étudiant de plus près les fonctionnalités assurées par le noyau Linux, qui assure les fonctions d’un noyau Unix classique.

Le noyau Linux a été développé depuis 1991, initialement par un jeune informaticien finlandais nommé Linus Torvalds, puis au fil des années qui ont suivi avec la contribution de dizaines de milliers de développeurs dans le monde. Au fil des années, le noyau Linux est devenu ni plus ni moins que le plus grand projet collaboratif de l’histoire de l’humanité. La taille du code source du noyau Linux est réputée dépasser aujourd’hui plus de 40 millions de lignes de code : principalement du C, un peu d’assembleur, et une dynamique naissante pour y introduire du Rust.

Pour comprendre les fonctions qu’assure ce noyau, commençons par les aspects architecturaux de base.

La figure ci-dessus présente ce qui se passe sur une machine Linux allumée. La partie basse représente le matériel physique de la machine (clés USB, disques durs, cartes réseaux, clavier, souris, écran, etc.).

La partie milieu représente le noyau Linux. Seul ce noyau peut accéder au matériel, que ce soit en lecture ou en écriture.

La partie haute représente les applications qui tournent sur la machine (Firefox, etc.). Les applications ne peuvent en aucun cas accéder directement au matériel, elles ne peuvent que demander au noyau de le faire. Pour recueillir ces demandes, le noyau met à disposition des applications des appels systèmes, qui peuvent être appelés par les applications.

Parmi les applications, une a une importance particulière : le gestionnaire d’interface graphique. Historiquement les systèmes Unix, dont Linux, fonctionnaient avec un gestionnaire d’interface graphique appelé X-Window. X-Window avait des qualités : il était notamment nativement réseau, c’est-à-dire qu’une application lancée sur une machine A pouvait demander à apparaitre à l’écran d’une machine B. Pour cela il y avait une simple variable d’environnement à changer pour que le routage des fenêtres soit différent (on tapait par exemple export DISPLAY=machine_B :0 et l’application tournait sur la machine A mais ses fenêtres apparaissaient sur la machine B. C’était une époque très cool, on pouvait faire des plaisanteries envoyées sur les machines des copains). Mais X-Window avait aussi des défauts (parait-il), notamment de sécurité.

Sur les systèmes Linux modernes, Xfree86 (l’implémentation libre de X-Window) a donc été remplacé par Wayland, qui a les qualités et défauts inverses. Il n’a plus de problème de sécurité, il est probablement plus performant, mais il n’est plus réseau comme l’était X-Window.

Bref, quoi qu’il en soit, que l’on utilise X-Window ou Wayland, il y a toujours besoin de cette application un peu spéciale qu’est le gestionnaire d’interface graphique. Cette application gère les fenêtres graphiques et donc propose des primitives appelables par des environnements de bureau comme Gnome ou KDE, ou directement par vos applications graphiques si vous en programmez vous-même.

Continuer la lecture

Tutoriel Linux : auto héberger ses codes source avec Forgejo

Forgejo est une plateforme d’hébergement de code, de suivi de bugs et de révision de code, à installer sur vos propres serveurs. Elle permet à une équipe de gérer ses dépôts Git, ses tickets (issues), ses demandes de fusion (pull requests) et ses wiki, le tout dans une interface proche de GitHub ou GitLab. Elle intègre également un système d’automatisation (Forgejo Actions) pour exécuter des tests ou des tâches à chaque mise à jour du code.

Forgejo est né en octobre 2022. À cette date, la société Gitea Ltd, à but lucratif, a pris le contrôle du projet Gitea, sans consultation préalable de la communauté. En réaction, un groupe d’anciens mainteneurs de Gitea et de contributeurs du logiciel libre a proposé de créer un fork (une bifurcation) sous l’égide de Codeberg e.V.. La proposition a été acceptée le 16 novembre 2022, et le projet a été annoncé officiellement le 15 décembre 2022.

Initialement présenté comme un « soft fork » (un fork qui suit encore de près Gitea), Forgejo a ensuite pris ses distances. En février 2024, il est devenu un « hard fork », affirmant des choix de gouvernance et de développement durablement différents.

Gouvernance du projet

Forgejo est placé sous la tutelle de Codeberg e.V., une association à but non lucratif et démocratique, dédiée au logiciel libre, enregistrée à Berlin. Codeberg e.V. possède les noms de domaine de Forgejo et fournit des ressources.

La gouvernance du projet est définie collectivement par ses contributeurs, avec un processus de décision ouvert et transparent. Tout le développement, les tests et les publications sont réalisés exclusivement avec des logiciels libres. En août 2024, Forgejo a adopté la licence GNU GPL version 3 ou ultérieure.

Installation sous Docker

L’installation se fait grâce à un conteneur docker, il faut donc que votre serveur soit prêt à lancer des services docker. Si ce n’est pas le cas, vous trouverez le guide d’installation docker sous Ubuntu ici et celui de Devuan ici.

Continuer la lecture

Tutoriel Linux : Auto-héberger son agrégateur de nouvelles (RSS)

Il y a beaucoup de manières de consommer les actualités : soit en allant voir site par site, soit en utilisant un agrégateur de nouvelles qui pré-digère les actualités et les centralise.

Il y a beaucoup de logiciels agrégateurs de nouvelles qui existent, mais ici nous allons utiliser Fusion, à installer via docker soit sur son PC perso, soit sur un serveur.

Avec un tel agrégateur de nouvelles nos préférences de lecture ne sont pas connues de tiers, et nos flux de lecture d’articles seront accessibles depuis n’importe quel appareil avec un simple navigateur web, y compris sur un smartphone, l’interface web de fusion étant prévue pour s’adapter au format du lecteur.

Nous allons ni plus ni moins bâtir notre journal d’actualités en ligne, privé.

Fusion permet de s’abonner à tout flux RSS disponible sur Internet, et classer les flux par groupe (Actualités, Tech, Sport, Cuisine, …)

Installation de Fusion sur le serveur

L’installation se fait grâce à un conteneur docker, il faut donc que votre serveur soit prêt à lancer des services docker. Si ce n’est pas le cas, vous trouverez le guide d’installation docker sous Ubuntu ici et celui de Devuan ici.

Nous allons créer un répertoire fusion-docker et y mettre le fichier docker-compose.yml

cd
mkdir fusion-docker
cd fusion-docker

Dans le fichier docker-compose.yml, nous allons mettre (remplacer mot de passe par le mot de passe que vous choisissez) :

services:
  fusion:
    image: ghcr.io/0x2e/fusion:latest
    container_name: fusion
    restart: unless-stopped
    environment:
      - TZ=UTC
      - PASSWORD=motdepasse
    volumes:
      - ./fusion-data:/data
    ports:
      - "8080:8080"

Le service Fusion se lance par la commande :

docker compose up –d

Pour utiliser le service, il faut se connecter sur http://serveur:8080

Continuer la lecture

Tutoriel Linux : auto-héberger Siyuan, le Notion gratuit

Notion est devenu au fil des années l’outil de référence pour la prise de notes des jeunes. C’est un produit très bon mais pas donné, et qui ne propose pas de version auto-hébergeable.

Siyuan est la réponse chinoise à Notion. Si le produit n’est pas donné non plus, du moins en version nomale en ligne (sur le modèle de Notion), la différence est qu’on peut l’auto-héberger facilement et surtout gratuitement sur un serveur. C’est cette fonctionnalité d’auto-hébergement gratuite que nous allons utiliser dans ce tutoriel.

Au niveau des fonctionnalités, Siyuan permet de faire pratiquement tout ce que l’on peut faire sur Notion en termes de prise de notes. Une application Android existe également mais elle ne permet de se connecter que sur le serveur officiel payant de Siyuan, pas aux instances d’auto-hébergement gratuites.

Installation de la version auto-hébergeable de Siyuan sur un serveur Linux

Continuer la lecture

Tutoriel Linux : TorServ le serveur web Tor qui tient dans un binaire

TorServ est un serveur web statique « durci » (hardened) qui a une particularité unique : il intègre nativement le réseau Tor et se configure tout seul pour devenir un service caché (hidden service) .

Concrètement, il vous suffit de lancer le programme dans un dossier contenant vos fichiers HTML, et en quelques secondes, votre site est accessible via une adresse en .onion​ sur le dark web, sans aucune configuration complexe.

L’objectif principal est de permettre la publication anonyme et la résistance à la censure, même dans des environnements à haut risque. Le projet est open-source et écrit en Go .

Les caractéristiques qui le rendent unique

TorServ ne se contente pas de « simplifier » la configuration d’un service Tor. Il est conçu dès le départ avec la sécurité et l’anonymat comme priorités absolues.

  • Zéro configuration : C’est sa promesse phare. L’outil contient tout le nécessaire (le binaire de Tor est inclus). On décompresse et on exécute .
  • Sécurité et anonymat avancés :
    • Aucune journalisation (No logs) : Par conception, TorServ n’enregistre aucune requête, ce qui le rend muet même en cas de compromission .
    • Pas d’exposition sur le clearnet : Le serveur web n’écoute que sur votre propre machine (127.0.0.1​). Il est donc impossible d’y accéder directement par une adresse IP classique .
    • Nettoyage des métadonnées : Il supprime automatiquement les données EXIF des images (JPEG, PNG, GIF, BMP) avant de les servir, évitant ainsi les fuites d’informations .
    • Obfuscation du trafic : Pour contrer l’analyse du trafic, il ajoute un délai aléatoire (entre 50 et 200ms) sur les réponses et uniformise la taille des paquets de données .
    • Piège à robots : Si un robot scanne votre site à la recherche de dossiers inexistants, TorServ lui renvoie lentement des données sans intérêt au lieu d’une erreur 404 classique .
    • Headers HTTP sécurisés : Il supprime les en-têtes qui pourraient fournir des informations sur le serveur (comme Date​, ETag​, Last-Modified​) .
  • Simplicité d’utilisation : Une fois lancé, le programme vous affiche directement votre nouvelle adresse .onion​. Vous n’avez rien d’autre à faire .
  • Sandboxing automatique : Si firejail​ est installé sur votre système, TorServ s’y exécutera automatiquement pour limiter les dégâts en cas de faille de sécurité .

Limitations importantes à connaître

Avant de vous lancer, il est crucial de comprendre les cas d’usage de TorServ et ses limites :

  • Contenu statique uniquement : Oubliez WordPress, PHP, bases de données ou formulaires interactifs. TorServ ne sert que des fichiers HTML, CSS, JavaScript et images .
  • Pas de support des PDF : Par mesure de sécurité (à cause des métadonnées et scripts potentiels), TorServ refuse de servir les fichiers PDF .
  • Pas de compression HTTPS/Gzip : La compression est désactivée pour prévenir certains types d’attaques (comme BREACH). Le chiffrement est de toute façon assuré par le réseau Tor .
  • Projet récent : Bien que fonctionnel, il n’a pas la maturité et la base d’utilisateurs d’un serveur comme Apache ou Nginx .

Guide d’installation et d’utilisation sur Ubuntu

Continuer la lecture

Tutoriel Linux : sauvegarder son serveur avec rsyncy

Lorsqu’on dispose d’un serveur en ligne, il est indispensable d’en sauvegarder les répertoires contenant les données que l’on ne veut surtout pas perdre. Mais il est aussi très important de sauvegarder les données stockées en bases de données.

Sous Linux il existe pléthore de logiciels spécialisés pour réaliser cela, mais nous allons voir ici comment le faire avec rsyncy

Sauvegarder le contenu des bases de données MySQL

Allez sur votre serveur et dans un shell bash tapez (remplacez MonMotDePasse et mabase respectivement par le mot de passe et le nom de la base de données MySQL à sauvegarder :

mysqldump --user='root' --password='MonMotDePasse' mabase > mabase.sql

Cette commande produit un fichier mabase.sql qui est auto-porteur, c’est à dire que si un jour vous avez à restaurer la base de données, il suffira d’exécuter ce fichier sql par la commande ci-dessous, lancée depuis l’utilitaire mysql connecté à votre base de données vide (mysql -u utilisateur -p mabase) :

source ./mabase.sql;

Vous pouvez mettre autant de commandes mysqldump que vous le souhaitez dans un shell script bash, et ainsi créer autant de fichier .sql de sauvegarde que nécessaire, dans un répertoire que nous allons sauvegarder sur une machine distante grâce à rsyncy.

Rsyncy va vous permettre de respecter la règle de base pour les sauvegardes, à savoir : la règle du 3-2-1-1-0 :

  • 3 copies de sauvegarde
  • 2 supports différents
  • 1 sauvegarde hors site
  • 1 copie hors ligne
  • 0 erreur testée à la restauration

Rsync et rsyncy

Continuer la lecture