Logs du proxy : quoi écrire, quoi éviter et comment stocker — guide complet
Sommaire de l'article
- Introduction : pourquoi les logs du proxy méritent une discussion à part
- Bases : qu'est-ce qu'un log de proxy et de quoi est-il composé
- Immersion : anatomie d'une entrée et nature des risques
- Méthode 1 : concevoir le schéma d'une entrée — ce qu'il faut absolument écrire
- Méthode 2 : couper les données sensibles — ce qu'il ne faut jamais écrire
- Méthode 3 : rotation et stockage en niveaux
- Méthode 4 : politique de conservation
- Erreurs typiques : ce qu'il ne faut pas faire
- Outils et ressources
- Cas concrets et résultats
- Faq : questions complexes sur les logs de la couche proxy
- Conclusion : les logs comme système conçu, pas comme sous-produit
Introduction : pourquoi les logs du proxy méritent une discussion à part
Imaginez la scène. La nuit, la conversion de votre parser chute d'un tiers, le matin la sécurité vous demande qui est passé par la passerelle proxy de l'entreprise avant-hier et vers où, et à midi le juriste s'inquiète de pourquoi les archives contiennent des URL complètes avec les jetons d'accès des clients sur les deux dernières années. Ces trois questions convergent vers une même entité — les logs du proxy. Et presque toujours, on découvre que les logs soit ne contiennent pas l'information nécessaire, soit en contiennent trop, soit sont stockés de telle manière qu'il est impossible d'y retrouver quoi que ce soit en un temps raisonnable.
Nous avons déjà abordé l'observabilité d'un pool de proxys : métriques de réussite, latence par nœud, alertes de dégradation, dashboards. C'est le sujet de comment le système se porte globalement. Aujourd'hui, c'est différent. Une métrique vous dit que le taux d'erreurs 429 est passé de deux à quatorze pour cent. Le log vous dira quel compte précis, via quelle IP d'opérateur mobile, avec quel User-Agent et à quelle seconde a reçu cette réponse. Les métriques répondent à « que se passe-t-il », les logs à « que s'est-il passé exactement et avec qui ». Ici, nous parlons exclusivement du contenu des entrées, de la suppression des données sensibles, de la rotation des fichiers et de la politique de conservation.
Pourquoi est-ce critique maintenant ? D'abord les volumes. Une passerelle proxy moyenne, même dans une petite équipe d'automatisation marketing, génère de plusieurs centaines de milliers à plusieurs dizaines de millions de requêtes par jour. Une ligne imprudente ajoutée au format de log est multipliée par ces millions. Ensuite la réglementation. Les exigences légales sur les données personnelles se durcissent, et la couche proxy est l'endroit où identifiants utilisateurs, cookies et en-têtes d'autorisation transitent en clair. Enfin l'économie. Stocker des téraoctets de logs dans un index de recherche chaud coûte cher, et souvent cet argent part dans des données que personne ne consultera jamais.
Dans ce guide, vous apprendrez : quels champs doivent obligatoirement figurer dans chaque entrée de log proxy et pourquoi ; quelles données il ne faut jamais enregistrer, même « au cas où » ; comment organiser masquage et hachage pour que les logs restent utiles aux enquêtes ; comment structurer rotation et stockage en niveaux ; comment définir une durée de conservation qui satisfasse ingénieurs, sécurité et juristes. Nous fournissons des modèles prêts à l'emploi, des checklists et analysons des cas réels chiffrés. Installez-vous confortablement — le contenu est dense, mais chaque partie est éprouvée par la pratique.
Bases : qu'est-ce qu'un log de proxy et de quoi est-il composé
Définition et place dans l'architecture
La couche proxy est le composant entre votre application (parser, gestionnaire de comptes, système d'automatisation de régies publicitaires) et le monde extérieur, qui reçoit une requête, choisit une adresse de sortie dans le pool, envoie la requête et renvoie la réponse. Si vous utilisez des proxys mobiles, cette couche gère aussi la rotation d'IP, l'assignation des sessions aux comptes et le basculement entre opérateurs.
Un log de couche proxy est une séquence d'enregistrements, chacun décrivant un événement dans ce composant. Le plus souvent l'événement est une requête HTTP traitée, mais les événements incluent aussi le changement d'IP, l'échec de connexion à un nœud amont, le rejet d'une requête par une règle d'accès, le démarrage et l'arrêt du processus.
Une analogie utile : le journal de bord d'un navire. On n'y recopie pas le contenu de la cale, mais on note chaque changement de cap, l'heure, les coordonnées, la météo et qui était de quart. De même, un bon log proxy ne stocke pas le corps de la requête, mais consigne tout ce qui permet de reconstituer le parcours de l'événement.
Types de logs dans la couche proxy
En pratique, on distingue quatre flux, et les mélanger dans un même fichier est la première erreur du débutant :
- Access log (journal d'accès) — une entrée par requête traitée. Le flux le plus volumineux, source principale pour les enquêtes et la facturation.
- Error log (journal d'erreurs) — événements nécessitant attention : impossibilité de se connecter au nœud amont, timeouts, épuisement du pool, crash du processus. Volume des dizaines à centaines de fois plus faible que l'access log, valeur par entrée plus élevée.
- Audit log (journal d'audit) — qui a modifié la configuration, qui a émis un jeton d'accès, qui a ajouté ou supprimé un nœud du pool. Écrit rarement, conservé le plus longtemps.
- Rotation/session log (journal de rotation) — flux spécifique aux proxys mobiles : quand et pourquoi l'IP a changé, quel opérateur, quelle session liée à quel compte. Sans lui, impossible de répondre à la question de savoir pourquoi un compte a déclenché une vérification de sécurité.
Niveaux de journalisation
Les niveaux classiques — DEBUG, INFO, WARN, ERROR, FATAL — s'appliquent ici aussi, mais avec une nuance. Pour l'access log, le niveau n'a presque pas de sens : chaque requête est un INFO. Les niveaux ont du sens pour l'error log et les événements internes. Règle pratique : en production, la couche proxy tourne en INFO, DEBUG s'active ponctuellement, pour un client ou un nœud précis, et pour une durée limitée. Pourquoi ? Parce que le mode DEBUG sur un proxy signifie souvent un dump complet des en-têtes, et c'est le chemin direct vers une fuite de données d'autorisation dans les fichiers.
Formats : texte contre structure
Il y a dix ans, le standard était le format texte type Common Log Format, avec des champs séparés par des espaces. Aujourd'hui, le consensus est sans ambiguïté : logs structurés, généralement en JSON, avec chaque champ nommé. Les raisons sont simples. Une entrée structurée se filtre par n'importe quel champ sans expressions régulières, elle est comprise par tous les systèmes de collecte, et — crucial pour notre sujet — il est facile d'en supprimer ou masquer sélectivement des champs. Essayez d'extraire l'en-tête Authorization d'une chaîne texte où il peut se trouver n'importe où, vous comprendrez.
Immersion : anatomie d'une entrée et nature des risques
Trois questions auxquelles chaque entrée doit répondre
Avant de discuter des champs concrets, entendons-nous sur le critère. Une entrée d'access log proxy est utile si elle permet de répondre à trois questions :
- Qui ? Quel client, quel compte ou profil, quel service interne a initié la requête.
- Par où ? Quel nœud de sortie, quelle IP, quel opérateur, quelle session a été utilisée.
- Quel résultat ? Code de réponse, durée, volume transféré, nouvelle tentative ou non.
Notez que cette liste ne contient pas la question « qu'est-ce qui a été transmis ». Le contenu de la requête et de la réponse relève de l'application, pas de la couche proxy. Le proxy est un transport, il doit journaliser des événements de transport. C'est un principe fondamental de séparation des responsabilités, et la plupart des problèmes de données sensibles dans les logs viennent précisément de sa violation.
Identifiants et corrélation
Le champ le plus précieux d'un log moderne est l'identifiant de corrélation (request ID ou trace ID). C'est une chaîne unique que l'application génère à la création de la requête et transmet à la couche proxy via un en-tête de service. Le proxy l'inscrit dans son log, l'application dans le sien. Résultat : vous pouvez en quelques secondes relier un événement dans le parser, un événement dans le proxy et un événement dans le système de rotation d'IP. Sans corrélation, vous allez apparier des entrées à la seconde près, et avec des dizaines de milliers de requêtes par seconde c'est sans espoir.
Le deuxième identifiant en importance est l'identifiant de session. Pour les proxys mobiles, une session est la période pendant laquelle les requêtes d'un compte passent par la même IP. C'est la session qui relie l'access log au journal de rotation. Si un compte est bloqué, vous regardez ses sessions, voyez que trois IP de régions différentes se sont succédé en une heure, et vous comprenez la cause.
Catégories de données sensibles dans le trafic proxy
Détaillons ce qui transite par la couche proxy et présente un risque en cas de journalisation :
- Données d'autorisation : en-têtes Authorization, Proxy-Authorization, Cookie, Set-Cookie, X-API-Key et similaires. Un jeton dans un log équivaut à un jeton en accès libre pour quiconque a accès aux logs — et ce cercle est généralement bien plus large que celui ayant accès aux secrets.
- Données personnelles dans l'URL : adresses e-mail dans les paramètres de recherche, téléphones, identifiants utilisateurs de plateformes externes, noms dans les chemins. Ici s'appliquent les exigences légales sur les données personnelles, et les logs deviennent un stockage soumis à déclaration.
- Identifiants du proxy lui-même : login et mot de passe d'authentification au proxy, que le client transmet dans un en-tête. Scénario classique de fuite : le proxy écrit la chaîne de connexion complète type user:pass@host dans l'error log lors d'un échec de connexion.
- Corps de requêtes et de réponses : formulaires d'authentification, données de paiement, contenu de messages privés. En configuration normale, la couche proxy ne doit pas les voir du tout, mais en debug la tentation de tout dumper est grande.
- Identifiants indirects : la combinaison User-Agent, IP client et heure précise permet de désanonymiser une personne même sans données personnelles explicites. Les régulateurs de nombreuses juridictions classent ces combinaisons comme données personnelles.
Dimension juridique
Ici, la prudence est de mise. Si des données utilisateurs transitent par votre couche proxy — clients de votre service, abonnés, acheteurs —, les logs contenant leurs identifiants deviennent un traitement de données personnelles avec toutes les obligations afférentes : finalité déterminée, durée limitée, protection au stockage, localisation. Les logs ne sont pas des « déchets techniques », comme on les perçoit souvent. C'est une base de données, avec une structure inhabituelle. La solution technique est simple : minimiser les données personnelles dans les logs au point qu'elles cessent d'être personnelles — via hachage et tokenisation, dont nous parlons ci-dessous. La charge juridique sur les logs diminue alors radicalement.
Économie de l'écriture
Encore une dimension — l'argent. Prenons une passerelle à dix millions de requêtes par jour. Une entrée en JSON compact sans champs superflus pèse environ trois cents octets. Soit trois gigaoctets par jour, environ quatre-vingt-dix par mois. Ajoutez l'URL complète avec tous les paramètres et tous les en-têtes de requête : l'entrée gonfle à un kilo-octet et demi à deux. C'est déjà vingt gigaoctets par jour et six cents par mois. Si ces données sont dans un index de recherche chaud avec réplication, la différence de coût est d'un ordre de grandeur. Chaque champ du schéma de log est une décision financière prise pour des années.
Méthode 1 : concevoir le schéma d'une entrée — ce qu'il faut absolument écrire
Principe de suffisance minimale
On conçoit un schéma de log non pas à partir de la question « que pouvons-nous écrire », mais de « à quelles questions devons-nous pouvoir répondre ». Dressez la liste des scénarios d'enquête et vérifiez que chacun est couvert par les champs existants. Scénarios typiques pour une couche proxy : analyser un blocage de compte, trouver la cause d'une hausse d'erreurs, facturer par client, vérifier le respect des quotas, enquêter sur un incident de sécurité, prouver qu'une requête précise n'est pas passée par vous.
Champs obligatoires de l'access log
Voici le noyau du schéma que nous recommandons au minimum pour toute couche proxy. Chaque champ est accompagné de sa justification :
- ts — horodatage en UTC avec millisecondes, format ISO 8601. Aucune zone locale : avec un pool distribué, les nœuds sont dans différentes régions, et l'heure locale rendrait la corrélation impossible.
- req_id — identifiant de corrélation, reçu du client ou généré par le proxy si le client ne l'a pas fourni.
- client_id — identifiant interne du client ou service authentifié auprès du proxy. Pas un login ni un mot de passe, mais une clé interne.
- profile_id — identifiant du compte ou profil au nom duquel la requête est faite, si votre système gère ces entités. C'est ce champ qui relie le log à la logique métier du multi-comptes.
- session_id — identifiant de la session proxy, reliant la requête à une période d'assignation à une IP.
- upstream_id — identifiant du nœud de sortie dans le pool. Pas l'IP elle-même, mais son code interne : une IP peut être réutilisée, un code non.
- upstream_ip_hash — hash de l'IP de sortie avec sel. Permet de regrouper les requêtes par adresse sans stocker l'adresse en clair sur le long terme.
- carrier et region — opérateur et région du nœud de sortie pour les proxys mobiles. Essentiel pour analyser le comportement des plateformes selon les opérateurs.
- method — méthode HTTP.
- host — domaine cible. Le domaine, pas l'URL complète.
- path_template — chemin avec les parties variables remplacées, par exemple /users/{id}/posts. Conserve la valeur analytique sans fuite d'identifiants.
- status — code de réponse du serveur cible.
- proxy_status — statut interne de traitement : succès, timeout vers le nœud amont, rejet par règle, pool épuisé. Sépare les erreurs du serveur cible des erreurs du proxy lui-même.
- duration_ms — temps de traitement total ; utile aussi de le décomposer en temps de connexion, temps jusqu'au premier octet et temps de transfert.
- bytes_in et bytes_out — volume de données transférées. Base de la facturation et de la détection d'anomalies.
- retry — numéro de tentative, si le proxy effectue des retries.
- tls — version TLS et indication de handshake réussi.
- ua_class — pas le User-Agent lui-même, mais sa classe : navigateur mobile, desktop, application. Le User-Agent complet, si nécessaire, est stocké dans un référentiel séparé sous un code court.
Exemple d'entrée
Voici à quoi ressemble une entrée construite selon ce schéma :
{"ts":"2026-03-14T08:21:37.412Z","req_id":"01HRX7K9M2P4Q","client_id":"c_0412","profile_id":"p_88213","session_id":"s_7f3a91","upstream_id":"n_msk_017","upstream_ip_hash":"a91f...c2","carrier":"op_a","region":"ru-mow","method":"GET","host":"example-platform.com","path_template":"/api/v2/feed/{id}","status":200,"proxy_status":"ok","duration_ms":842,"ttfb_ms":611,"bytes_in":1204,"bytes_out":48211,"retry":0,"tls":"1.3","ua_class":"mobile_android"}Un peu plus de trois cents octets. Aucun secret, aucun identifiant personnel d'utilisateurs externes, mais une image complète de l'événement. Cette entrée permet de répondre aux six scénarios d'enquête de la liste ci-dessus.
Champs obligatoires du journal de rotation
Pour les proxys mobiles, le journal de rotation est aussi important que l'access log. Schéma minimal : horodatage, session_id, upstream_id, raison de la rotation (planifiée, à la demande du client, sur erreur, limite de requêtes atteinte), hash de l'ancienne et de la nouvelle IP, opérateur, durée de la session précédente, nombre de requêtes dans la session précédente. C'est ce journal qui vous fera comprendre qu'un compte a déclenché une vérification non pas à cause de ses actions, mais parce que l'IP a changé quatre fois en dix minutes.
Procédure pas à pas pour déployer le schéma
- Listez les scénarios d'enquête pertinents pour votre équipe. Au moins cinq.
- Pour chaque scénario, déterminez l'ensemble minimal de champs nécessaires.
- Fusionnez les ensembles, supprimez les doublons. C'est le brouillon du schéma.
- Passez chaque champ au crible : contient-il un secret, une donnée personnelle ou un identifiant indirect ? Si oui, remplacez-le par un hash, une classe ou un modèle.
- Figez le schéma dans un document versionné. Chaque entrée doit contenir un champ schema_version.
- Implémentez la validation : une entrée non conforme au schéma doit être rejetée à la construction du log, pas découverte six mois plus tard.
- Passez une charge de test et mesurez la taille moyenne d'une entrée. Multipliez par le volume journalier et comparez au budget de stockage.
Méthode 2 : couper les données sensibles — ce qu'il ne faut jamais écrire
Liste noire des champs
Commençons par les interdits absolus. Ces données ne doivent figurer dans aucun flux de logs proxy, à aucun niveau, DEBUG inclus :
- Valeurs des en-têtes Authorization, Proxy-Authorization, Cookie, Set-Cookie, tout en-tête contenant key, token, secret ou session dans son nom.
- Identifiants de connexion au proxy sous quelque forme que ce soit, y compris les chaînes type user:pass@host.
- Corps de requêtes et de réponses. Intégralement. Si un debug nécessite de voir le corps, cela se fait côté application, dans un stockage temporaire, avec suppression automatique.
- La query string complète avec les paramètres. Les paramètres contiennent régulièrement e-mails, téléphones, jetons de liens à usage unique.
- Le User-Agent complet combiné à l'IP client — c'est une empreinte permettant d'identifier une personne.
- Les adresses IP ouvertes des utilisateurs finaux de votre service, si la couche proxy ne sert pas uniquement des processus internes.
Quatre techniques d'anonymisation
Interdire est simple. Plus difficile est de conserver la valeur analytique. Voici la boîte à outils qui le permet :
Rédaction (redaction)
Remplacement complet de la valeur par un marqueur comme [REDACTED]. S'applique à ce qui n'a pas de valeur analytique : en-têtes d'autorisation, mots de passe. Nuance importante : rédiger au moment de la formation de l'entrée, à l'intérieur du processus proxy, pas en post-traitement des fichiers. Le post-traitement signifie que le secret a déjà touché le disque et est passé dans les buffers, les sauvegardes, les réplications.
Masquage (masking)
Dissimulation partielle avec conservation de la forme. E-mail i***@d*****.ru, téléphone +7 9** *** 12 34. Permet à un opérateur support de reconnaître les données par comparaison, mais pas de les reconstruire depuis le log. S'applique là où une vérification visuelle humaine est nécessaire et, franchement, c'est rare dans la couche proxy. Le masquage est souvent un compromis quand l'équipe n'est pas prête au hachage.
Hachage avec sel
La valeur est remplacée par le résultat d'une fonction de hachage cryptographique avec sel secret. Des valeurs identiques donnent des hash identiques, donc le regroupement et le comptage d'uniques sont préservés, mais la reconstruction sans sel est impossible. C'est l'outil principal pour les adresses IP, les identifiants utilisateurs de plateformes externes, les User-Agent complets. Exigence clé : le sel est stocké séparément des logs, dans un gestionnaire de secrets, et pivoté périodiquement. Lors de la rotation du sel, on perd la possibilité d'apparier anciens et nouveaux hash — c'est un coût assumé pour la sécurité, et la période de rotation du sel coïncide généralement avec la durée de conservation des logs détaillés.
Tokenisation
La valeur est remplacée par un jeton aléatoire, et la correspondance jeton-valeur est stockée dans un référentiel sécurisé à contrôle d'accès strict. Contrairement au hachage, c'est réversible — mais seulement pour ceux qui ont accès à la table de correspondance. S'applique quand une enquête peut nécessiter la reconstruction de la valeur, sur décision d'un responsable sécurité. Par exemple l'URL complète en cas de suspicion d'abus. La table de correspondance vit selon sa propre durée, plus courte.
Templatisation des chemins
Arrêtons-nous sur les chemins d'URL. Le chemin /users/88213/messages/4471 contient deux identifiants. L'écrire en entier, c'est conserver des données personnelles indirectes. N'écrire que le domaine, c'est perdre l'analytique par endpoint. Solution : la templatisation. Les segments numériques, les UUID, les longues chaînes type hash sont remplacés par des placeholders : /users/{id}/messages/{id}. L'analytique par type de requête est intégralement conservée, les identifiants disparaissent. Cela s'implémente par un ensemble de règles de remplacement appliquées à la formation de l'entrée.
Où se fait exactement la coupe
Une architecture correcte prévoit trois lignes de défense :
- Dans le processus proxy : le formateur de log connaît le schéma et ne prend tout simplement pas les champs interdits. C'est la ligne principale.
- Dans l'agent de collecte : des règles de filtrage qui cherchent des motifs de secrets (chaînes type Bearer suivies d'une longue séquence, constructions type JWT, numéros de carte par la formule de Luhn) et les remplacent par des marqueurs. C'est l'assurance contre l'erreur d'un développeur ayant ajouté un nouveau champ.
- Dans le stockage : un scanner périodique qui cherche dans les données déjà conservées des motifs de secrets et lève une alerte. C'est un détecteur, pas un filtre : s'il trouve quelque chose, c'est que les deux premières lignes ont été percées et qu'il faut analyser.
Checklist de coupe des données sensibles
- Les en-têtes d'autorisation et de cookie sont rédigés dans le processus, pas en post-traitement.
- Les identifiants du proxy n'apparaissent jamais dans l'error log, y compris dans les messages d'erreur de connexion.
- Les corps de requêtes et de réponses ne sont journalisés à aucun niveau.
- La query string est supprimée ou templatisée.
- Les adresses IP sont hachées avec sel ; le sel est stocké à part et pivoté.
- Les chemins d'URL sont templatisés par règles.
- Le User-Agent est remplacé par une classe ou un code de référentiel.
- L'agent de collecte dispose de règles de recherche de motifs de secrets.
- Le stockage est scanné périodiquement à la recherche de secrets.
- Le mode DEBUG s'active par client_id précis, pour une durée limitée, avec désactivation automatique.
Méthode 3 : rotation et stockage en niveaux
Pourquoi la rotation est nécessaire
La rotation des logs consiste à fermer régulièrement le fichier courant et à en commencer un nouveau, avec compression, déplacement ou suppression des anciens. Sans rotation, le fichier croît sans limite, impossible à lire, à compresser ou à supprimer sélectivement, et un disque plein fait tomber le processus proxy lui-même. Cela semble banal, mais d'après notre expérience, pas moins d'un tiers des incidents d'indisponibilité de passerelles proxy maison sont liés à la saturation du disque par les logs.
Critères de rotation
Le fichier est fermé selon l'une des conditions, la première survenue :
- Par taille — généralement de cent mégaoctets à un gigaoctet. Moins, cela fait trop de fichiers ; plus, la compression est longue et le transfert peu pratique.
- Par temps — une heure pour les passerelles à forte charge, une journée pour les petites. La rotation temporelle rend les noms de fichiers prévisibles et facilite la recherche.
- Par événement — redémarrage du processus, changement de version du schéma. Un fichier ne doit pas contenir des entrées de deux schémas différents.
En pratique : roter par temps avec une limite de taille. Par exemple chaque heure, mais pas plus de cinq cents mégaoctets par fichier. Le nom du fichier inclut le nœud, le flux et l'horodatage de début : access-gw-msk-01-2026031408.jsonl.
Mécanique sans pertes
Détail critique souvent négligé : la rotation ne doit pas entraîner de perte d'entrées. Erreur classique — renommer le fichier et en créer un nouveau pendant que le processus continue d'écrire dans l'ancien descripteur. Approches correctes : le processus ouvre lui-même un nouveau fichier à l'échéance (rotation intégrée) ; ou un roteur externe envoie au processus un signal de réouverture après renommage ; ou, préférable dans les architectures modernes, le processus écrit sur la sortie standard et l'agent de collecte capture le flux et gère lui-même les fichiers. La troisième option retire du processus proxy toute responsabilité du disque.
Compression
Les logs JSON structurés se compriment excellemment — coefficient typique de huit à quinze grâce aux noms de champs répétés et à l'ensemble limité de valeurs. Cela signifie qu'un gigaoctet de logs bruts devient soixante-dix à cent mégaoctets d'archive. Choix de l'algorithme : pour les fichiers souvent lus, des algorithmes rapides à compression modérée ; pour l'archive, compression maximale. Ne compressez pas immédiatement après la fermeture, mais avec un décalage d'une ou deux périodes de rotation : les fichiers récents servent souvent à l'analyse opérationnelle.
Modèle de stockage en niveaux
Nous arrivons à l'idée centrale du stockage économique. Tous les logs ne sont pas également sollicités. Les accès aux entrées sont extrêmement inégalement répartis : la grande majorité des requêtes sur les logs concerne les dernières vingt-quatre heures, une part notable la dernière semaine, et seuls quelques accès portent sur des données de plus d'un mois. Tout stocker dans un stockage uniformément cher et rapide est du gaspillage. D'où le modèle en niveaux :
Niveau chaud
Les dernières vingt-quatre heures à trois jours. Index de recherche complet, tous les champs indexés, réponse en quelques secondes. Le niveau le plus cher au gigaoctet. Ici vivent les enquêtes opérationnelles, le debug, l'analyse des incidents frais.
Niveau tiède
De trois à trente jours. Données en format colonnaire compressé dans un stockage objet, recherche via un moteur qui lit les fichiers directement. Réponse en dizaines de secondes, mais coût de stockage d'un ordre de grandeur inférieur. Ici : rapports hebdomadaires, traitement des plaintes clients, analyse des tendances de blocage.
Niveau froid
De trente jours à la fin de la durée de conservation. Archives compressées dans la classe de stockage objet la moins chère, éventuellement avec latence d'accès. Recherche uniquement par heure précise et nœud, puis décompression et analyse manuelle. Ici : demandes juridiques, audit, enquêtes sur des incidents anciens.
Agrégats
Un niveau à part, souvent oublié. Avant de supprimer les entrées détaillées, on en calcule des agrégats : nombre de requêtes, distribution des codes de réponse, durée moyenne — par client, nœud, domaine, heure. Les agrégats occupent une fraction de pour cent du volume des logs détaillés et se conservent des années. Ce sont eux qui permettent de répondre à « comment c'était il y a un an » sans conserver un an d'entrées détaillées.
Configuration pas à pas de la rotation et des niveaux
- Définissez le flux de sortie du processus proxy : la sortie standard vers l'agent de collecte est préférable à l'écriture directe dans un fichier.
- Configurez la rotation par temps (heure ou jour) avec une limite de taille.
- Définissez la compression avec un décalage d'une ou deux périodes après la fermeture.
- Séparez les flux : access, error, audit, rotation — dans des fichiers ou index différents.
- Configurez le déplacement vers le niveau tiède selon l'âge du fichier, avec conversion en format colonnaire.
- Configurez le déplacement vers le niveau froid et la suppression à échéance de conservation.
- Implémentez un calcul quotidien d'agrégats depuis le niveau chaud et leur écriture dans un stockage dédié longue durée.
- Mettez une alerte sur l'espace disque libre du nœud et sur le retard d'envoi vers l'agent de collecte : si les logs ne partent pas, ils s'accumulent localement.
- Vérifiez chaque trimestre que la suppression a bien lieu : comptez le fichier le plus ancien de chaque niveau.
Méthode 4 : politique de conservation
Trois forces déterminent la durée
La durée de conservation des logs est un compromis entre trois forces qui tirent en sens opposés. Les ingénieurs veulent conserver plus longtemps : on ne sait jamais quand il faudra analyser un incident ancien. Les finances veulent moins : chaque gigaoctet coûte. Sécurité et juristes — le camp le plus intéressant : ils exigent à la fois de conserver assez longtemps pour les enquêtes et assez peu pour ne pas accumuler des données dont la fuite vous sera reprochée. Chaque entrée contenant des données personnelles conservée plus que nécessaire est un passif, pas un actif.
Principe : la durée dépend de la sensibilité et de la sollicitation
Différents flux et différents champs vivent des durées différentes. C'est l'idée clé de cette section. Il n'existe pas de « durée de conservation des logs » unique — il y a une matrice de durées :
- Access log détaillé : de quatorze à quatre-vingt-dix jours. La sollicitation décroît exponentiellement, la sensibilité moyenne même après anonymisation.
- Error log : de trente à cent quatre-vingts jours. Volume faible, valeur élevée pour l'analyse de problèmes récurrents.
- Audit log : d'un à trois ans. Qui a modifié la configuration et émis des accès — données requises lors d'enquêtes longtemps après. Volume négligeable.
- Rotation log : autant que l'access log — ils sont inutiles l'un sans l'autre.
- Table de tokenisation : plus courte que les logs eux-mêmes — de sept à trente jours. Au-delà, les jetons dans les logs deviennent irréversibles.
- Agrégats : de deux à cinq ans. Sans données personnelles, peu volumineux, précieux pour l'analytique long terme.
Comment calculer la durée pour votre situation
Voici un cadre de travail en cinq questions :
- Quel est le scénario d'enquête réaliste le plus long ? Un client se plaint d'un blocage de compte survenu il y a trois semaines — donc les logs détaillés sont nécessaires au moins vingt et un jours plus marge.
- Y a-t-il des obligations externes ? Des contrats clients peuvent exiger de conserver les journaux d'accès un certain temps pour traiter les litiges de facturation. Les exigences des régulateurs pour certains opérateurs de catégories de données peuvent aussi fixer des minimums.
- Quelles données restent sensibles après anonymisation ? Si un hachage avec rotation de sel est appliqué, la sensibilité après rotation tombe presque à zéro, et la conservation peut être prolongée.
- Combien coûte le stockage à chaque niveau ? Calculez le coût d'un mois de stockage chaud, tiède et froid à votre volume. Souvent, le stockage froid d'un an de logs coûte moins qu'une semaine de chaud.
- Que perd-on à la suppression ? Si les agrégats couvrent l'analytique long terme, les entrées détaillées peuvent être supprimées sans crainte.
Suspension juridique de la suppression
Élément obligatoire de la politique — le mécanisme de suspension de suppression (legal hold). Si une enquête sur incident est ouverte ou qu'une demande officielle est reçue, la suppression automatique de la période concernée doit être gelée jusqu'à la fin de la procédure. Techniquement, c'est un drapeau sur le fichier ou le préfixe dans le stockage objet, que vérifie le processus de suppression. Organisationnellement, c'est un règlement définissant qui peut poser et retirer ce drapeau. Sans ce mécanisme, vous vous retrouverez avec des données nécessaires supprimées par le planning le jour même où elles étaient nécessaires.
Documentation de la politique
La politique de conservation est un document, pas un réglage dans un fichier de configuration. Contenu minimal : liste des flux de logs et des champs ; pour chacun — finalité de collecte, durée de conservation à chaque niveau, méthode d'anonymisation ; responsables de la politique et de son exécution ; procédure de suspension de suppression ; procédure de vérification que la suppression a lieu ; périodicité de révision — en général une fois par an ou lors d'un changement de schéma. Ce document est la première chose qu'un auditeur demandera, et la première qui vous protégera en cas d'incident : il montre que les données ont été traitées de manière réfléchie.
Modèle de matrice de conservation
Remplissez pour votre cas un tableau avec les colonnes : flux, champs sensibles, méthode d'anonymisation, niveau chaud (jours), niveau tiède (jours), niveau froid (jours), agrégats (mois), base de la durée, responsable. Une ligne par flux. La matrice tient sur une page et règle quatre-vingt-dix pour cent des débats entre équipes.
Erreurs typiques : ce qu'il ne faut pas faire
Journaliser tout « au cas où »
L'erreur la plus répandue et la plus coûteuse. L'argument « mieux vaut avoir et ne pas utiliser » ne marche pas avec les logs : les données inutilisées coûtent cher, créent un risque de fuite et transforment le stockage en un lieu où l'utile est introuvable parmi l'inutile. Chaque champ doit répondre à une question précise de la liste des scénarios.
Activer DEBUG en production et oublier de le désactiver
Le mode DEBUG d'un proxy signifie presque toujours un dump des en-têtes. Activé un vendredi soir pour analyser un problème, il remplit le disque de jetons d'autorisation de tous les clients d'ici lundi. Règle : DEBUG s'active par filtre et avec un minuteur de désactivation automatique.
Écrire des secrets dans les messages d'erreur
Un développeur forme un message d'erreur de connexion et y insère la chaîne de connexion complète — avec login et mot de passe. Or l'error log est conservé plus longtemps que l'access log et consulté par plus de monde. Vérifiez tous les points de formation de messages d'erreur pour la présence d'interpolation d'identifiants.
Mélanger les flux dans un même fichier
Access, error et audit dans un même fichier signifie que les entrées d'audit, qui doivent vivre trois ans, sont supprimées avec les entrées d'access au bout d'un mois, et que les entrées d'access, qui doivent être compressées, côtoient de rares entrées d'error qu'il faut lire à l'œil.
Stocker le temps en zone locale
Des nœuds de pool dans différentes régions, le passage à l'heure d'été dans certaines juridictions, la comparaison avec les logs de systèmes externes — tout cela casse sur l'heure locale. Uniquement UTC, uniquement ISO 8601.
Anonymiser en post-traitement
Un script qui parcourt les fichiers la nuit pour en retirer les jetons est l'aveu que les jetons ont passé la journée en clair sur le disque, et sont aussi passés dans les buffers de l'agent de collecte, dans les répliques et peut-être dans les sauvegardes. L'anonymisation se fait à la formation de l'entrée.
Ne pas vérifier que la suppression fonctionne
La politique est écrite, la durée fixée, l'automatisation configurée — et deux ans plus tard on découvre qu'à cause d'un changement de droits sur le bucket la suppression échouait silencieusement et que le stockage contient tout l'historique. Vérifier le fichier le plus ancien de chaque niveau est un rituel trimestriel.
Stocker le sel de hachage à côté des logs
Le sel dans un fichier de configuration du proxy, dans le même dépôt ou sur le même disque, équivaut à une absence de sel. Les IP hachées sont alors reconstituées par force brute en quelques minutes. Le sel va dans un gestionnaire de secrets, à accès restreint et avec rotation.
Journaliser l'URL complète
La query string est un concentré de données sensibles : e-mails dans les paramètres de recherche, jetons de liens à usage unique, identifiants utilisateurs. Domaine plus chemin templatisé suffisent pour toute analytique de transport.
Outils et ressources
Serveurs proxy et leurs capacités de journalisation
La plupart des serveurs proxy et reverse proxy matures supportent un format d'access log personnalisable, y compris la sortie en JSON, et permettent d'exclure ou de redéfinir des champs par configuration. Au choix, portez attention à trois choses : la possibilité de sortie structurée sans format texte intermédiaire ; la possibilité d'ajouter à l'entrée un en-tête de corrélation du client ; la possibilité d'interdire complètement la journalisation de certains en-têtes au niveau de la configuration, pas du code. Si votre couche proxy est maison, ce qui n'est pas rare pour les systèmes de gestion de proxys mobiles, utilisez une bibliothèque de journalisation structurée de votre langage avec support de processeurs d'entrées — c'est dans le processeur que s'implémentent rédaction et hachage.
Agents de collecte
L'agent de collecte est un processus sur le nœud qui lit la sortie du proxy, applique des filtres et envoie les entrées au stockage. Critères de choix : support de règles de remplacement par expressions régulières pour la deuxième ligne de défense ; mise en tampon sur disque en cas d'indisponibilité du stockage, pour ne pas perdre d'entrées ; faible consommation de ressources, car l'agent vit à côté du processus proxy sur le même nœud ; support du routage de différents flux vers différentes destinations.
Stockages et moteurs de recherche
Pour le niveau chaud, conviennent les index de recherche avec recherche plein texte par champs ou les bases analytiques colonnaires, qui ces dernières années détrônent les index classiques grâce à une meilleure compression et rapidité d'agrégation. Pour les niveaux tiède et froid — un stockage objet avec format colonnaire et un moteur de requêtes qui les lit directement. Choisissez un stockage objet avec politiques de cycle de vie : le passage automatique entre classes de stockage et la suppression par âge se configurent sans code maison.
Outils d'anonymisation
Une classe d'outils à part — les scanners de secrets, créés à l'origine pour chercher des clés dans les dépôts de code. Leurs moteurs de motifs s'appliquent aussi aux logs : ils trouvent jetons, clés de fournisseurs cloud, chaînes type JWT. Configuré pour une passe périodique sur le stockage, un tel scanner devient la troisième ligne de défense. Pour la templatisation des chemins et le hachage, il n'y a pas d'outils spécialisés — c'est quelques dizaines de lignes dans le processeur de log.
Gestion des secrets
Le sel de hachage et la table de tokenisation doivent vivre dans un gestionnaire de secrets avec journalisation des accès. Cela peut être une solution de fournisseur cloud ou un référentiel de secrets auto-hébergé. Critère : la possibilité de donner au processus proxy accès au sel sans qu'un humain y ait accès.
Quoi lire et sur quoi s'orienter
Les repères sont les guides sectoriels de journalisation sécurisée des communautés de sécurité applicative, qui fournissent des listes exhaustives de données interdites à la journalisation ; la documentation des régulateurs sur la minimisation des données personnelles ; les recommandations de stockage en niveaux des fournisseurs cloud, avec des calculs de coûts. Sont particulièrement utiles les matériaux sur les spécifications de traçage distribué — c'est de là qu'il faut tirer le format des identifiants de corrélation.
Cas concrets et résultats
Cas 1 : équipe d'automatisation marketing, réduction du volume de logs par six
Situation initiale : passerelle pour travailler avec des régies publicitaires via un pool de proxys mobiles, environ quatre millions de requêtes par jour. Les logs étaient écrits en format texte avec URL complète, tous les en-têtes de requête et le premier kilooctet du corps de réponse « pour le debug ». Entrée moyenne : environ deux kilo-octets, volume journalier : huit gigaoctets, tout dans un index de recherche chaud avec conservation quatre-vingt-dix jours. Coût de l'index : une ligne notable du budget infrastructure.
Ce qui a été fait : passage à un schéma JSON de vingt champs, décrit plus haut. En-têtes, corps et query string abandonnés. Chemins templatisés. Niveaux introduits : trois jours chaud, trente jours tiède, quatre-vingt-dix jours froid. Agrégats horaires avec conservation trois ans.
Résultat : entrée moyenne de trois cent vingt octets, volume journalier de 1,3 gigaoctet, après compression en niveau tiède environ cent mégaoctets par jour. Coût de stockage réduit d'environ quatre-vingt-cinq pour cent. Effet secondaire inattendu : la vitesse d'analyse des incidents a augmenté, car les analystes ne se noient plus dans les en-têtes et voient immédiatement les champs clés. Et deux mois plus tard, le scanner de secrets, mis en troisième ligne, a trouvé dans les anciennes archives plus de douze mille jetons actifs de régies publicitaires — ils ont été révoqués et réémis.
Cas 2 : service de scraping de marketplaces, analyse des blocages via le journal de rotation
Situation : l'équipe scrape des fiches produits publiques via des proxys mobiles et fait face à une vague de blocages de certaines sessions. Les métriques montrent une hausse des erreurs, mais pas la cause. L'access log existe, le journal de rotation non.
Ce qui a été fait : ajout d'un journal de rotation avec raison du changement d'IP et durée de session, lié à l'access log via session_id. En deux jours de données, on voit : les sessions bloquées ont dans leur immense majorité une durée inférieure à trois minutes — la rotation se déclenchait sur un minuteur agressif, et la plateforme cible voyait le même profil avec trois IP différentes en un court intervalle. Les sessions de plus de vingt minutes étaient bloquées trois fois moins souvent.
Résultat : après reconfiguration de la rotation, la part de sessions bloquées est passée de onze à moins de trois pour cent. Coût : environ quarante octets par entrée de rotation, dix mille entrées par jour — un volume même pas visible à côté de l'access log. Conclusion que nous jugeons importante : pour les proxys mobiles, le journal de rotation n'est pas une option, c'est un flux obligatoire.
Cas 3 : plateforme avec clients externes, mise en conformité des logs avec les exigences sur les données personnelles
Situation : le service fournit aux clients un accès proxy par lequel passent les requêtes des utilisateurs finaux des clients. Dans les logs : IP des utilisateurs finaux, User-Agent complets, URL complètes. L'audit juridique qualifie les logs de base de données personnelles avec conservation d'un an.
Ce qui a été fait : IP remplacées par des hash avec sel pivoté tous les trente jours ; User-Agent remplacé par un code de référentiel ; URL remplacées par domaine et modèle de chemin. Matrice de conservation avec justification des durées. Mécanisme de suspension de suppression introduit. Logs détaillés limités à quarante-cinq jours, agrégats à trois ans.
Résultat : après rotation du sel, les logs de plus de trente jours ne contiennent plus de données permettant d'identifier un utilisateur même indirectement, et ont été sortis du périmètre des données personnelles. Le volume d'obligations de protection a diminué, tandis que la capacité à analyser les incidents du dernier mois est restée intacte. L'audit a accepté la matrice de conservation comme preuve suffisante d'un traitement réfléchi.
Cas 4 : incident de saturation de disque
Bref mais instructif. Un gestionnaire proxy maison écrivait les logs dans un fichier sans rotation. En quatre mois, le fichier a atteint quarante gigaoctets, le disque du nœud s'est rempli, le processus est tombé à l'écriture, le pool de vingt modems est resté arrêté trois heures la nuit. Après l'incident : sortie standard, agent de collecte avec tampon, rotation horaire, alerte sur l'espace libre. Aucune récidive. Coût de la solution : une journée de travail.
FAQ : questions complexes sur les logs de la couche proxy
Faut-il journaliser les requêtes réussies ou seulement les erreurs ?
Il faut les journaliser. Les requêtes réussies sont la base de la facturation, du calcul des taux d'erreur (sans dénominateur, un taux n'a pas de sens), de l'analyse du comportement des plateformes selon les opérateurs et de la preuve qu'une requête précise n'est pas passée par vous. Il faut économiser sur la taille de l'entrée, pas sur leur nombre. Si le volume reste inacceptable, appliquez l'échantillonnage : journalisez toutes les erreurs et une requête réussie sur dix avec un drapeau d'échantillonnage, pour multiplier par le coefficient lors de l'agrégation.
Comment enquêter si l'IP est hachée et le sel déjà pivoté ?
C'est une frontière assumée. Après rotation du sel, les données deviennent irréversibles — c'est leur valeur protectrice. Les enquêtes nécessitant la reconstruction de l'IP doivent tenir dans la période de validité du sel, coïncidant généralement avec la durée de conservation détaillée. Si vos scénarios d'enquête dépassent régulièrement cette période, allongez la rotation du sel, mais sachez que vous prolongez d'autant la période pendant laquelle les logs restent sensibles. Pour les enquêtes vraiment longues, utilisez simultanément le mécanisme de suspension de suppression et les sels.
En quoi les logs de la couche proxy diffèrent-ils du traçage ?
Le traçage décrit le parcours d'une requête à travers plusieurs services avec des intervalles de temps imbriqués. Le log décrit un événement dans un composant. Ils se complètent via un identifiant de corrélation commun : la trace vous montre que la requête a passé huit cents millisecondes dans la couche proxy, le log vous dit pourquoi : cinq cents pour la connexion au nœud amont, deux cents pour TLS, cent pour le transfert. N'essayez pas de remplacer l'un par l'autre.
Faut-il chiffrer les logs au stockage ?
Oui, à tous les niveaux. Même anonymisés, les logs contiennent de l'information métier : quels domaines vous interrogez, à quelle intensité, via quels opérateurs. Le chiffrement côté stockage est un réglage standard des stockages objet, activé par un drapeau. Restreignez en plus l'accès au niveau chaud par rôles : les analystes voient agrégats et champs anonymisés, les responsables sécurité voient tout.
Comment gérer les logs en multi-région ?
Enregistrez le temps en UTC et la région du nœud dans un champ distinct. Le stockage peut être centralisé ou régional selon les exigences de localisation des données : si des données d'utilisateurs d'une juridiction précise passent par le proxy, les logs avec leurs identifiants anonymisés peuvent relever d'une exigence de stockage dans cette juridiction. Vérifiez auprès des juristes avant la conception, pas après.
Peut-on utiliser les logs proxy pour la facturation des clients ?
Oui et il le faut, avec deux réserves. Première : la facturation se construit sur des agrégats, pas sur des entrées détaillées — des totaux par client_id sur la période. Les agrégats vivent plus longtemps et ne contiennent pas de sensible. Deuxième : si le log sert de base aux règlements avec les clients, il est soumis à des exigences d'immuabilité — les entrées ne sont pas modifiées après coup, les fichiers sont munis de sommes de contrôle, l'accès en écriture n'est donné qu'au processus de collecte.
Comment s'assurer qu'un nouveau champ ajouté par un développeur ne contient pas de secret ?
Processus : toute modification du schéma de log passe par une revue avec question obligatoire sur la sensibilité de chaque nouveau champ, et la version du schéma est incrémentée. Technique : la deuxième ligne de défense dans l'agent de collecte attrape les motifs de secrets indépendamment du nom du champ, la troisième — le scanner de stockage — signale ce qui a filtré. Utile aussi : un test qui fait passer par le formateur de log une requête avec un faux jeton connu et vérifie que le jeton n'apparaît pas dans la sortie.
Que faire des logs lors du retrait d'un nœud du pool ?
Les logs du nœud restent dans le stockage jusqu'à la fin de la durée de conservation — ils décrivent des événements qui ont eu lieu, et leur suppression avec le nœud rompt l'intégrité de l'historique. Les tampons locaux sur le nœud doivent être envoyés au stockage avant son extinction, ce qui implique dans la procédure de retrait une attente de vidage du tampon de l'agent de collecte. L'identifiant du nœud n'est pas réutilisé pour de nouveaux nœuds, sinon les entrées de deux appareils différents se mélangent.
Comment évaluer si la politique de conservation est adéquate ?
Chaque trimestre, faites trois vérifications. Première : prenez les cinq derniers incidents et assurez-vous que pour chacun les données nécessaires étaient disponibles au bon niveau. Deuxième : comptez combien de requêtes sur les logs du trimestre ont porté sur des données de plus de trente jours ; si c'est zéro, le niveau froid peut être raccourci. Troisième : assurez-vous que le fichier le plus ancien de chaque niveau n'est pas plus ancien que la durée fixée. Si les trois vérifications passent, la politique est adéquate.
Conclusion : les logs comme système conçu, pas comme sous-produit
Rassemblons l'essentiel. Les logs de la couche proxy ne sont pas quelque chose qui « s'écrit tout seul », mais un système conçu avec son propre schéma, ses propres frontières et son propre cycle de vie. Il répond aux questions « qui », « par où » et « quel résultat », et ne répond délibérément pas à « qu'est-ce qui a été transmis » — c'est la responsabilité de l'application.
Ce qu'il faut écrire : horodatage en UTC, identifiants de corrélation, client, profil et session, code du nœud, IP anonymisée, opérateur et région, méthode, domaine et modèle de chemin, codes de réponse et statut interne, durées, volumes, numéro de tentative. Pour les proxys mobiles — journal de rotation obligatoire avec raison du changement d'IP.
Ce qu'il ne faut pas écrire : en-têtes d'autorisation et cookies, identifiants du proxy, corps de requêtes et de réponses, URL complètes avec paramètres, User-Agent complets combinés à l'IP, adresses ouvertes d'utilisateurs finaux. L'anonymisation se fait dans le processus, avec deux lignes de défense supplémentaires dans l'agent de collecte et le scanner de stockage.
Comment stocker : flux séparés, rotation par temps avec limite de taille, compression, niveaux du chaud au froid avec agrégats en sortie, matrice de durées par flux, mécanisme de suspension de suppression et vérification régulière que la suppression a lieu.
Les prochaines étapes que nous recommandons cette semaine. Première : extrayez une centaine d'entrées aléatoires de votre log actuel et passez-les à la checklist de coupe des données sensibles — le résultat vous surprendra probablement. Deuxième : calculez la taille moyenne d'une entrée et multipliez par le volume journalier et la durée de conservation ; comparez avec ce qu'on obtiendrait avec le schéma de ce guide. Troisième : rédigez une matrice de conservation sur une page et montrez-la aux sécurité et juristes — c'est une conversation à avoir avant l'incident, pas après.
Les logs sont la mémoire de votre infrastructure. Une bonne mémoire retient l'important, oublie le superflu et ne conserve pas ce qui peut nuire. Concevez-la ainsi.