Einleitung: Warum Proxy-Layer-Logs eine eigene Betrachtung verdienen

Stellen Sie sich folgende Situation vor: Nachts bricht die Konversionsrate Ihres Parsers um ein Drittel ein, morgens fragt die Sicherheitsabteilung, wer vorgestern wann und wohin über das Unternehmens-Proxy-Gateway gegangen ist, und mittags will die Rechtsabteilung wissen, warum in den Archiven vollständige URLs mit Zugriffstokens von Kunden aus den letzten zwei Jahren liegen. Alle drei Fragen laufen auf eine einzige Sache hinaus — die Logs des Proxy-Layers. Und fast immer stellt sich heraus: Entweder fehlt in den Logs das Nötige, oder es steht zu viel drin, oder sie sind so gespeichert, dass man in angemessener Zeit nichts darin findet.

Wir haben bereits die Observability eines Proxy-Pools behandelt: Erfolgsmetriken, Latenz pro Node, Alerts bei Degradation, Dashboards. Das war das Thema, wie sich das System insgesamt fühlt. Heute geht es um etwas anderes. Eine Metrik sagt Ihnen, dass die 429-Fehlerrate von zwei auf vierzehn Prozent gestiegen ist. Ein Log sagt Ihnen, welches Konto, über welche IP eines Mobilfunkanbieters, mit welchem User-Agent-Header und zu welcher Sekunde diese Antwort erhalten hat. Metriken beantworten die Frage „Was passiert gerade“, Logs beantworten die Frage „Was genau ist passiert und mit wem“. Hier sprechen wir ausschließlich über den Inhalt der Einträge, das Abschneiden sensibler Daten, die Dateirotation und die Aufbewahrungspolitik.

Warum ist das gerade jetzt kritisch? Erstens: die Mengen. Ein durchschnittliches Proxy-Gateway selbst eines kleinen Marketing-Automation-Teams erzeugt zwischen einigen Hunderttausend und zig Millionen Anfragen pro Tag. Eine unbedacht hinzugefügte Zeile im Log-Format multipliziert sich mit diesen Millionen. Zweitens: die Regulatorik. Die Anforderungen des Datenschutzrechts werden strenger, und der Proxy-Layer ist genau der Ort, an dem Nutzerkennungen, Cookies und Autorisierungs-Header im Klartext durchlaufen. Drittens: die Wirtschaftlichkeit. Das Speichern von Terabytes an Logs in einem heißen Suchindex kostet Geld, und oft fließt dieses Geld in Daten, auf die nie jemand zugreift.

Aus diesem Leitfaden erfahren Sie: welche Felder in jedem Proxy-Log-Eintrag stehen müssen und warum; welche Daten unter keinen Umständen gespeichert werden dürfen, auch nicht „auf Verdacht“; wie Sie Maskierung und Hashing so einrichten, dass die Logs für Untersuchungen nützlich bleiben; wie Sie Rotation und mehrstufige Speicherung aufbauen; wie Sie eine Aufbewahrungsfrist festlegen, die Ingenieure, Sicherheitsverantwortliche und Juristen gleichermaßen zufriedenstellt. Wir liefern fertige Vorlagen, Checklisten und besprechen reale Fälle mit Zahlen. Machen Sie es sich bequem — der Stoff ist umfangreich, aber jeder Teil ist praxiserprobt.

Grundlagen: Was ist ein Proxy-Layer-Log und woraus besteht es

Definition und Platz in der Architektur

Der Proxy-Layer ist die Komponente zwischen Ihrer Anwendung (Parser, Account-Manager, Automatisierungssystem für Werbekonten) und der Außenwelt. Er nimmt eine Anfrage entgegen, wählt eine Ausgangsadresse aus dem Pool, sendet die Anfrage und gibt die Antwort zurück. Wenn Sie mit mobilen Proxys arbeiten, steuert diese Schicht zusätzlich die IP-Rotation, die Bindung von Sessions an Konten und das Umschalten zwischen Anbietern.

Ein Proxy-Layer-Log ist eine Folge von Einträgen, von denen jeder ein Ereignis in dieser Komponente beschreibt. Meist ist das Ereignis eine verarbeitete HTTP-Anfrage, aber auch ein IP-Wechsel, ein Verbindungsfehler zum Upstream-Node, eine Ablehnung durch eine Zugriffsregel, Start und Stopp eines Prozesses sind Ereignisse.

Eine hilfreiche Analogie ist das Logbuch eines Schiffes. Man schreibt nicht den Inhalt des Laderaums hinein, aber jeden Kurswechsel, die Zeit, die Koordinaten, die Wetterbedingungen und wer Wache hatte. Genauso speichert ein gutes Proxy-Log nicht den Request-Body, sondern alles, was es ermöglicht, den Weg des Ereignisses nachzuvollziehen.

Log-Typen im Proxy-Layer

In der Praxis unterscheidet man vier Ströme, und sie in eine einzige Datei zu mischen ist der erste Fehler von Anfängern:

  • Access Log (Zugriffsprotokoll) — ein Eintrag pro verarbeiteter Anfrage. Der volumenmäßig größte Strom, die Hauptquelle für Untersuchungen und Billing.
  • Error Log (Fehlerprotokoll) — Ereignisse, die Aufmerksamkeit erfordern: fehlende Verbindung zum Upstream-Node, Timeouts, Erschöpfung des Pools, Absturz eines Prozesses. Das Volumen ist um das Zehn- bis Hundertfache kleiner als das Access Log, der Wert pro Eintrag höher.
  • Audit Log (Audit-Protokoll) — wer die Konfiguration geändert, wer einen Zugriffstoken ausgegeben, wer einen Node zum Pool hinzugefügt oder daraus entfernt hat. Wird selten geschrieben, am längsten aufbewahrt.
  • Rotation/Session Log (Rotationsprotokoll) — der für mobile Proxys spezifische Strom: wann und warum sich eine IP geändert hat, welcher Anbieter, welche Session an welches Konto gebunden ist. Ohne dieses Log lässt sich nicht beantworten, warum ein Konto eine Sicherheitsprüfung erhalten hat.

Log-Level

Die klassischen Level — DEBUG, INFO, WARN, ERROR, FATAL — funktionieren auch hier, aber mit einer Nuance. Für das Access Log ist der Level fast bedeutungslos: Jede Anfrage ist INFO. Level sind für das Error Log und interne Ereignisse sinnvoll. Praktische Regel: Im Produktivbetrieb arbeitet der Proxy-Layer auf INFO, DEBUG wird punktuell aktiviert, für einen konkreten Client oder Node und für begrenzte Zeit. Warum? Weil der DEBUG-Modus im Proxy oft bedeutet, Header komplett zu dumpen — und das ist ein direkter Weg zum Leak von Autorisierungsdaten in Dateien.

Formate: Text versus Struktur

Noch vor zehn Jahren war ein Textformat wie das Common Log Format Standard, bei dem Felder durch Leerzeichen getrennt sind. Heute ist der Branchenkonsens eindeutig: strukturierte Logs, meist in JSON, bei dem jedes Feld benannt ist. Die Gründe sind einfach. Ein strukturierter Eintrag lässt sich ohne reguläre Ausdrücke nach jedem Feld filtern, alle Sammelsysteme verstehen ihn, und — wichtig für unser Thema — einzelne Felder lassen sich leicht selektiv entfernen oder maskieren. Versuchen Sie einmal, den Header Authorization aus einer Textzeile herauszuschneiden, in der er an beliebiger Stelle stehen kann, und Sie verstehen, wovon wir sprechen.

Deep Dive: Anatomie eines Eintrags und die Natur der Risiken

Drei Fragen, die jeder Eintrag beantworten muss

Bevor wir konkrete Felder besprechen, einigen wir uns auf ein Kriterium. Ein Eintrag im Access Log des Proxy-Layers ist nützlich, wenn sich mit ihm drei Fragen beantworten lassen:

  1. Wer? Welcher Client, welches Konto oder Profil, welcher interne Dienst hat die Anfrage ausgelöst.
  2. Worüber? Welcher Ausgangs-Node, welche IP, welcher Anbieter, welche Session verwendet wurde.
  3. Was kam heraus? Antwortcode, Dauer, übertragene Datenmenge, ob es einen Wiederholungsversuch gab.

Beachten Sie: In dieser Liste fehlt die Frage „Was genau wurde übertragen“. Der Inhalt von Anfrage und Antwort sind Anwendungsdaten, nicht Daten des Proxy-Layers. Der Proxy-Layer ist Transport, und er soll Transport-Ereignisse loggen. Das ist ein fundamentales Prinzip der Verantwortungstrennung, und die meisten Probleme mit sensiblen Daten in Logs entstehen genau aus seiner Verletzung.

Identifikatoren und Korrelation

Das wertvollste Feld in einem modernen Log ist der Korrelations-Identifikator (Request ID oder Trace ID). Das ist eine eindeutige Zeichenkette, die die Anwendung bei der Erstellung einer Anfrage generiert und über einen Service-Header an den Proxy-Layer übergibt. Der Proxy schreibt sie in sein Log, die Anwendung in ihr eigenes. Dadurch können Sie ein Ereignis im Parser, ein Ereignis im Proxy und ein Ereignis im IP-Rotationssystem in Sekunden verknüpfen. Ohne Korrelation werden Sie Einträge mit sekundengenauer Zeitübereinstimmung abgleichen — und bei Zehntausenden Anfragen pro Sekunde ist das aussichtslos.

Der zweitwichtigste Identifikator ist die Session-ID. Bei mobilen Proxys ist die Session der Zeitraum, in dem die Anfragen eines bestimmten Kontos über dieselbe IP laufen. Genau die Session verbindet das Access Log mit dem Rotationsprotokoll. Wenn ein Konto blockiert wurde, schauen Sie sich seine Sessions an, sehen, dass sich innerhalb einer Stunde drei IPs aus verschiedenen Regionen abgewechselt haben, und kennen die Ursache.

Kategorien sensibler Daten im Proxy-Traffic

Betrachten wir, was genau über den Proxy-Layer läuft und bei Aufnahme in Logs ein Risiko darstellt:

  • Autorisierungsdaten: Header wie Authorization, Proxy-Authorization, Cookie, Set-Cookie, X-API-Key und ähnliche. Ein Token im Log ist gleichbedeutend mit einem Token im offenen Zugriff für jeden, der Zugang zu den Logs hat — und das ist meist ein deutlich größerer Personenkreis als der mit Zugriff auf Secrets.
  • Personenbezogene Daten in URLs: E-Mail-Adressen in Suchparametern, Telefonnummern, Nutzerkennungen externer Plattformen, Namen in Pfaden. Hier greifen die Anforderungen des Datenschutzrechts, und die Logs werden zu einem Speicher, der rechenschaftspflichtig ist.
  • Zugangsdaten des Proxys selbst: Login und Passwort zur Authentifizierung am Proxy, die der Client im Header übergibt. Ein klassisches Leak-Szenario: Der Proxy schreibt die vollständige Verbindungszeichenfolge in der Form user:pass@host bei einer fehlgeschlagenen Verbindung in das Error Log.
  • Request- und Response-Bodies: Login-Formulare, Zahlungsdaten, Inhalte privater Nachrichten. In einer normalen Konfiguration sollte der Proxy-Layer sie überhaupt nicht sehen, doch beim Debugging ist die Versuchung groß, einen Dump zu aktivieren.
  • Indirekte Identifikatoren: Die Kombination aus User-Agent, Client-IP und exakter Zeit ermöglicht die Deanonymisierung einer Person auch ohne explizite personenbezogene Daten. Aufsichtsbehörden in vielen Jurisdiktionen zählen solche Kombinationen zu personenbezogenen Daten.

Die juristische Dimension

Hier ist Sorgfalt gefragt. Wenn über Ihren Proxy-Layer Nutzerdaten laufen — Kunden Ihres Dienstes, Abonnenten, Käufer —, werden Logs, die deren Kennungen enthalten, zu einer Verarbeitung personenbezogener Daten mit allen daraus folgenden Pflichten: festgelegter Zweck, begrenzte Frist, Schutz bei der Speicherung, Lokalisierung. Logs sind kein „technischer Müll“, wie sie oft wahrgenommen werden. Sie sind eine Datenbank, nur mit ungewöhnlicher Struktur. Die technische Lösung ist hier einfach: personenbezogene Daten in Logs so weit minimieren, dass sie aufhören, personenbezogen zu sein — durch Hashing und Tokenisierung, dazu weiter unten. Damit sinkt die juristische Belastung der Logs radikal.

Die Ökonomie des Loggings

Eine weitere Dimension ist das Geld. Nehmen wir ein hypothetisches Gateway mit zehn Millionen Anfragen pro Tag. Ein Eintrag in kompaktem JSON ohne überflüssige Felder wiegt etwa dreihundert Byte. Das ergibt drei Gigabyte pro Tag, rund neunzig im Monat. Fügen Sie die vollständige URL mit allen Parametern und alle Request-Header hinzu — der Eintrag wächst auf anderthalb bis zwei Kilobyte. Das sind dann zwanzig Gigabyte pro Tag und sechshundert im Monat. Wenn diese Daten in einem heißen Suchindex mit Replikation liegen, unterscheidet sich der Preis um eine Größenordnung. Jedes Feld im Log-Schema ist eine finanzielle Entscheidung für Jahre im Voraus.

Methode 1: Das Eintragsschema entwerfen — was unbedingt hineingehört

Das Prinzip der minimalen Hinlänglichkeit

Ein Log-Schema entwirft man nicht aus der Frage „Was können wir loggen“, sondern aus der Frage „Welche Fragen müssen wir beantworten können“. Erstellen Sie eine Liste von Untersuchungsszenarien und prüfen Sie, dass jedes davon mit den vorhandenen Feldern abgedeckt ist. Typische Szenarien für den Proxy-Layer: Analyse einer Kontosperrung, Suche nach der Ursache steigender Fehlerraten, Billing nach Kunden, Prüfung der Einhaltung von Limits, Untersuchung eines Sicherheitsvorfalls, Nachweis, dass eine konkrete Anfrage nicht über uns gelaufen ist.

Pflichtfelder im Access Log

Unten finden Sie den Kern des Schemas, den wir als Minimum für jeden Proxy-Layer empfehlen. Zu jedem Feld eine Erläuterung, wozu es gebraucht wird:

  • ts — Zeitstempel in UTC mit Millisekunden, Format ISO 8601. Keine lokalen Zonen: Bei einem verteilten Pool stehen die Nodes in verschiedenen Regionen, und lokale Zeit macht Korrelation unmöglich.
  • req_id — Korrelations-Identifikator, vom Client übernommen oder vom Proxy generiert, wenn der Client keinen mitgeliefert hat.
  • client_id — interne Kennung des Clients oder Dienstes, der sich am Proxy authentifiziert hat. Kein Login und kein Passwort, sondern der interne Schlüssel.
  • profile_id — Kennung des Kontos oder Profils, in dessen Namen die Anfrage läuft, wenn Ihr System mit solchen Entitäten arbeitet. Genau dieses Feld verknüpft das Log mit der Geschäftslogik des Multikonten-Betriebs.
  • session_id — Kennung der Proxy-Session, die die Anfrage mit einem konkreten Zeitraum der IP-Bindung verbindet.
  • upstream_id — Kennung des Ausgangs-Nodes im Pool. Nicht die IP selbst, sondern ihr interner Code: Die IP kann wiederverwendet werden, der Code nicht.
  • upstream_ip_hash — hash der Ausgangs-IP mit Salt. Ermöglicht die Gruppierung von Anfragen nach Adresse, ohne die Adresse langfristig im Klartext zu speichern.
  • carrier und region — Anbieter und Region des Ausgangs-Nodes für mobile Proxys. Kritisch für die Analyse, wie Plattformen auf verschiedene Anbieter reagieren.
  • method — HTTP-Methode.
  • host — Zieldomain. Genau die Domain, nicht die vollständige URL.
  • path_template — Pfad mit ersetzten variablen Teilen, zum Beispiel /users/{id}/posts. Bewahrt den analytischen Wert ohne Leak von Kennungen.
  • status — Antwortcode vom Zielserver.
  • proxy_status — interner Verarbeitungsstatus: Erfolg, Timeout zum Upstream-Node, durch eine Regel abgelehnt, Pool erschöpft. Trennt Fehler des Zielservers von Fehlern des Proxys selbst.
  • duration_ms — Gesamtverarbeitungszeit; nützlich ist auch die Aufteilung in Verbindungszeit, Zeit bis zum ersten Byte und Übertragungszeit.
  • bytes_in und bytes_out — übertragene Datenmenge. Grundlage für Billing und Anomalieerkennung.
  • retry — Nummer des Versuchs, falls der Proxy Wiederholungen vornimmt.
  • tls — TLS-Version und Merkmal eines erfolgreichen Handshakes.
  • ua_class — nicht der User-Agent selbst, sondern seine Klasse: mobiler Browser, Desktop, App. Der vollständige User-Agent wird bei Bedarf in einem separaten Verzeichnis unter einem kurzen Code gehalten.

Beispieleintrag

So sieht ein nach diesem Schema erstellter Eintrag aus:

{"ts":"2026-03-14T08:21:37.412Z","req_id":"01HRX7K9M2P4Q","client_id":"c_0412","profile_id":"p_88213","session_id":"s_7f3a91","upstream_id":"n_msk_017","upstream_ip_hash":"a91f...c2","carrier":"op_a","region":"ru-mow","method":"GET","host":"example-platform.com","path_template":"/api/v2/feed/{id}","status":200,"proxy_status":"ok","duration_ms":842,"ttfb_ms":611,"bytes_in":1204,"bytes_out":48211,"retry":0,"tls":"1.3","ua_class":"mobile_android"}

Etwas über dreihundert Byte. Kein einziges Secret, kein personenbezogener Identifikator externer Nutzer, aber das vollständige Bild des Ereignisses. Mit diesem Eintrag lassen sich alle sechs oben genannten Untersuchungsszenarien beantworten.

Pflichtfelder im Rotationsprotokoll

Für mobile Proxys ist das Rotationsprotokoll nicht weniger wichtig als das Access Log. Minimales Schema: Zeitstempel, session_id, upstream_id, Grund der Rotation (nach Zeitplan, auf Kundenwunsch, wegen Fehler, wegen Erreichens des Anfragelimits), Hash der alten und der neuen IP, Anbieter, Dauer der vorherigen Session, Anzahl der Anfragen in der vorherigen Session. Genau mit diesem Protokoll verstehen Sie, dass ein Konto eine Prüfung nicht wegen des Verhaltensinhalts erhalten hat, sondern weil die IP innerhalb von zehn Minuten viermal gewechselt hat.

Schritt-für-Schritt-Anleitung zur Einführung des Schemas

  1. Schreiben Sie die für Ihr Team relevanten Untersuchungsszenarien auf. Mindestens fünf.
  2. Bestimmen Sie für jedes Szenario den minimalen Feldsatz, mit dem es abgedeckt werden kann.
  3. Fassen Sie die Mengen zusammen, entfernen Sie Duplikate. Das ist der Entwurf des Schemas.
  4. Gehen Sie jedes Feld mit der Frage durch: Enthält es ein Secret, personenbezogene Daten oder einen indirekten Identifikator? Falls ja — ersetzen Sie es durch Hash, Klasse oder Template.
  5. Fixieren Sie das Schema als versioniertes Dokument. Jeder Eintrag soll ein Feld schema_version enthalten.
  6. Implementieren Sie eine Validierung: Ein Eintrag, der nicht zum Schema passt, soll schon beim Aufbau des Logs abgelehnt werden, nicht erst nach einem halben Jahr entdeckt werden.
  7. Fahren Sie eine Testlast und messen Sie die durchschnittliche Eintragsgröße. Multiplizieren Sie mit dem Tagesvolumen und vergleichen Sie mit dem Speicherbudget.

Methode 2: Sensible Daten abschneiden — was niemals geloggt wird

Die schwarze Liste der Felder

Beginnen wir mit unbedingten Verboten. Diese Daten dürfen in keinen Strom von Proxy-Layer-Logs gelangen, auf keiner Stufe, einschließlich DEBUG:

  • Werte der Header Authorization, Proxy-Authorization, Cookie, Set-Cookie, aller Header mit den Teilzeichenketten key, token, secret, session im Namen.
  • Zugangsdaten für die Proxy-Verbindung in jeglicher Form, einschließlich Zeichenketten der Form user:pass@host.
  • Request- und Response-Bodies. Vollständig. Muss man beim Debuggen einen Body sehen, geschieht das auf der Anwendungsseite, in einem temporären Speicher, mit automatischer Löschung.
  • Die vollständige Query String mit Parametern. Parameter enthalten regelmäßig E-Mail-Adressen, Telefonnummern, Tokens einmaliger Links.
  • Der vollständige User-Agent in Kombination mit der Client-IP — das ist ein Fingerabdruck, mit dem sich eine Person identifizieren lässt.
  • Offene IP-Adressen der Endnutzer Ihres Dienstes, wenn der Proxy-Layer nicht nur interne Prozesse bedient.

Vier Techniken der Anonymisierung

Verbieten ist einfach. Schwieriger ist es, den analytischen Wert zu erhalten. Hier ist das Instrumentarium, mit dem das gelingt:

Redaktion (redaction)

Vollständige Ersetzung des Werts durch einen Marker wie [REDACTED]. Wird auf alles angewendet, was keinen analytischen Wert hat: Autorisierungs-Header, Passwörter. Wichtige Nuance: Redaktion muss beim Aufbau des Eintrags erfolgen, innerhalb des Proxy-Prozesses, nicht als Nachbearbeitung der Dateien. Nachbearbeitung bedeutet, dass das Secret bereits auf der Platte liegt und in Puffer, Backups und Replikationen gelangt ist.

Maskierung (masking)

Teilweise Verdeckung unter Beibehaltung der Form. E-Mail i***@d*****.ru, Telefon +7 9** *** 12 34. Sie erlaubt dem Support-Mitarbeiter, Daten im Vergleich zu erkennen, aber sie nicht aus dem Log zu rekonstruieren. Wird dort angewandt, wo eine visuelle Prüfung durch einen Menschen nötig ist, und ehrlich gesagt ist das im Proxy-Layer selten. Häufiger ist Maskierung ein Kompromiss, wenn das Team noch nicht zu Hashing bereit ist.

Hashing mit Salt

Der Wert wird durch das Ergebnis einer kryptografischen Hash-Funktion mit geheimem Salt ersetzt. Gleiche Werte ergeben gleiche Hashes, daher bleiben Gruppierung und Zählung von Unikaten erhalten, während die Rekonstruktion des ursprünglichen Werts ohne Salt unmöglich ist. Das ist das Hauptinstrument für IP-Adressen, Nutzerkennungen externer Plattformen, vollständige User-Agent-Zeichenketten. Zentrale Anforderung: Der Salt wird getrennt von den Logs aufbewahrt, in einem Secret Manager, und regelmäßig rotiert. Bei der Salt-Rotation geht die Möglichkeit verloren, alte und neue Hashes einander zuzuordnen — das ist ein bewusster Preis für Sicherheit, und der Rotationszeitraum des Salts entspricht üblicherweise der Aufbewahrungsfrist detaillierter Logs.

Tokenisierung

Der Wert wird durch einen Zufallstoken ersetzt, und die Zuordnung Token-Wert wird in einem separaten geschützten Speicher mit strenger Zugriffskontrolle gehalten. Im Unterschied zum Hashing ist das umkehrbar — aber nur für jene mit Zugriff auf die Zuordnungstabelle. Wird angewendet, wenn eine Incident-Untersuchung die Wiederherstellung des ursprünglichen Werts auf Entscheidung eines Sicherheitsbeauftragten erfordern kann. Zum Beispiel die vollständige Anfrage-URL bei Verdacht auf Missbrauch. Die Zuordnungstabelle lebt nach ihrer eigenen, kürzeren Aufbewahrungsfrist.

Pfad-Templating

Gesondert betrachten wir URL-Pfade. Der Pfad /users/88213/messages/4471 enthält zwei Kennungen. Ihn vollständig zu speichern heißt, indirekte personenbezogene Daten zu behalten. Nur die Domain zu speichern heißt, die Analytik zu Endpunkten zu verlieren. Die Lösung ist Templating. Numerische Segmente, UUIDs, lange hashähnliche Zeichenketten werden durch Platzhalter ersetzt: /users/{id}/messages/{id}. Die Analytik zu Anfragetypen bleibt vollständig erhalten, Kennungen verschwinden. Realisiert wird das durch einen Satz von Ersetzungsregeln, die beim Aufbau des Eintrags angewendet werden.

Wo genau das Abschneiden stattfindet

Die richtige Architektur sieht drei Verteidigungslinien vor:

  1. Im Proxy-Prozess: Der Log-Builder kennt das Schema und nimmt verbotene Felder gar nicht erst auf. Das ist die Hauptlinie.
  2. Im Sammelagenten: Filterregeln, die nach Secret-Mustern suchen (Zeichenketten der Form Bearer mit anschließender langer Sequenz, JWT-artige Konstruktionen, Kartennummern nach der Luhn-Formel) und sie durch Marker ersetzen. Das ist die Absicherung gegen Fehler von Entwicklern, die ein neues Feld hinzugefügt haben.
  3. Im Speicher: Ein periodischer Scanner, der in bereits gespeicherten Daten nach Secret-Mustern sucht und Alarm auslöst. Das ist ein Detektor, kein Filter: Wenn er etwas findet, sind die ersten beiden Linien durchbrochen, und man muss nachforschen.

Checkliste zum Abschneiden sensibler Daten

  • Autorisierungs- und Cookie-Header werden innerhalb des Prozesses redigiert, nicht per Nachbearbeitung.
  • Proxy-Zugangsdaten gelangen nie ins Error Log, auch nicht in Fehlermeldungen zur Verbindung.
  • Request- und Response-Bodies werden auf keiner Stufe geloggt.
  • Die Query String wird verworfen oder templatisiert.
  • IP-Adressen werden mit Salt gehasht; der Salt wird getrennt aufbewahrt und rotiert.
  • URL-Pfade werden nach Regeln templatisiert.
  • Der User-Agent wird durch eine Klasse oder einen Verzeichnis-Code ersetzt.
  • Der Sammelagent hat Regeln zum Auffinden von Secret-Mustern.
  • Der Speicher wird regelmäßig auf Secrets gescannt.
  • Der DEBUG-Modus wird per konkretem client_id, für begrenzte Zeit, mit automatischer Abschaltung aktiviert.

Methode 3: Rotation und mehrstufige Speicherung

Warum Rotation nötig ist

Log-Rotation bedeutet, die aktuelle Datei regelmäßig zu schließen und eine neue zu beginnen, mit anschließender Komprimierung, Verschiebung oder Löschung der alten. Ohne Rotation wächst die Datei unbegrenzt, sie lässt sich weder lesen, noch komprimieren, noch selektiv löschen, und eine volle Festplatte stürzt den Proxy-Prozess selbst ab. Das klingt banal, aber nach unserer Erfahrung hängt mindestens ein Drittel der Verfügbarkeitsstörungen selbstgebauter Proxy-Gateways genau mit einer durch Logs vollgelaufenen Festplatte zusammen.

Rotationskriterien

Die Datei wird nach der zuerst eintretenden Bedingung geschlossen:

  • Nach Größe — meist zwischen hundert Megabyte und einem Gigabyte. Weniger — zu viele Dateien, mehr — langes Komprimieren und unbequeme Übertragung.
  • Nach Zeit — eine Stunde für hoch belastete Gateways, ein Tag für kleinere. Zeitbasierte Rotation macht Dateinamen vorhersagbar und erleichtert die Suche.
  • Nach Ereignis — Prozessneustart, Wechsel der Schema-Version. Eine Datei sollte keine Einträge zweier verschiedener Schemata enthalten.

Praxis: nach Zeit rotieren mit einer Größenbegrenzung. Zum Beispiel stündlich, aber höchstens fünfhundert Megabyte pro Datei. Der Dateiname enthält Node, Strom und den Zeitstempel des Anfangs: access-gw-msk-01-2026031408.jsonl.

Verlustfreie Mechanik

Ein kritisches Detail, das oft übersehen wird: Rotation darf nicht zum Verlust von Einträgen führen. Ein klassischer Fehler ist, die Datei umzubenennen und eine neue anzulegen, während der Prozess weiter in den alten Deskriptor schreibt. Richtige Ansätze: Der Prozess öffnet bei Eintritt der Bedingung selbst eine neue Datei (eingebaute Rotation); oder ein externer Rotator sendet dem Prozess ein Signal, die Datei nach dem Umbenennen neu zu öffnen; oder, was in modernen Architekturen vorzuziehen ist, der Prozess schreibt auf die Standardausgabe, und der Sammelagent übernimmt den Strom und verwaltet die Dateien selbst. Die dritte Variante nimmt dem Proxy-Prozess die gesamte Verantwortung für die Festplatte ab.

Komprimierung

Strukturierte JSON-Logs lassen sich hervorragend komprimieren — typischer Kompressionsfaktor zwischen acht und fünfzehn dank wiederkehrender Feldnamen und begrenzter Wertemenge. Das bedeutet, ein Gigabyte Rohlogs wird zu siebzig bis hundert Megabyte Archiv. Wahl des Algorithmus: für Dateien, die häufig gelesen werden, schnelle Algorithmen mit moderatem Kompressionsgrad; für das Archiv maximale Kompression. Komprimieren Sie nicht direkt nach dem Schließen der Datei, sondern mit einem Abstand von ein bis zwei Rotationsperioden: frische Dateien werden oft für die operative Analyse gebraucht.

Mehrstufiges Speichermodell

Hier kommen wir zur zentralen Idee wirtschaftlichen Speicherns. Nicht alle Logs sind gleich gefragt. Die Zugriffe auf Einträge sind extrem ungleich verteilt: Die überwiegende Mehrheit der Log-Abfragen betrifft die letzten 24 Stunden, ein merklicher Anteil die letzte Woche, und nur einzelne Abfragen betreffen Daten, die älter als ein Monat sind. Alles in einem gleich teuren und schnellen Speicher zu halten ist Verschwendung. Daraus folgt das mehrstufige Modell:

Heiße Stufe

Die letzten ein bis drei Tage. Vollwertiger Suchindex, alle Felder indiziert, Antwort in Sekunden. Die teuerste Stufe pro Gigabyte. Hier leben operative Untersuchungen, Debugging, Analyse frischer Incidents.

Warme Stufe

Drei bis dreißig Tage. Daten in komprimiertem Spaltenformat im Objektspeicher, Suche über eine Engine, die die Dateien direkt liest. Antwort auf eine Abfrage in Dutzenden Sekunden, dafür die Speicherkosten um eine Größenordnung niedriger. Hier liegen Wochenberichte, die Bearbeitung von Kundenbeschwerden, die Analyse von Sperrtrends.

Kalte Stufe

Dreißig Tage bis zum Ende der Aufbewahrungsfrist. Komprimierte Archive in der günstigsten Objektspeicherklasse, möglicherweise mit Zugriffsverzögerung. Suche nur nach exakter Zeit und Node, danach Entpacken und manuelle Auswertung. Hier liegen juristische Anfragen, Audits, Untersuchungen alter Incidents.

Aggregate

Eine eigene Stufe, die oft vergessen wird. Bevor detaillierte Einträge gelöscht werden, werden daraus Aggregate berechnet: Anzahl Anfragen, Verteilung der Antwortcodes, durchschnittliche Dauer — nach Client, Node, Domain, Stunde. Aggregate belegen Bruchteile eines Prozents des Volumens detaillierter Logs und werden jahrelang aufbewahrt. Genau sie erlauben die Antwort auf die Frage „Wie war es vor einem Jahr“, ohne ein Jahr detaillierter Einträge zu speichern.

Schritt-für-Schritt-Einrichtung von Rotation und Stufen

  1. Bestimmen Sie den Ausgabestrom des Proxy-Prozesses: Standardausgabe in einen Sammelagenten ist besser als direktes Schreiben in eine Datei.
  2. Konfigurieren Sie Rotation nach Zeit (Stunde oder Tag) mit einer Größenbegrenzung.
  3. Legen Sie die Komprimierung mit einem Abstand von ein bis zwei Perioden nach Schließen der Datei fest.
  4. Trennen Sie die Ströme: Access, Error, Audit, Rotation — in verschiedene Dateien oder Indizes.
  5. Richten Sie die Verschiebung in die warme Stufe nach Dateialter ein, mit Konvertierung in ein Spaltenformat.
  6. Richten Sie die Verschiebung in die kalte Stufe und die Löschung bei Erreichen der Aufbewahrungsfrist ein.
  7. Implementieren Sie die tägliche Berechnung von Aggregaten aus der heißen Stufe und deren Ablage in einem eigenen langlebigen Speicher.
  8. Setzen Sie ein Alert auf freien Speicherplatz am Node und auf Verzögerungen beim Versand an den Sammelagenten: Wenn Logs nicht abfließen, sammeln sie sich lokal an.
  9. Prüfen Sie quartalsweise, dass die Löschung tatsächlich erfolgt: Zählen Sie die älteste Datei in jeder Stufe.

Methode 4: Die Aufbewahrungspolitik

Drei Kräfte bestimmen die Frist

Die Aufbewahrungsfrist von Logs ist ein Kompromiss zwischen drei Kräften, die in verschiedene Richtungen ziehen. Ingenieure möchten länger speichern: Man weiß nie, wann ein alter Incident aufgeklärt werden muss. Die Finanzabteilung möchte weniger speichern: Jedes Gigabyte kostet Geld. Sicherheit und Juristen sind die interessanteste Seite: Sie fordern gleichzeitig, lange genug für Untersuchungen zu speichern und kurz genug, um keine Daten anzuhäufen, für deren Leak man haften muss. Jeder Eintrag mit personenbezogenen Daten, den Sie länger als nötig aufbewahren, ist eine Verpflichtung, kein Aktivposten.

Prinzip: Die Frist hängt von Sensibilität und Nachfrage ab

Verschiedene Ströme und Felder leben unterschiedlich lange. Das ist der Kern dieses Abschnitts. Es gibt keine einheitliche „Aufbewahrungsfrist für Logs“ — es gibt eine Fristenmatrix:

  • Detailliertes Access Log: vierzehn bis neunzig Tage. Die Nachfrage fällt exponentiell, die Sensibilität ist selbst nach Anonymisierung mittel.
  • Error Log: dreißig bis hundertachtzig Tage. Das Volumen ist klein, der Wert für die Analyse wiederkehrender Probleme hoch.
  • Audit Log: ein bis drei Jahre. Wer die Konfiguration geändert und Zugriffe ausgegeben hat — diese Daten werden bei Untersuchungen auch nach langer Zeit gebraucht. Das Volumen ist vernachlässigbar.
  • Rotationsprotokoll: so lange wie das Access Log — sie sind ohne einander sinnlos.
  • Tokenisierungs-Tabelle: kürzer als die Logs selbst — sieben bis dreißig Tage. Nach Ablauf werden Tokens in den Logs irreversibel.
  • Aggregate: zwei bis fünf Jahre. Enthalten keine personenbezogenen Daten, belegen wenig Platz, sind wertvoll für die langfristige Analytik.

So berechnen Sie die Frist für Ihre Situation

Wir schlagen ein praktisches Framework aus fünf Fragen vor:

  1. Was ist das längste realistische Untersuchungsszenario? Ein Kunde beschwert sich über eine Kontosperrung, die vor drei Wochen passiert ist — also werden detaillierte Logs mindestens einundzwanzig Tage plus Reserve gebraucht.
  2. Gibt es externe Verpflichtungen? Verträge mit Kunden können vorschreiben, Zugriffsprotokolle für einen bestimmten Zeitraum aufzubewahren, um strittige Billing-Fälle zu klären. Regulatorische Anforderungen an Betreiber bestimmter Datenkategorien können ebenfalls Mindestfristen setzen.
  3. Welche Daten in den Logs bleiben nach der Anonymisierung sensibel? Wenn Hashing mit Salt-Rotation angewendet wurde, sinkt die Sensibilität nach der Rotation fast auf null, und die Speicherung kann verlängert werden.
  4. Was kostet die Speicherung in jeder Stufe? Berechnen Sie die Kosten eines Monats heißer, warmer und kalter Speicherung bei Ihrem Volumen. Oft stellt sich heraus, dass ein Jahr Logs in kalter Speicherung weniger kostet als eine Woche in heißer.
  5. Was geht beim Löschen verloren? Wenn Aggregate die langfristige Analytik abdecken, können detaillierte Einträge getrost gelöscht werden.

Rechtliche Aussetzung der Löschung

Ein Pflichtelement der Politik ist der Mechanismus zur Aussetzung der Löschung (Legal Hold). Wird eine Incident-Untersuchung eingeleitet oder geht ein offizieller Auskunftsantrag ein, muss die automatische Löschung des betroffenen Zeitraums bis zum Abschluss der Klärung eingefroren werden. Technisch ist das ein Flag an der Datei oder am Präfix im Objektspeicher, das der Löschprozess prüft. Organisatorisch ist es ein Reglement, wer dieses Flag setzen und aufheben darf. Ohne einen solchen Mechanismus geraten Sie in die Lage, dass die benötigten Daten durch den Zeitplan genau an dem Tag gelöscht wurden, an dem sie gebraucht wurden.

Dokumentation der Politik

Die Aufbewahrungspolitik ist ein Dokument, nicht eine Einstellung in einer Konfigurationsdatei. Mindestinhalt: Liste der Log-Ströme und Felder; für jeden — Erhebungszweck, Aufbewahrungsfrist in jeder Stufe, Anonymisierungsmethode; Verantwortliche für die Politik und ihre Umsetzung; Verfahren zur Aussetzung der Löschung; Verfahren zur Prüfung, dass gelöscht wird; Überprüfungsintervall — meist jährlich oder bei Schema-Änderung. Dieses Dokument ist das Erste, was ein Auditor anfordert, und das Erste, was Sie bei einem Incident schützt: Es zeigt, dass Daten sinnvoll verarbeitet wurden.

Vorlage für eine Speichermatrix

Füllen Sie für Ihren Fall eine Tabelle mit den Spalten aus: Strom, Felder mit Sensibilität, Anonymisierungsmethode, heiße Stufe (Tage), warme Stufe (Tage), kalte Stufe (Tage), Aggregate (Monate), Begründung der Frist, Verantwortlicher. Eine Zeile pro Strom. Eine fertige Matrix passt auf eine Seite und beseitigt neunzig Prozent der Streitigkeiten zwischen Teams.

Typische Fehler: Was man nicht tun sollte

Alles „auf Verdacht“ loggen

Der häufigste und teuerste Fehler. Das Argument „besser haben und nicht nutzen“ funktioniert bei Logs nicht: Ungenutzte Daten kosten Geld, erzeugen ein Leak-Risiko und machen den Speicher zu einem Ort, an dem das Nötige unter dem Überflüssigen nicht zu finden ist. Jedes Feld muss eine konkrete Frage aus der Szenarienliste beantworten.

DEBUG in der Produktion aktivieren und vergessen, es auszuschalten

Der DEBUG-Modus eines Proxys bedeutet fast immer einen Header-Dump. Freitagabend zur Aufklärung eines Problems eingeschaltet, füllt er bis Montag die Festplatte mit Autorisierungstokens aller Kunden. Regel: DEBUG wird per Filter und mit einem Timer zur automatischen Abschaltung aktiviert.

Secrets in Fehlermeldungen schreiben

Ein Entwickler formuliert eine Fehlermeldung zur Verbindung und fügt die vollständige Verbindungszeichenfolge ein — mit Login und Passwort. Dabei wird das Error Log länger aufbewahrt als das Access Log und von mehr Personen eingesehen. Prüfen Sie alle Stellen der Fehlermeldungsgenerierung auf Interpolation von Zugangsdaten.

Ströme in einer Datei mischen

Access, Error und Audit in einer Datei bedeuten, dass Audit-Einträge, die drei Jahre leben sollten, zusammen mit Access-Einträgen nach einem Monat gelöscht werden, und Access-Einträge, die komprimiert werden sollten, zwischen seltenen Error-Einträgen liegen, die man mit den Augen lesen muss.

Zeit in der lokalen Zone speichern

Pool-Nodes in verschiedenen Regionen, Zeitumstellung in manchen Jurisdiktionen, Vergleich mit Logs externer Systeme — all das zerbricht an lokaler Zeit. Nur UTC, nur ISO 8601.

Post-processing zur Anonymisierung

Ein Skript, das nachts über Dateien läuft und Tokens herausschneidet, ist ein Eingeständnis, dass die Tokens den ganzen Tag im Klartext auf der Platte lagen und außerdem in Puffer des Sammelagenten, in Replikate und vielleicht in Backups gelangt sind. Anonymisierung erfolgt beim Aufbau des Eintrags.

Nicht prüfen, ob die Löschung funktioniert

Die Politik ist geschrieben, die Frist gesetzt, die Automatisierung eingerichtet — und nach zwei Jahren stellt sich heraus, dass die Löschung wegen geänderter Bucket-Rechte stillschweigend mit Fehler abgebrochen ist und der Speicher die ganze Historie enthält. Die Prüfung der ältesten Datei in jeder Stufe ist ein quartalsweises Ritual.

Den Hash-Salt neben den Logs aufbewahren

Der Salt in einer Konfigurationsdatei des Proxys, die im selben Repository oder auf derselben Festplatte liegt, ist das Fehlen eines Salts. Gehashte IPs werden dann per Brute-Force in Minuten rekonstruiert. Der Salt gehört in einen Secret Manager mit eingeschränktem Zugriff und Rotation.

Die vollständige URL loggen

Die Query String ist ein Konzentrat sensibler Daten: E-Mail in Suchparametern, Tokens einmaliger Links, Nutzerkennungen. Domain plus templatisierter Pfad reichen für jede Transportanalytik.

Werkzeuge und Ressourcen

Proxy-Server und ihre Logging-Möglichkeiten

Die meisten ausgereiften Proxy-Server und Reverse Proxys unterstützen ein konfigurierbares Access-Log-Format, einschließlich JSON-Ausgabe, und erlauben das Ausschließen oder Überschreiben von Feldern per Konfiguration. Achten Sie bei der Auswahl auf drei Dinge: die Möglichkeit, ein strukturiertes Log ohne zwischengeschaltetes Textformat auszugeben; die Möglichkeit, einen Korrelations-Header des Clients in den Eintrag aufzunehmen; die Möglichkeit, das Logging bestimmter Header vollständig auf Konfigurationsebene zu verbieten, nicht auf Codeebene. Wenn der Proxy-Layer selbstgebaut ist — bei mobilen Proxy-Management-Systemen keine Seltenheit —, nutzen Sie eine Bibliothek für strukturiertes Logging Ihrer Sprache mit Unterstützung für Record-Prozessoren. Genau im Prozessor werden Redaktion und Hashing realisiert.

Sammelagenten

Der Sammelagent ist ein Prozess auf dem Node, der die Proxy-Ausgabe liest, Filter anwendet und Einträge an den Speicher sendet. Wichtige Auswahlkriterien: Unterstützung von Ersetzungsregeln per regulärem Ausdruck für die zweite Verteidigungslinie; Pufferung auf der Festplatte bei Nichtverfügbarkeit des Speichers, um keine Einträge zu verlieren; geringer Ressourcenverbrauch, da der Agent neben dem Proxy-Prozess auf demselben Node lebt; Unterstützung der Weiterleitung verschiedener Ströme an verschiedene Ziele.

Speicher und Suchmaschinen

Für die heiße Stufe eignen sich Suchindizes mit Volltextsuche über Felder oder spaltenorientierte Analyse-Datenbanken, die in den letzten Jahren klassische Indizes dank besserer Kompression und Aggregationsgeschwindigkeit verdrängen. Für warme und kalte Stufen — Objektspeicher mit spaltenorientiertem Dateiformat und einer Abfrage-Engine, die diese direkt liest. Wählen Sie einen Objektspeicher mit Lifecycle-Richtlinien: Die automatische Verschiebung zwischen Speicherklassen und das Löschen nach Alter lassen sich per Konfiguration einrichten, ohne eigenen Code.

Werkzeuge zur Anonymisierung

Eine eigene Klasse von Werkzeugen sind Secret-Scanner, ursprünglich für die Suche nach Schlüsseln in Code-Repositories geschaffen. Ihre Mustererkennung lässt sich auch auf Logs anwenden: Sie finden Tokens, Schlüssel von Cloud-Anbietern, JWT-artige Zeichenketten. Auf einen periodischen Lauf über den Speicher angesetzt, wird ein solcher Scanner zur dritten Verteidigungslinie. Für Pfad-Templating und Hashing gibt es keine spezialisierten Werkzeuge — das sind ein paar Dutzend Zeilen im Log-Prozessor.

Secret-Management

Der Salt für das Hashing und die Tokenisierungs-Tabelle sollten in einem Secret Manager mit Zugriffsprotokollierung leben. Das kann sowohl eine Lösung eines Cloud-Anbieters als auch ein selbst betriebener Secret-Speicher sein. Kriterium ist die Möglichkeit, dem Proxy-Prozess Zugriff auf den Salt zu gewähren, ohne dass ein Mensch dessen Wert kennt.

Was man lesen und woran man sich orientieren sollte

Orientierung bieten Branchenleitfäden zum sicheren Logging aus den Gemeinschaften der Anwendungssicherheit, in denen erschöpfende Listen der in Logs verbotenen Daten enthalten sind; die Dokumentation der Aufsichtsbehörden zur Minimierung personenbezogener Daten; die Empfehlungen zur mehrstufigen Speicherung von Cloud-Anbietern mit Kostenberechnungen. Separat nützlich sind Materialien zu Spezifikationen verteilten Tracings — genau von dort sollte man das Format der Korrelations-Identifikatoren übernehmen.

Fälle und Ergebnisse

Fall 1: Marketing-Automation-Team, sechsfache Reduktion des Log-Volumens

Ausgangslage: Ein Gateway für die Arbeit mit Werbekonten über einen Pool mobiler Proxys, etwa vier Millionen Anfragen pro Tag. Die Logs wurden im Textformat geschrieben, mit vollständiger URL, allen Request-Headern und dem ersten Kilobyte des Response-Body „zum Debuggen“. Durchschnittlicher Eintrag etwa zwei Kilobyte, Tagesvolumen acht Gigabyte, alles in einem heißen Suchindex mit neunzig Tagen Aufbewahrung. Die Kosten des Index waren eine merkliche Position im Infrastrukturbudget.

Was gemacht wurde: Umstellung auf das oben beschriebene JSON-Schema mit zwanzig Feldern. Header, Body und Query String entfielen. Pfade wurden templatisiert. Es wurden Stufen eingeführt: drei Tage heiß, dreißig warm, neunzig kalt. Aggregate nach Stunden mit dreijähriger Aufbewahrung wurden eingeführt.

Ergebnis: Durchschnittlicher Eintrag 320 Byte, Tagesvolumen 1,3 Gigabyte, nach Komprimierung in der warmen Stufe etwa hundert Megabyte pro Tag. Die Speicherkosten sanken um etwa 85 Prozent. Ein unerwarteter Nebeneffekt: Die Geschwindigkeit der Incident-Analyse stieg, weil die Analysten nicht mehr in Headern ertranken und sofort die Schlüsselfelder sahen. Und zwei Monate später fand ein Secret-Scanner, der als dritte Linie aufgestellt worden war, in den alten Archiven mehr als zwölftausend aktive Tokens von Werbekonten — sie wurden widerrufen und neu ausgestellt.

Fall 2: Marketplace-Parsing-Dienst, Aufklärung von Sperren mit dem Rotationsprotokoll

Situation: Ein Team parst öffentliche Produktkarten über mobile Proxys und erlebt eine Welle von Sperrungen eines Teils der Sessions. Die Metriken zeigen steigende Fehler, aber nicht die Ursache. Ein Access Log existiert, ein Rotationsprotokoll nicht.

Was gemacht wurde: Ein Rotationsprotokoll mit Grund des IP-Wechsels und Session-Dauer wurde hinzugefügt und über session_id mit dem Access Log verknüpft. Schon nach zwei Tagen war an den Daten zu sehen: Die blockierten Sessions hatten in der überwiegenden Mehrheit eine Dauer von unter drei Minuten — die Rotation wurde durch einen aggressiven Timer ausgelöst, und die Zielplattform sah dasselbe Profil innerhalb eines kurzen Intervalls von drei verschiedenen IPs. Sessions mit mehr als zwanzig Minuten Dauer wurden dreimal seltener blockiert.

Ergebnis: Nach Neukonfiguration der Rotation sank der Anteil blockierter Sessions von elf auf weniger als drei Prozent. Aufwand: etwa vierzig Byte pro Rotationseintrag, zehntausend Einträge pro Tag — ein Volumen, das neben dem Access Log nicht auffällt. Die Schlussfolgerung, die wir für wichtig halten: Für mobile Proxys ist das Rotationsprotokoll keine Option, sondern ein Pflichtstrom.

Fall 3: Plattform mit externen Kunden, Anpassung der Logs an Datenschutzanforderungen

Situation: Ein Dienst bietet Kunden Proxy-Zugriff, über den Anfragen der Endnutzer der Kunden laufen. In den Logs: IPs der Endnutzer, vollständige User-Agents, vollständige URLs. Ein juristisches Audit qualifiziert die Logs als Datenbank mit personenbezogenen Daten mit einer Aufbewahrungsfrist von einem Jahr.

Was gemacht wurde: IPs wurden durch Hashes mit Salt ersetzt, der alle dreißig Tage rotiert; User-Agent durch einen Verzeichnis-Code; URL durch Domain und Pfad-Template. Eine Speichermatrix mit Begründung der Fristen wurde erstellt. Ein Mechanismus zur Aussetzung der Löschung wurde eingeführt. Detaillierte Logs wurden auf fünfundvierzig Tage begrenzt, Aggregate auf drei Jahre.

Ergebnis: Nach der Salt-Rotation enthielten Logs, die älter als dreißig Tage waren, keine Daten mehr, mit denen sich ein Nutzer auch nur indirekt identifizieren ließe, und wurden aus der Rechenschaftspflicht als Datenbank mit personenbezogenen Daten entlassen. Der Umfang der Schutzpflichten sank, die Fähigkeit, Incidents des letzten Monats aufzuklären, blieb vollständig erhalten. Das Audit akzeptierte die Speichermatrix als ausreichenden Nachweis einer sinnvollen Verarbeitung.

Fall 4: Vorfall mit voller Festplatte

Kurz, aber bezeichnend. Ein selbstgebauter Proxy-Manager schrieb Logs ohne Rotation in eine Datei. Innerhalb von vier Monaten wuchs die Datei auf vierzig Gigabyte, die Festplatte des Nodes lief voll, der Prozess stürzte beim Schreibversuch ab, ein Pool aus zwanzig Modems lag nachts drei Stunden still. Nach dem Vorfall: Ausgabe auf den Standardstrom, Sammelagent mit Puffer, Rotation stündlich, Alert auf freien Speicherplatz. Es gab keine Wiederholung. Der Aufwand der Lösung: ein Arbeitstag.

FAQ: schwierige Fragen zu Proxy-Layer-Logs

Muss man erfolgreiche Anfragen loggen oder reichen Fehler?

Man muss. Erfolgreiche Anfragen sind die Grundlage für Billing, für die Berechnung der Fehleranteile (ohne Nenner ist der Anteil sinnlos), für die Analyse, wie Plattformen auf verschiedene Anbieter reagieren, und für den Nachweis, dass eine konkrete Anfrage nicht über Sie lief. Man muss an der Größe des Eintrags sparen, nicht an deren Anzahl. Ist das Volumen dennoch untragbar, verwenden Sie Sampling: Loggen Sie alle Fehler und jede zehnte erfolgreiche Anfrage mit einem Sampling-Flag, um bei der Aggregation mit dem Faktor zu multiplizieren.

Wie untersucht man einen Incident, wenn die IP gehasht und der Salt bereits rotiert ist?

Das ist eine bewusste Grenze. Nach der Salt-Rotation werden die Daten irreversibel — darin liegt ihr Schutzwert. Untersuchungen, die die Rekonstruktion der IP erfordern, müssen in den Gültigkeitszeitraum des Salts fallen, der üblicherweise mit der Frist der detaillierten Speicherung übereinstimmt. Wenn Untersuchungsszenarien regelmäßig über diesen Zeitraum hinausgehen, verlängern Sie den Rotationszeitraum des Salts — aber im Bewusstsein, dass Sie damit die Frist verlängern, in der die Logs sensibel bleiben. Für wirklich lange Untersuchungen nutzen Sie den Mechanismus der Aussetzung der Löschung und den Salt gleichzeitig.

Worin unterscheiden sich Proxy-Layer-Logs von Tracing?

Tracing beschreibt den Weg einer Anfrage durch mehrere Dienste mit verschachtelten Zeitintervallen. Ein Log beschreibt ein Ereignis in einer Komponente. Sie ergänzen einander über einen gemeinsamen Korrelations-Identifikator: Im Trace sehen Sie, dass die Anfrage achthundert Millisekunden im Proxy-Layer verbracht hat, im Log — warum genau: fünfhundert auf die Verbindung zum Upstream-Node, zweihundert auf TLS, hundert auf die Übertragung. Versuchen Sie nicht, das eine durch das andere zu ersetzen.

Sollte man Logs bei der Speicherung verschlüsseln?

Ja, in allen Stufen. Auch anonymisierte Logs enthalten Geschäftsinformationen: welche Domains Sie anfragen, mit welcher Intensität, über welche Anbieter. Verschlüsselung auf der Speicherseite ist eine Standardeinstellung von Objektspeichern und wird per Flag aktiviert. Zusätzlich sollten Sie den Zugriff auf die heiße Stufe nach Rollen einschränken: Analysten sehen Aggregate und anonymisierte Felder, Sicherheitsbeauftragte alles.

Wie umgehen mit Logs beim Betrieb in mehreren Regionen?

Schreiben Sie die Zeit in UTC und die Region des Nodes als eigenes Feld. Die Speicherung kann zentral oder regional erfolgen, je nach Anforderungen an die Datenlokalisierung: Wenn über den Proxy Daten von Nutzern aus einer bestimmten Jurisdiktion laufen, können Logs mit deren anonymisierten Kennungen unter die Pflicht zur Speicherung in dieser Jurisdiktion fallen. Klären Sie das mit den Juristen vor dem Design, nicht danach.

Kann man Proxy-Logs für das Kunden-Billing verwenden?

Man kann und sollte, aber mit zwei Einschränkungen. Erstens: Billing stützt sich auf Aggregate, nicht auf detaillierte Einträge — Summen pro client_id für einen Zeitraum. Aggregate leben länger und enthalten nichts Sensibles. Zweitens: Wenn ein Log die Grundlage für die Abrechnung mit Kunden ist, gelten für ihn Anforderungen der Unveränderbarkeit — Einträge werden nicht nachträglich bearbeitet, Dateien erhalten Prüfsummen, Schreibzugriff hat nur der Sammelprozess.

Wie stellt man sicher, dass ein neu hinzugefügtes Feld eines Entwicklers kein Secret enthält?

Prozessual: Jede Änderung des Log-Schemas durchläuft ein Review mit der Pflichtfrage nach der Sensibilität jedes neuen Felds, und die Schema-Version wird inkrementiert. Technisch: Die zweite Verteidigungslinie im Sammelagenten fängt Secret-Muster unabhängig vom Feldnamen ab, die dritte — der Speicher-Scanner — signalisiert, falls etwas durchgesickert ist. Zusätzlich hilfreich ist ein Test, der eine Anfrage mit einem bewusst bekannten Fake-Token durch den Log-Builder schickt und prüft, dass der Token nicht in der Ausgabe erscheint.

Was macht man mit den Logs, wenn ein Node aus dem Pool genommen wird?

Die Logs des Nodes bleiben im Speicher bis zum Ende der Aufbewahrungsfrist — sie beschreiben Ereignisse, die stattgefunden haben, und ihre Löschung zusammen mit dem Node verletzt die Integrität der Historie. Die lokalen Puffer am Node sollten vor dessen Abschaltung an den Speicher gesendet werden; dazu gehört in das Ausmusterungsverfahren das Warten auf die Leerung des Agentenpuffers. Die Node-Kennung wird nicht für neue Nodes wiederverwendet, sonst vermischen sich Einträge zweier verschiedener Geräte.

Wie beurteilt man, ob die Aufbewahrungspolitik angemessen ist?

Führen Sie quartalsweise drei Prüfungen durch. Erstens: Nehmen Sie die letzten fünf Incidents und vergewissern Sie sich, dass für jeden die nötigen Daten in der passenden Stufe verfügbar waren. Zweitens: Zählen Sie, wie viele Log-Abfragen im Quartal Daten betrafen, die älter als dreißig Tage waren; ist die Zahl null, kann die kalte Stufe verkürzt werden. Drittens: Vergewissern Sie sich, dass die älteste Datei jeder Stufe nicht älter als die festgelegte Frist ist. Wenn alle drei Prüfungen bestehen, ist die Politik angemessen.

Fazit: Logs als geplantes System, nicht als Nebenprodukt

Fassen wir das Wichtigste zusammen. Proxy-Layer-Logs sind nichts, was „sich von selbst schreibt“, sondern ein geplantes System mit eigenem Schema, eigenen Grenzen und eigenem Lebenszyklus. Es beantwortet die Fragen „Wer“, „Worüber“ und „Was kam heraus“ und beantwortet grundsätzlich nicht die Frage „Was wurde übertragen“ — das ist die Verantwortung der Anwendung.

Was loggen: Zeitstempel in UTC, Korrelations-Identifikatoren, Client, Profil und Session, Node-Code, anonymisierte IP, Anbieter und Region, Methode, Domain und Pfad-Template, Antwort- und interner Statuscode, Dauern, Volumina, Versuchsnummer. Für mobile Proxys — ein Pflicht-Rotationsprotokoll mit dem Grund des IP-Wechsels.

Was nicht loggen: Autorisierungs-Header und Cookies, Proxy-Zugangsdaten, Request- und Response-Bodies, vollständige URLs mit Parametern, vollständige User-Agents in Verbindung mit der IP, offene Adressen von Endnutzern. Anonymisierung — innerhalb des Prozesses, mit zwei zusätzlichen Verteidigungslinien im Sammelagenten und im Speicher-Scanner.

Wie speichern: getrennte Ströme, Rotation nach Zeit mit Größenbegrenzung, Komprimierung, Stufen von heiß bis kalt mit Aggregaten am Ende, Fristenmatrix pro Strom, Mechanismus zur Aussetzung der Löschung und regelmäßige Prüfung, dass die Löschung erfolgt.

Nächste Schritte, die wir diese Woche empfehlen. Erstens: Exportieren Sie hundert zufällige Einträge aus Ihrem aktuellen Log und gehen Sie sie mit der Checkliste zum Abschneiden sensibler Daten durch — das Ergebnis wird Sie vermutlich überraschen. Zweitens: Berechnen Sie die durchschnittliche Eintragsgröße, multiplizieren Sie sie mit dem Tagesvolumen und der Aufbewahrungsfrist, und vergleichen Sie das Ergebnis mit dem, was sich mit dem Schema aus diesem Leitfaden ergeben würde. Drittens: Erstellen Sie eine Speichermatrix auf einer Seite und zeigen Sie sie den Sicherheitsverantwortlichen und Juristen — dieses Gespräch führt man besser vor einem Incident als danach.

Logs sind das Gedächtnis Ihrer Infrastruktur. Ein gutes Gedächtnis behält das Wichtige, vergisst das Überflüssige und speichert nichts, was Schaden anrichten kann. Entwerfen Sie es genau so.