Logi warstwy proxy: co zapisywać, czego nie zapisywać i jak przechowywać — kompletny przewodnik
Spis treści
- Wprowadzenie: dlaczego logi warstwy proxy zasługują na osobną rozmowę
- Podstawy: czym jest log warstwy proxy i z czego się składa
- Głębokie zanurzenie: anatomia rekordu i natura ryzyk
- Metoda 1: projektowanie schematu rekordu — co zapisywać obowiązkowo
- Metoda 2: odcinanie danych wrażliwych — czego nie zapisywać nigdy
- Metoda 3: rotacja i warstwowe przechowywanie
- Metoda 4: polityka okresów przechowywania
- Typowe błędy: czego nie robić
- Narzędzia i zasoby
- Case studies i wyniki
- Faq: trudne pytania o logi warstwy proxy
- Zakończenie: logi jako projektowany system, a nie produkt uboczny
Wprowadzenie: dlaczego logi warstwy proxy zasługują na osobną rozmowę
Wyobraź sobie taką sytuację. W nocy konwersja parsera spada o jedną trzecią, rano dział bezpieczeństwa pyta, kto i gdzie chodził przez firmową bramę proxy przedwczoraj, a w południe prawnik interesuje się, dlaczego w archiwach leżą pełne adresy URL z tokenami dostępu klientów z ostatnich dwóch lat. Wszystkie trzy pytania sprowadzają się do jednej rzeczy — logów warstwy proxy. I prawie zawsze okazuje się, że logi albo nie zawierają tego, co trzeba, albo zawierają to, czego być nie powinno, albo są przechowywane w taki sposób, że znalezienie w nich czegokolwiek w rozsądnym czasie jest niemożliwe.
Omawialiśmy już obserwowalność puli proxy: metryki skuteczności, opóźnienia na węzłach, alerty o degradacji, dashboardy. To rozmowa o tym, jak system czuje się jako całość. Dzisiejszy temat jest inny. Metryka powie ci, że odsetek błędów 429 wzrósł z dwóch do czternastu procent. Log powie ci, które konkretnie konto, przez które konkretnie IP operatora mobilnego, z jakim nagłówkiem User-Agent i w której sekundzie otrzymało tę odpowiedź. Metryki odpowiadają na pytanie „co się dzieje”, logi — na pytanie „co dokładnie się stało i z kim”. Tutaj mówimy wyłącznie o zawartości rekordów, odcinaniu danych wrażliwych, rotacji plików i polityce okresów przechowywania.
Dlaczego to jest krytyczne właśnie teraz? Po pierwsze, wolumeny. Przeciętna brama proxy nawet w niewielkim zespole automatyzacji marketingu generuje od kilkuset tysięcy do dziesiątek milionów żądań na dobę. Jedna nieprzemyślanie dodana linia w formacie logu mnoży się przez te miliony. Po drugie, regulacje. Wymogi przepisów o ochronie danych osobowych zaostrzają się, a warstwa proxy to miejsce, przez które identyfikatory użytkowników, cookie i nagłówki autoryzacyjne przechodzą w otwartej postaci. Po trzecie, ekonomia. Przechowywanie terabajtów logów w gorącym indeksie wyszukiwania kosztuje, i często te pieniądze idą na dane, do których nikt nigdy nie zajrzy.
Z tego przewodnika dowiesz się: jakie pola muszą być obecne w każdym rekordzie logu proxy i dlaczego; jakich danych kategorycznie nie wolno zapisywać nawet „na wszelki wypadek”; jak zorganizować maskowanie i haszowanie tak, żeby logi pozostały użyteczne w dochodzeniach; jak zbudować rotację i warstwowe przechowywanie; jak określić okres przechowywania, który zadowoli i inżynierów, i bezpieczników, i prawników. Damy gotowe szablony, listy kontrolne i omówimy rzeczywiste przypadki z liczbami. Rozgość się — materiał wyszedł obszerny, ale każda jego część jest sprawdzona w praktyce.
Podstawy: czym jest log warstwy proxy i z czego się składa
Definicja i miejsce w architekturze
Warstwa proxy to komponent między twoją aplikacją (parserem, menedżerem kont, systemem automatyzacji kont reklamowych) a światem zewnętrznym, który przyjmuje żądanie, wybiera adres wyjściowy z puli, wysyła żądanie i zwraca odpowiedź. Jeśli pracujesz z proxy mobilnymi, ta warstwa zarządza jeszcze rotacją IP, przypisaniem sesji do kont i przełączaniem między operatorami.
Log warstwy proxy to sekwencja rekordów, z których każdy opisuje jedno zdarzenie w tym komponencie. Najczęściej zdarzeniem jest obsłużone żądanie HTTP, ale zdarzeniami są także zmiana IP, błąd połączenia z węzłem nadrzędnym, odrzucenie żądania przez regułę dostępu, start i zatrzymanie procesu.
Przydatna analogia to dziennik okrętowy. Nie przepisuje się do niego zawartości ładowni, ale odnotowuje każdą zmianę kursu, czas, współrzędne, warunki pogodowe i kto był na wachcie. Dokładnie tak samo dobry log proxy nie przechowuje treści żądania, ale rejestruje wszystko, co pozwoli odtworzyć trasę zdarzenia.
Rodzaje logów wewnątrz warstwy proxy
W praktyce wyróżnia się cztery strumienie, a mieszanie ich w jednym pliku to pierwszy błąd nowicjusza:
- Access log (dziennik dostępu) — jeden rekord na każde obsłużone żądanie. Największy strumień, główne źródło dochodzeń i rozliczeń.
- Error log (dziennik błędów) — zdarzenia wymagające uwagi: brak możliwości połączenia z węzłem nadrzędnym, przekroczenia czasu, wyczerpanie puli, awaria procesu. Objętość dziesiątki i setki razy mniejsza niż access log, wartość na jednostkę rekordu wyższa.
- Audit log (dziennik audytu) — kto zmienił konfigurację, kto wydał token dostępu, kto dodał lub usunął węzeł z puli. Zapisywany rzadko, przechowywany najdłużej.
- Rotation/session log (dziennik rotacji) — strumień typowy dla proxy mobilnych: kiedy i z jakiego powodu zmieniło się IP, jaki operator, która sesja jest przypisana do którego konta. Bez niego nie da się odpowiedzieć na pytanie, dlaczego konto dostało weryfikację bezpieczeństwa.
Poziomy logowania
Klasyczne poziomy — DEBUG, INFO, WARN, ERROR, FATAL — działają też tutaj, ale z niuansem. Dla access log poziom jest prawie bez znaczenia: każde żądanie to INFO. Poziomy mają sens dla error log i zdarzeń wewnętrznych. Praktyczna zasada: na produkcji warstwa proxy pracuje na INFO, DEBUG włącza się punktowo, dla konkretnego klienta lub węzła, na ograniczony czas. Dlaczego? Bo tryb DEBUG w proxy często oznacza zrzut nagłówków w całości, a to prosta droga do wycieku danych autoryzacyjnych do plików.
Formaty: tekst kontra struktura
Jeszcze dziesięć lat temu standardem był format tekstowy w rodzaju Common Log Format, gdzie pola oddzielone są spacjami. Dziś konsensus branżowy jest jednoznaczny: logi strukturalne, zwykle w JSON, gdzie każde pole jest nazwane. Powody są proste. Rekord strukturalny można filtrować po dowolnym polu bez wyrażeń regularnych, rozumieją go wszystkie systemy zbierania i — co ważne dla naszego tematu — łatwo z niego wybiórczo usuwać lub maskować konkretne pola. Spróbuj wyciąć nagłówek Authorization z łańcucha tekstowego, w którym mógł znaleźć się w dowolnym miejscu, a zrozumiesz, o czym mowa.
Głębokie zanurzenie: anatomia rekordu i natura ryzyk
Trzy pytania, na które musi odpowiadać każdy rekord
Zanim przejdziemy do konkretnych pól, ustalmy kryterium. Rekord w access log warstwy proxy jest użyteczny, jeśli można na jego podstawie odpowiedzieć na trzy pytania:
- Kto? Który klient, które konto lub profil, która usługa wewnętrzna zainicjowała żądanie.
- Przez co? Który węzeł wyjściowy, które IP, który operator, która sesja została użyta.
- Co z tego wyszło? Kod odpowiedzi, czas trwania, wolumen przesłanych danych, czy była ponowna próba.
Zwróć uwagę: na tej liście nie ma pytania „co dokładnie było przesyłane”. Zawartość żądania i odpowiedzi to dane aplikacji, a nie warstwy proxy. Warstwa proxy to transport i powinna logować zdarzenia transportowe. To fundamentalna zasada rozdziału odpowiedzialności, i większość problemów z danymi wrażliwymi w logach wynika właśnie z jej naruszenia.
Identyfikatory i korelacja
Najcenniejsze pole w nowoczesnym logu to identyfikator korelacji (request ID lub trace ID). To unikalny łańcuch, który aplikacja generuje przy tworzeniu żądania i przekazuje do warstwy proxy przez służbowy nagłówek. Proxy zapisuje go w swoim logu, a aplikacja — w swoim. W rezultacie możesz w kilka sekund powiązać zdarzenie w parserze, zdarzenie w proxy i zdarzenie w systemie rotacji IP. Bez korelacji będziesz zestawiać rekordy po czasie z dokładnością do sekundy, a przy dziesiątkach tysięcy żądań na sekundę to beznadziejne.
Drugi pod względem ważności identyfikator to identyfikator sesji. Dla proxy mobilnych sesja to okres, w którym żądania konkretnego konta idą przez to samo IP. To właśnie sesja łączy access log z dziennikiem rotacji. Jeśli konto zostało zablokowane, patrzysz na jego sesje, widzisz, że w ciągu godziny zmieniły się trzy IP z różnych regionów, i rozumiesz przyczynę.
Kategorie danych wrażliwych w ruchu proxy
Przeanalizujmy, co dokładnie przechodzi przez warstwę proxy i stanowi ryzyko, jeśli trafi do logów:
- Dane autoryzacyjne: nagłówki Authorization, Proxy-Authorization, Cookie, Set-Cookie, X-API-Key i podobne. Token w logu równa się tokenowi w otwartym dostępie dla każdego, kto ma dostęp do logów — a to zwykle znacznie szersze grono niż osoby mające dostęp do sekretów.
- Dane osobowe w URL: adresy e-mail w parametrach wyszukiwania, telefony, identyfikatory użytkowników platform zewnętrznych, imiona w ścieżkach. Tu wchodzą w grę wymogi przepisów o ochronie danych osobowych, a logi stają się repozytorium podlegającym ewidencji.
- Dane uwierzytelniające samego proxy: login i hasło do uwierzytelniania na proxy, które klient przekazuje w nagłówku. Klasyczny scenariusz wycieku — proxy zapisuje pełny łańcuch połączenia w postaci user:pass@host w error log przy nieudanym połączeniu.
- Treści żądań i odpowiedzi: formularze logowania, dane płatnicze, zawartość prywatnych wiadomości. W normalnej konfiguracji warstwa proxy nie powinna ich w ogóle widzieć, ale przy debugowaniu pokusa włączenia zrzutu jest duża.
- Identyfikatory pośrednie: kombinacja User-Agent, IP klienta i dokładnego czasu pozwala zdeanonimizować osobę nawet bez jawnych danych osobowych. Regulatorzy w wielu jurysdykcjach zaliczają takie kombinacje do danych osobowych.
Wymiar prawny
Tu potrzebna jest ostrożność. Jeśli przez twoją warstwę proxy przechodzą dane użytkowników — klientów twojej usługi, subskrybentów, nabywców — logi zawierające ich identyfikatory stają się przetwarzaniem danych osobowych ze wszystkimi wynikającymi z tego obowiązkami: określony cel, ograniczony okres, ochrona przy przechowywaniu, lokalizacja. Logi to nie „techniczne śmieci”, jak często się je postrzega. To baza danych, tylko o nietypowej strukturze. Rozwiązanie inżynierskie jest tu proste: zminimalizować dane osobowe w logach do poziomu, na którym przestają być danymi osobowymi — przez haszowanie i tokenizację, o których niżej. Wtedy obciążenie prawne logów radykalnie maleje.
Ekonomia zapisu
Jeszcze jeden wymiar — pieniądze. Weźmy hipotetyczną bramę na dziesięć milionów żądań na dobę. Rekord w kompaktowym JSON bez zbędnych pól waży około trzystu bajtów. Razem trzy gigabajty dziennie, około dziewięćdziesięciu miesięcznie. Dodaj pełny URL ze wszystkimi parametrami i wszystkie nagłówki żądania — rekord rozdmuchuje się do półtora-dwóch kilobajtów. To już dwadzieścia gigabajtów dziennie i sześćset miesięcznie. Jeśli te dane leżą w gorącym indeksie wyszukiwania z replikacją, różnica w kosztach będzie rzędu wielkości. Każde pole w schemacie logu to decyzja finansowa podejmowana na lata.
Metoda 1: projektowanie schematu rekordu — co zapisywać obowiązkowo
Zasada minimalnej wystarczalności
Schemat logu projektuje się nie od pytania „co możemy zapisać”, ale od pytania „na jakie pytania musimy umieć odpowiedzieć”. Sporządź listę scenariuszy dochodzenia i sprawdź, że każdy z nich zamyka się dostępnymi polami. Typowe scenariusze dla warstwy proxy: analiza blokady konta, znalezienie przyczyny wzrostu błędów, rozliczenia z klientami, weryfikacja przestrzegania limitów, dochodzenie w sprawie incydentu bezpieczeństwa, dowód, że konkretne żądanie przez nas nie przechodziło.
Obowiązkowe pola access log
Poniżej rdzeń schematu, który rekomendujemy jako minimum dla każdej warstwy proxy. Każde pole opatrzone jest wyjaśnieniem, po co jest potrzebne:
- ts — znacznik czasu w UTC z milisekundami, format ISO 8601. Żadnych lokalnych stref: przy rozproszonej puli węzły stoją w różnych regionach, a lokalny czas uniemożliwi korelację.
- req_id — identyfikator korelacji otrzymany od klienta lub wygenerowany przez proxy, jeśli klient go nie przekazał.
- client_id — wewnętrzny identyfikator klienta lub usługi, która uwierzytelniła się na proxy. Nie login i nie hasło, ale właśnie wewnętrzny klucz.
- profile_id — identyfikator konta lub profilu, w imieniu którego idzie żądanie, jeśli twój system operuje takimi bytami. To właśnie to pole łączy log z logiką biznesową multikont.
- session_id — identyfikator sesji proxy, łączący żądanie z konkretnym okresem przypisania do IP.
- upstream_id — identyfikator węzła wyjściowego w puli. Nie samo IP, ale jego wewnętrzny kod: IP może być ponownie użyte, kod — nie.
- upstream_ip_hash — hash wyjściowego IP z solą. Pozwala grupować żądania po adresie, nie przechowując samego adresu w otwartej postaci przez długi czas.
- carrier i region — operator i region węzła wyjściowego dla proxy mobilnych. Krytyczne dla analizy zachowania platform wobec różnych operatorów.
- method — metoda HTTP.
- host — domena docelowa. Właśnie domena, nie pełny URL.
- path_template — ścieżka z zastąpionymi zmiennymi częściami, na przykład /users/{id}/posts. Zachowuje wartość analityczną bez wycieku identyfikatorów.
- status — kod odpowiedzi z serwera docelowego.
- proxy_status — wewnętrzny status obsługi: sukces, przekroczenie czasu do węzła nadrzędnego, odrzucone przez regułę, wyczerpana pula. Oddziela błędy serwera docelowego od błędów samego proxy.
- duration_ms — całkowity czas obsługi; przydatne też rozbicie na czas połączenia, czas do pierwszego bajtu i czas transmisji.
- bytes_in i bytes_out — wolumen przesłanych danych. Podstawa rozliczeń i wykrywania anomalii.
- retry — numer próby, jeśli proxy wykonuje ponowienia.
- tls — wersja TLS i znacznik udanego uzgadniania.
- ua_class — nie sam User-Agent, ale jego klasa: przeglądarka mobilna, desktop, aplikacja. Pełny User-Agent w razie potrzeby przechowywany jest w osobnym słowniku pod krótkim kodem.
Przykład rekordu
Tak wygląda rekord zbudowany według tego schematu:
{"ts":"2026-03-14T08:21:37.412Z","req_id":"01HRX7K9M2P4Q","client_id":"c_0412","profile_id":"p_88213","session_id":"s_7f3a91","upstream_id":"n_msk_017","upstream_ip_hash":"a91f...c2","carrier":"op_a","region":"ru-mow","method":"GET","host":"example-platform.com","path_template":"/api/v2/feed/{id}","status":200,"proxy_status":"ok","duration_ms":842,"ttfb_ms":611,"bytes_in":1204,"bytes_out":48211,"retry":0,"tls":"1.3","ua_class":"mobile_android"}Trysta z niewielkim okładem bajtów. Ani jednego sekretu, ani jednego osobistego identyfikatora zewnętrznych użytkowników, ale pełny obraz zdarzenia. Na podstawie tego rekordu można odpowiedzieć na wszystkie sześć scenariuszy dochodzenia z listy powyżej.
Obowiązkowe pola dziennika rotacji
Dla proxy mobilnych dziennik rotacji jest nie mniej ważny niż access log. Minimalny schemat: znacznik czasu, session_id, upstream_id, powód rotacji (według harmonogramu, na żądanie klienta, po błędzie, po osiągnięciu limitu żądań), hash starego i nowego IP, operator, czas trwania poprzedniej sesji, liczba żądań w poprzedniej sesji. Właśnie po tym dzienniku zrozumiesz, że konto dostało weryfikację nie z powodu treści działań, ale dlatego, że w ciągu dziesięciu minut IP zmieniło się cztery razy.
Instrukcja krok po kroku wdrożenia schematu
- Wypisz scenariusze dochodzenia istotne dla twojego zespołu. Nie mniej niż pięć.
- Dla każdego scenariusza określ minimalny zestaw pól, którymi można go zamknąć.
- Połącz zestawy, usuń duplikaty. To wersja robocza schematu.
- Przejdź po każdym polu z pytaniem: czy zawiera sekret, dane osobowe albo identyfikator pośredni? Jeśli tak — zamień na hash, klasę lub szablon.
- Zafiksuj schemat w formie dokumentu z wersją. Każdy rekord musi zawierać pole schema_version.
- Zaimplementuj walidację: rekord niezgodny ze schematem powinien być odrzucany na etapie składania logu, a nie wykrywany po pół roku.
- Przepuść obciążenie testowe i zmierz średni rozmiar rekordu. Pomnóż przez dobowy wolumen i porównaj z budżetem przechowywania.
Metoda 2: odcinanie danych wrażliwych — czego nie zapisywać nigdy
Czarna lista pól
Zacznijmy od bezwarunkowych zakazów. Te dane nie mogą trafić do żadnego strumienia logów warstwy proxy na żadnym poziomie, łącznie z DEBUG:
- Wartości nagłówków Authorization, Proxy-Authorization, Cookie, Set-Cookie, wszelkich nagłówków z podciągami key, token, secret, session w nazwie.
- Dane uwierzytelniające połączenia z proxy w dowolnej postaci, w tym łańcuchy formatu user:pass@host.
- Treści żądań i odpowiedzi. W całości. Jeśli do debugowania trzeba zobaczyć treść, robi się to po stronie aplikacji, w tymczasowym magazynie, z automatycznym usuwaniem.
- Pełny query string z parametrami. Parametry regularnie zawierają e-mail, telefony, tokeny jednorazowych linków.
- Pełny User-Agent w połączeniu z IP klienta — to odcisk palca pozwalający zidentyfikować osobę.
- Otwarte adresy IP użytkowników końcowych twojej usługi, jeśli warstwa proxy obsługuje nie tylko procesy wewnętrzne.
Cztery techniki anonimizacji
Zakazać — łatwo. Trudniej zachować wartość analityczną. Oto zestaw narzędzi, które na to pozwalają:
Redagowanie (redaction)
Pełne zastąpienie wartości markerem w rodzaju [REDACTED]. Stosuje się do tego, co nie ma wartości analitycznej: nagłówków autoryzacyjnych, haseł. Ważny niuans — redagować trzeba na etapie formowania rekordu, wewnątrz procesu proxy, a nie przez przetwarzanie plików po fakcie. Przetwarzanie po fakcie oznacza, że sekret już leżał na dysku i trafił do buforów, kopii zapasowych, replikacji.
Maskowanie (masking)
Częściowe ukrycie z zachowaniem formy. Adres e-mail i***@d*****.ru, telefon +48 5** *** 12 34. Pozwala operatorowi wsparcia rozpoznać dane przy porównaniu, ale nie odtworzyć ich z logu. Stosuje się tam, gdzie potrzebna jest wizualna weryfikacja przez człowieka, i szczerze mówiąc, w warstwie proxy to rzadkość. Częściej maskowanie to kompromis, gdy zespół nie jest gotowy na haszowanie.
Haszowanie z solą
Wartość zastępowana jest wynikiem kryptograficznej funkcji haszującej z sekretną solą. Identyczne wartości dają identyczne hashe, więc grupowanie i zliczanie unikalnych pozostaje, a odtworzenie oryginalnej wartości bez soli jest niemożliwe. To podstawowe narzędzie dla adresów IP, identyfikatorów użytkowników platform zewnętrznych, pełnych User-Agent. Kluczowe wymaganie: sól przechowywana jest osobno od logów, w menedżerze sekretów, i okresowo rotowana. Przy rotacji soli traci się możliwość zestawienia starych i nowych hashy — to świadoma cena za bezpieczeństwo, a okres rotacji soli zwykle pokrywa się z okresem przechowywania szczegółowych logów.
Tokenizacja
Wartość zastępowana jest losowym tokenem, a przyporządkowanie token-wartość przechowywane jest w osobnym zabezpieczonym magazynie z twardą kontrolą dostępu. W przeciwieństwie do haszowania jest odwracalna — ale tylko dla tych, którzy mają dostęp do tabeli przyporządkowań. Stosuje się, gdy dochodzenie w sprawie incydentu może wymagać odtworzenia oryginalnej wartości na decyzję oficera bezpieczeństwa. Na przykład pełny URL żądania przy podejrzeniu nadużycia. Tabela przyporządkowań żyje według własnego, krótkiego okresu przechowywania.
Szablonowanie ścieżek
Osobno zatrzymajmy się na ścieżkach URL. Ścieżka /users/88213/messages/4471 zawiera dwa identyfikatory. Zapisać ją w całości — zachować pośrednie dane osobowe. Zapisać tylko domenę — stracić analitykę po endpointach. Rozwiązanie: szablonowanie. Segmenty liczbowe, UUID, długie haszopodobne łańcuchy zastępowane są placeholderami: /users/{id}/messages/{id}. Analityka po typach żądań zachowuje się w pełni, identyfikatory znikają. Realizuje się to zestawem reguł zastępowania stosowanych na etapie formowania rekordu.
Gdzie dokładnie następuje odcinanie
Prawidłowa architektura zakłada trzy linie obrony:
- W procesie proxy: formujący log zna schemat i po prostu nie bierze zabronionych pól. To linia podstawowa.
- W agencie zbierającym: reguły filtrowania, które szukają wzorców sekretów (łańcuchy w rodzaju Bearer z następującą długą sekwencją, konstrukcje typu JWT, numery kart według formuły Luhna) i zastępują je markerami. To zabezpieczenie przed błędem dewelopera, który dodał nowe pole.
- W magazynie: okresowy skaner, który szuka w już zapisanych danych wzorców sekretów i podnosi alarm. To detektor, nie filtr: jeśli coś znalazł, znaczy że pierwsze dwie linie zostały przebite i trzeba się tym zająć.
Lista kontrolna odcinania danych wrażliwych
- Nagłówki autoryzacyjne i cookie są redagowane wewnątrz procesu, nie przez przetwarzanie po fakcie.
- Dane uwierzytelniające proxy nigdy nie trafiają do error log, także w komunikatach o błędach połączenia.
- Treści żądań i odpowiedzi nie są logowane na żadnym poziomie.
- Query string jest odrzucony lub zaszablonowany.
- Adresy IP są haszowane z solą; sól przechowywana osobno i rotowana.
- Ścieżki URL są szablonowane według reguł.
- User-Agent zastąpiony klasą lub kodem słownika.
- Agent zbierający ma reguły wyszukiwania wzorców sekretów.
- Magazyn jest okresowo skanowany pod kątem obecności sekretów.
- Tryb DEBUG włącza się dla konkretnego client_id, na ograniczony czas, z automatycznym wyłączaniem.
Metoda 3: rotacja i warstwowe przechowywanie
Po co rotacja
Rotacja logów to regularne zamykanie bieżącego pliku i rozpoczynanie nowego, z następującym potem kompresowaniem, przenoszeniem lub usuwaniem starych. Bez rotacji plik rośnie nieograniczenie, nie da się go ani przeczytać, ani skompresować, ani wybiórczo usunąć, a zapchany dysk wywraca sam proces proxy. Brzmi banalnie, ale z naszego doświadczenia nie mniej niż jedna trzecia incydentów z niedostępnością samodzielnie pisanych bram proxy wiąże się właśnie z zapchaniem dysku przez logi.
Kryteria rotacji
Plik jest zamykany po pierwszym z warunków, który nastąpi:
- Po rozmiarze — zwykle od stu megabajtów do jednego gigabajta. Mniej — zbyt wiele plików, więcej — długo się kompresuje i niewygodnie przekazuje.
- Po czasie — godzina dla bram o dużym obciążeniu, doba dla mniejszych. Rotacja czasowa czyni nazwy plików przewidywalnymi i upraszcza wyszukiwanie.
- Po zdarzeniu — restart procesu, zmiana wersji schematu. Plik nie powinien zawierać rekordów dwóch różnych schematów.
Praktyka: rotować po czasie z ograniczeniem po rozmiarze. Na przykład co godzinę, ale nie więcej niż pięćset megabajtów na plik. Nazwa pliku zawiera węzeł, strumień i znacznik czasu początku: access-gw-msk-01-2026031408.jsonl.
Mechanika bez strat
Krytyczny szczegół, który często się pomija: rotacja nie może prowadzić do utraty rekordów. Klasyczny błąd — zmienić nazwę pliku i utworzyć nowy, podczas gdy proces nadal pisze do starego deskryptora. Prawidłowe podejścia: proces sam otwiera nowy plik przy nastąpieniu warunku (wbudowana rotacja); albo zewnętrzny rotator wysyła procesowi sygnał do ponownego otwarcia pliku po zmianie nazwy; albo, co preferowane w nowoczesnych architekturach, proces pisze na standardowe wyjście, a agent zbierający przechwytuje strumień i sam zarządza plikami. Trzeci wariant zdejmuje z procesu proxy całą odpowiedzialność za dysk.
Kompresja
Logi strukturalne w JSON kompresują się znakomicie — typowy współczynnik od ośmiu do piętnastu dzięki powtarzającym się nazwom pól i ograniczonemu zestawowi wartości. To oznacza, że gigabajt surowych logów zamienia się w siedemdziesiąt-sto megabajtów archiwum. Wybór algorytmu: dla plików, które będą często czytane, — szybkie algorytmy o umiarkowanym stopniu kompresji; dla archiwum — maksymalna kompresja. Kompresuj nie zaraz po zamknięciu pliku, ale z opóźnieniem jednego-dwóch okresów rotacji: świeże pliki często potrzebne są do bieżącej analizy.
Model warstwowy przechowywania
Tu dochodzimy do centralnej idei oszczędnego przechowywania. Nie wszystkie logi są jednakowo poszukiwane. Odwołania do rekordów rozkładają się skrajnie nierównomiernie: przeważająca większość zapytań do logów dotyczy ostatniej doby, zauważalna część — ostatniego tygodnia, i tylko pojedyncze odwołania — danych starszych niż miesiąc. Przechowywanie wszystkiego w jednakowo drogim i szybkim magazynie to marnotrawstwo. Stąd model warstwowy:
Warstwa gorąca
Ostatnia doba — trzy doby. Pełny indeks wyszukiwania, wszystkie pola zindeksowane, odpowiedź na zapytanie w sekundach. Najdroższa warstwa w przeliczeniu na gigabajt. Tu żyją bieżące dochodzenia, debugowanie, analiza świeżych incydentów.
Warstwa ciepła
Od trzech do trzydziestu dni. Dane w skompresowanym formacie kolumnowym w magazynie obiektowym, wyszukiwanie przez silnik, który czyta pliki bezpośrednio. Odpowiedź na zapytanie — dziesiątki sekund, za to koszt przechowywania o rząd wielkości niższy. Tu — raporty tygodniowe, analiza skarg klientów, analiza trendów blokad.
Warstwa zimna
Od trzydziestu dni do końca okresu przechowywania. Skompresowane archiwa w najtańszej klasie magazynu obiektowego, być może z opóźnieniem dostępu. Wyszukiwanie — tylko po dokładnym czasie i węźle, potem rozpakowanie i ręczna analiza. Tu — zapytania prawne, audyt, dochodzenia w sprawie dawnych incydentów.
Agregaty
Osobna warstwa, o której się zapomina. Przed usunięciem szczegółowych rekordów wylicza się z nich agregaty: liczba żądań, rozkład kodów odpowiedzi, średni czas trwania — po kliencie, węźle, domenie, godzinie. Agregaty zajmują ułamki procenta objętości szczegółowych logów i przechowywane są latami. To właśnie one pozwalają odpowiedzieć na pytanie „a jak było rok temu”, nie przechowując roku szczegółowych rekordów.
Konfiguracja rotacji i warstw krok po kroku
- Określ strumień wyjściowy procesu proxy: standardowe wyjście do agenta zbierającego jest lepsze niż bezpośredni zapis do pliku.
- Skonfiguruj rotację po czasie (godzina lub doba) z ograniczeniem po rozmiarze.
- Ustaw kompresję z opóźnieniem jednego-dwóch okresów po zamknięciu pliku.
- Rozdziel strumienie: access, error, audit, rotation — do różnych plików albo różnych indeksów.
- Skonfiguruj przenoszenie do warstwy ciepłej po wieku pliku, z konwersją do formatu kolumnowego.
- Skonfiguruj przenoszenie do warstwy zimnej i usuwanie po osiągnięciu okresu przechowywania.
- Zrealizuj dobowy wyliczanie agregatów z warstwy gorącej i zapis ich do osobnego długożyjącego magazynu.
- Postaw alert na wolne miejsce na dysku węzła i na opóźnienie wysyłki do agenta zbierającego: jeśli logi nie wychodzą, gromadzą się lokalnie.
- Raz na kwartał sprawdzaj, że usuwanie faktycznie następuje: policz najstarszy plik w każdej warstwie.
Metoda 4: polityka okresów przechowywania
Trzy siły określające okres
Okres przechowywania logów to kompromis między trzema siłami, które ciągną w różne strony. Inżynierowie chcą przechowywać dłużej: nigdy nie wiesz, kiedy przyda się analiza dawnego incydentu. Finanse chcą przechowywać mniej: każdy gigabajt kosztuje. Bezpieczeństwo i prawnicy — strona najciekawsza: jednocześnie wymagają przechowywania wystarczająco długo na dochodzenia i wystarczająco krótko, żeby nie gromadzić danych, za których wyciek trzeba będzie odpowiadać. Każdy rekord z danymi osobowymi przechowywany dłużej niż to konieczne to zobowiązanie, a nie aktyw.
Zasada: okres zależy od wrażliwości i poszukiwania
Różne strumienie i różne pola żyją różny czas. To kluczowa myśl tego rozdziału. Nie istnieje jeden „okres przechowywania logów” — istnieje macierz okresów:
- Access log szczegółowy: od czternastu do dziewięćdziesięciu dni. Poszukiwanie spada wykładniczo, wrażliwość średnia nawet po anonimizacji.
- Error log: od trzydziestu do stu osiemdziesięciu dni. Objętość mała, wartość dla analizy powtarzających się problemów wysoka.
- Audit log: od roku do trzech lat. Kto zmieniał konfigurację i wydawał dostępy — to dane potrzebne przy dochodzeniach po długim czasie. Objętość znikoma.
- Rotation log: tyle co access log — bez siebie nawzajem są bezsensowne.
- Tabela tokenizacji: krócej niż same logi — od siedmiu do trzydziestu dni. Po jej wygaśnięciu tokeny w logach stają się nieodwracalne.
- Agregaty: od dwóch do pięciu lat. Nie zawierają danych osobowych, zajmują mało miejsca, cenne dla długoterminowej analityki.
Jak wyliczyć okres dla swojej sytuacji
Proponujemy praktyczne ramy z pięciu pytań:
- Jaki jest najdłuższy realny scenariusz dochodzenia? Klient skarży się na blokadę konta sprzed trzech tygodni — znaczy szczegółowe logi są potrzebne minimum dwadzieścia jeden dni plus zapas.
- Czy istnieją zobowiązania zewnętrzne? Umowy z klientami mogą wymagać przechowywania dzienników dostępu przez określony czas do rozstrzygania spornych sytuacji rozliczeniowych. Wymogi regulatorów wobec operatorów określonych kategorii danych też mogą ustalać minima.
- Które dane w logach pozostają wrażliwe po anonimizacji? Jeśli zastosowano haszowanie z rotacją soli, wrażliwość po rotacji spada niemal do zera i przechowywanie można wydłużyć.
- Ile kosztuje przechowywanie w każdej warstwie? Policz koszt miesiąca przechowywania gorącego, ciepłego i zimnego przy twoim wolumenie. Często okazuje się, że zimne przechowywanie roku logów kosztuje mniej niż tydzień gorącego.
- Co traci się przy usuwaniu? Jeśli agregaty pokrywają długoterminową analitykę, szczegółowe rekordy można usuwać śmiało.
Prawny wstrzymanie usuwania
Obowiązkowy element polityki — mechanizm wstrzymania usuwania (legal hold). Jeśli rozpoczęto dochodzenie w sprawie incydentu lub otrzymano oficjalne zapytanie, automatyczne usuwanie dotkniętego okresu musi być zamrożone do zakończenia postępowania. Technicznie to flaga na pliku albo prefiksie w magazynie obiektowym, którą sprawdza proces usuwania. Organizacyjnie — regulamin, kto ma prawo postawić i zdjąć tę flagę. Bez takiego mechanizmu znajdziesz się w sytuacji, gdy potrzebne dane zostały usunięte zgodnie z harmonogramem dokładnie w dniu, w którym stały się potrzebne.
Dokumentowanie polityki
Polityka przechowywania to dokument, a nie ustawienie w pliku konfiguracyjnym. Minimalna zawartość: wykaz strumieni logów i pól; dla każdego — cel zbierania, okres przechowywania w każdej warstwie, metoda anonimizacji; osoby odpowiedzialne za politykę i za jej wykonanie; procedura wstrzymania usuwania; procedura sprawdzania, że usuwanie następuje; częstotliwość przeglądu — zwykle raz w roku lub przy zmianie schematu. Ten dokument to pierwsza rzecz, o którą zapyta audytor, i pierwsza, która cię ochroni przy incydencie: pokazuje, że dane przetwarzano świadomie.
Szablon macierzy przechowywania
Wypełnij dla swojego przypadku tabelę z kolumnami: strumień, pola z wrażliwością, metoda anonimizacji, warstwa gorąca (dni), warstwa ciepła (dni), warstwa zimna (dni), agregaty (miesięcy), podstawa okresu, osoba odpowiedzialna. Jeden wiersz na strumień. Gotowa macierz mieści się na jednej stronie i usuwa dziewięćdziesiąt procent sporów między zespołami.
Typowe błędy: czego nie robić
Logować wszystko „na wszelki wypadek”
Najczęstszy i najdroższy błąd. Argument „lepiej mieć i nie użyć” nie działa w przypadku logów: nieużywane dane kosztują, tworzą ryzyko wycieku i zamieniają magazyn w miejsce, gdzie potrzebnego nie da się znaleźć wśród niepotrzebnego. Każde pole musi odpowiadać na konkretne pytanie z listy scenariuszy.
Włączać DEBUG na produkcji i zapominać wyłączyć
Tryb DEBUG proxy niemal zawsze oznacza zrzut nagłówków. Włączony w piątek wieczorem do analizy jednego problemu, do poniedziałku zapełnia dysk tokenami autoryzacyjnymi wszystkich klientów. Zasada: DEBUG włącza się z filtrem i z timerem automatycznego wyłączania.
Pisać sekrety w komunikatach o błędach
Deweloper tworzy komunikat o błędzie połączenia i wstawia do niego łańcuch połączenia w całości — z loginem i hasłem. Error log przechowywany jest przy tym dłużej niż access log i przeglądany przez większą liczbę osób. Sprawdź wszystkie miejsca tworzenia komunikatów o błędach pod kątem interpolacji danych uwierzytelniających.
Mieszać strumienie w jednym pliku
Access, error i audit w jednym pliku oznaczają, że rekordy audit, które mają żyć trzy lata, są usuwane razem z rekordami access po miesiącu, a rekordy access, które powinny być kompresowane, leżą pomieszane z rzadkimi rekordami error, które trzeba czytać oczami.
Przechowywać czas w strefie lokalnej
Węzły puli w różnych regionach, przejście na czas letni w niektórych jurysdykcjach, porównanie z logami systemów zewnętrznych — wszystko to łamie się o lokalny czas. Tylko UTC, tylko ISO 8601.
Anonimizować przez przetwarzanie po fakcie
Skrypt, który nocą przechodzi po plikach i wycina tokeny, to przyznanie, że tokeny cały dzień leżały na dysku w otwartej postaci, a także trafiły do buforów agenta zbierającego, do replik i być może do kopii zapasowych. Anonimizacja — na etapie formowania rekordu.
Nie sprawdzać, że usuwanie działa
Polityka napisana, okres ustawiony, automatyzacja skonfigurowana — i po dwóch latach okazuje się, że z powodu zmiany uprawnień do bucketu usuwanie po cichu kończyło się błędem, a magazyn zawiera całą historię. Sprawdzanie najstarszego pliku w każdej warstwie — kwartalny rytuał.
Przechowywać sól haszowania obok logów
Sól w pliku konfiguracyjnym proxy leżącym w tym samym repozytorium albo na tym samym dysku to brak soli. Haszowane IP odtwarza się wtedy siłowym przeszukaniem w kilka minut. Sól — w menedżerze sekretów, z ograniczonym dostępem i rotacją.
Logować pełny URL
Query string to koncentrat danych wrażliwych: e-mail w parametrach wyszukiwania, tokeny jednorazowych linków, identyfikatory użytkowników. Domena plus zaszablonowana ścieżka — wystarczy do każdej analityki transportowej.
Narzędzia i zasoby
Serwery proxy i ich możliwości logowania
Większość dojrzałych serwerów proxy i odwrotnych proxy obsługuje konfigurowalny format access log, łącznie z wyjściem w JSON, i pozwala wykluczać lub nadpisywać pola przez konfigurację. Przy wyborze zwróć uwagę na trzy rzeczy: możliwość wyjścia logu strukturalnego bez pośredniego formatu tekstowego; możliwość dodania do rekordu nagłówka korelacji od klienta; możliwość całkowitego zakazania logowania konkretnych nagłówków na poziomie konfiguracji, a nie kodu. Jeśli warstwa proxy jest pisana samodzielnie, co w systemach zarządzania proxy mobilnymi nie jest rzadkością, użyj biblioteki logowania strukturalnego swojego języka ze wsparciem procesorów rekordów — właśnie w procesorze realizuje się redagowanie i haszowanie.
Agenci zbierający
Agent zbierający to proces na węźle, który czyta wyjście proxy, stosuje filtry i wysyła rekordy do magazynu. Kluczowe kryteria wyboru: wsparcie reguł zastępowania po wyrażeniach regularnych dla drugiej linii obrony; buforowanie na dysku przy niedostępności magazynu, żeby nie tracić rekordów; niskie zużycie zasobów, ponieważ agent żyje obok procesu proxy na tym samym węźle; wsparcie routingu różnych strumieni do różnych miejsc docelowych.
Magazyny i silniki wyszukiwania
Dla warstwy gorącej nadają się indeksy wyszukiwania z pełnotekstowym wyszukiwaniem po polach albo kolumnowe bazy analityczne, które w ostatnich latach wypierają klasyczne indeksy dzięki lepszej kompresji i szybkości agregacji. Dla warstw ciepłej i zimnej — magazyn obiektowy z formatem kolumnowym plików i silnikiem zapytań czytającym je bezpośrednio. Wybieraj magazyn obiektowy z politykami cyklu życia: automatyczne przechodzenie między klasami przechowywania i usuwanie po wieku realizuje się konfiguracją, bez własnego kodu.
Narzędzia anonimizacji
Osobna klasa narzędzi — skanery sekretów, pierwotnie stworzone do wyszukiwania kluczy w repozytoriach kodu. Ich silniki wzorców mają zastosowanie także do logów: znajdują tokeny, klucze dostawców chmurowych, łańcuchy typu JWT. Skonfigurowany do okresowego przebiegu po magazynie taki skaner staje się trzecią linią obrony. Dla szablonowania ścieżek i haszowania nie ma narzędzi specjalistycznych — to kilka dziesiątek linii w procesorze logu.
Zarządzanie sekretami
Sól do haszowania i tabela tokenizacji powinny żyć w menedżerze sekretów z rejestrowaniem dostępu. Może to być zarówno rozwiązanie dostawcy chmurowego, jak i samodzielnie wdrożony magazyn sekretów. Kryterium — możliwość wydania procesowi proxy dostępu do soli bez dostępu człowieka do jej wartości.
Co poczytać i na czym się wzorować
Punktami odniesienia są branżowe przewodniki po bezpiecznym logowaniu od społeczności bezpieczeństwa aplikacyjnego, gdzie podane są wyczerpujące listy danych zabronionych do zapisu w logach; dokumentacja regulatorów po minimalizacji danych osobowych; rekomendacje dotyczące warstwowego przechowywania od dostawców chmurowych, gdzie podane są wyliczenia kosztów. Osobno przydatne są materiały po specyfikacjach rozproszonego trasowania — właśnie stamtąd warto wziąć format identyfikatorów korelacji.
Case studies i wyniki
Case 1: zespół automatyzacji marketingu, zmniejszenie objętości logów sześciokrotnie
Sytuacja wyjściowa: brama do pracy z kontami reklamowymi przez pulę proxy mobilnych, około czterech milionów żądań na dobę. Logi pisane w formacie tekstowym z pełnym URL, wszystkimi nagłówkami żądania i pierwszym kilobajtem treści odpowiedzi „do debugowania”. Średni rekord — około dwóch kilobajtów, dobowy wolumen — osiem gigabajtów, wszystko w gorącym indeksie wyszukiwania z przechowywaniem dziewięćdziesięciu dni. Koszt indeksu — zauważalna pozycja w budżecie infrastruktury.
Co zrobiono: przejście na schemat JSON z dwudziestu pól, opisany powyżej. Odrzucono nagłówki, treść, query string. Ścieżki zaszablonowano. Wprowadzono warstwy: trzy doby gorąca, trzydzieści ciepła, dziewięćdziesiąt zimna. Wdrożono agregaty godzinowe z przechowywaniem trzy lata.
Wynik: średni rekord — trzysta dwadzieścia bajtów, dobowy wolumen — 1,3 gigabajta, po kompresji w warstwie ciepłej — około stu megabajtów na dobę. Koszt przechowywania spadł o około osiemdziesiąt pięć procent. Nieoczekiwany efekt uboczny: szybkość analizy incydentów wzrosła, bo analitycy przestali tonąć w nagłówkach i od razu widzieli kluczowe pola. A po dwóch miesiącach skaner sekretów, postawiony jako trzecia linia, znalazł w starych archiwach ponad dwanaście tysięcy aktywnych tokenów kont reklamowych — zostały odwołane i wydane ponownie.
Case 2: usługa scrapingu marketplace'ów, dochodzenie w sprawie blokad przez dziennik rotacji
Sytuacja: zespół scrapuje publiczne karty produktów przez proxy mobilne i mierzy się z falą blokad części sesji. Metryki pokazują wzrost błędów, ale nie przyczynę. Access log istnieje, dziennika rotacji — nie ma.
Co zrobiono: dodano dziennik rotacji z powodem zmiany IP i czasem trwania sesji, połączono go z access log przez session_id. Już po dwóch dniach danych było widać: zablokowane sesje w przeważającej większości miały czas trwania poniżej trzech minut — rotacja zadziałała przez agresywny timer, a platforma docelowa widziała ten sam profil z trzech różnych IP w krótkim odstępie. Sesje o czasie trwania powyżej dwudziestu minut były blokowane trzykrotnie rzadziej.
Wynik: po przekonfigurowaniu rotacji odsetek zablokowanych sesji spadł z jedenastu do mniej niż trzech procent. Koszt: około czterdziestu bajtów na rekord rotacji, dziesięć tysięcy rekordów na dobę — wolumen, którego nawet nie widać na tle access log. Wniosek, który uważamy za ważny: dla proxy mobilnych dziennik rotacji to nie opcja, a obowiązkowy strumień.
Case 3: platforma z zewnętrznymi klientami, doprowadzenie logów do wymogów ochrony danych osobowych
Sytuacja: usługa udostępnia klientom dostęp proxy, przez który przechodzą żądania użytkowników końcowych klientów. W logach — IP użytkowników końcowych, pełne User-Agent, pełne URL. Audyt prawny kwalifikuje logi jako bazę danych osobowych z okresem przechowywania rok.
Co zrobiono: IP zastąpiono hashami z solą, rotowaną co trzydzieści dni; User-Agent — kodem słownika; URL — domeną i szablonem ścieżki. Sporządzono macierz przechowywania z uzasadnieniem okresów. Wprowadzono mechanizm wstrzymania usuwania. Szczegółowe logi ograniczono do czterdziestu pięciu dni, agregaty — do trzech lat.
Wynik: po rotacji soli logi starsze niż trzydzieści dni przestały zawierać dane pozwalające zidentyfikować użytkownika nawet pośrednio i zostały wyłączone spod ewidencji jako baza danych osobowych. Zakres zobowiązań ochronnych się zmniejszył, a zdolność rozbierania incydentów z ostatniego miesiąca zachowała się w pełni. Audyt przyjął macierz przechowywania jako wystarczające potwierdzenie świadomego przetwarzania.
Case 4: incydent z zapchaniem dysku
Krótko, ale pouczająco. Samodzielnie napisany menedżer proxy pisał logi do pliku bez rotacji. W ciągu czterech miesięcy plik urósł do czterdziestu gigabajtów, dysk węzła się zapełnił, proces padł przy próbie zapisu, pula z dwudziestu modemów stanęła na trzy godziny w nocy. Po incydencie: wyjście na standardowy strumień, agent zbierający z buforem, rotacja godzinowa, alert na wolne miejsce. Powtórek nie było. Koszt rozwiązania — jeden dzień roboczy.
FAQ: trudne pytania o logi warstwy proxy
Czy logować udane żądania, czy wystarczą błędy?
Trzeba. Udane żądania to podstawa rozliczeń, do wyliczania odsetka błędów (bez mianownika odsetek jest bezsensowny), do analizy zachowania platform wobec różnych operatorów i do dowodu, że konkretne żądanie przez nas nie przechodziło. Oszczędzać trzeba na rozmiarze rekordu, a nie na ich liczbie. Jeśli objętość jest jednak nie do przyjęcia, stosuj próbkowanie: loguj wszystkie błędy i co dziesiąte udane żądanie z flagą próbkowania, żeby przy agregacji mnożyć przez współczynnik.
Jak prowadzić dochodzenie, jeśli IP jest haszowane, a sól już zrotowana?
To świadoma granica. Po rotacji soli dane stają się nieodwracalne — w tym ich wartość ochronna. Dochodzenia wymagające odtworzenia IP muszą mieścić się w okresie działania soli, zwykle pokrywającym się z okresem szczegółowego przechowywania. Jeśli scenariusze dochodzenia regularnie wykraczają poza ten okres, wydłuż okres rotacji soli, ale zdawaj sobie sprawę, że tym samym wydłużasz czas, w którym logi pozostają wrażliwe. Dla naprawdę długich dochodzeń stosuj mechanizm wstrzymania usuwania i sól jednocześnie.
Czym logi warstwy proxy różnią się od trasowania?
Trasowanie opisuje drogę jednego żądania przez kilka usług z zagnieżdżonymi przedziałami czasu. Log opisuje zdarzenie w jednym komponencie. Uzupełniają się przez wspólny identyfikator korelacji: po trasie widzisz, że żądanie spędziło osiemset milisekund w warstwie proxy, po logu — dlaczego dokładnie: pięćset na połączenie z węzłem nadrzędnym, dwieście na TLS, sto na transmisję. Nie próbuj zastępować jednego drugim.
Czy szyfrować logi przy przechowywaniu?
Tak, we wszystkich warstwach. Nawet zanonimizowane logi zawierają informacje biznesowe: jakie domeny odpytujesz, z jaką intensywnością, przez jakich operatorów. Szyfrowanie po stronie magazynu to standardowe ustawienie magazynów obiektowych, włączane flagą. Dodatkowo ogranicz dostęp do warstwy gorącej po rolach: analitycy widzą agregaty i pola zanonimizowane, oficerowie bezpieczeństwa — wszystko.
Jak postępować z logami przy pracy w kilku regionach?
Zapisuj czas w UTC, a region węzła — osobnym polem. Przechowywanie przy tym może być scentralizowane albo regionalne w zależności od wymogów lokalizacji danych: jeśli przez proxy przechodzą dane użytkowników z określonej jurysdykcji, logi z ich zanonimizowanymi identyfikatorami mogą podlegać wymogowi przechowywania w tej jurysdykcji. Ustal z prawnikami przed projektowaniem, a nie po.
Czy można używać logów proxy do rozliczeń z klientami?
Można i trzeba, ale z dwoma zastrzeżeniami. Pierwsze: rozliczenia buduje się na agregatach, a nie na szczegółowych rekordach — sumy po client_id za okres. Agregaty żyją dłużej i nie zawierają wrażliwego. Drugie: jeśli log jest podstawą rozliczeń z klientami, stawiane są mu wymogi niezmienności — rekordy nie są edytowane po fakcie, pliki opatruje się sumami kontrolnymi, dostęp do zapisu ma tylko proces zbierający.
Jak upewnić się, że nowe pole dodane przez dewelopera nie zawiera sekretu?
Procesowo: każda zmiana schematu logu przechodzi przegląd z obowiązkowym pytaniem o wrażliwość każdego nowego pola, a wersja schematu jest inkrementowana. Technicznie: druga linia obrony w agencie zbierającym łapie wzorce sekretów niezależnie od nazwy pola, trzecia — skaner magazynu — sygnalizuje, jeśli coś przeciekło. Dodatkowo przydatny jest test, który przepuszcza przez formujący log żądanie z celowo znanym fałszywym tokenem i sprawdza, że token nie pojawił się w wyjściu.
Co robić z logami przy wycofywaniu węzła z puli?
Logi węzła pozostają w magazynie do końca okresu przechowywania — opisują zdarzenia, które miały miejsce, a ich usunięcie razem z węzłem narusza integralność historii. Lokalne bufory na węźle trzeba wysłać do magazynu przed jego wyłączeniem, dlatego do procedury wycofania włącza się oczekiwanie na opróżnienie bufora agenta zbierającego. Identyfikator węzła nie jest ponownie używany dla nowych węzłów, inaczej rekordy dwóch różnych urządzeń się pomieszają.
Jak ocenić, że polityka przechowywania jest adekwatna?
Raz na kwartał przeprowadź trzy sprawdzenia. Pierwsze: weź pięć ostatnich incydentów i upewnij się, że dla każdego potrzebne dane były dostępne w potrzebnej warstwie. Drugie: policz, ile zapytań do logów w kwartale dotyczyło danych starszych niż trzydzieści dni; jeśli zero — warstwę zimną można skrócić. Trzecie: upewnij się, że najstarszy plik każdej warstwy nie jest starszy niż ustanowiony okres. Jeśli wszystkie trzy sprawdzenia przechodzą, polityka jest adekwatna.
Zakończenie: logi jako projektowany system, a nie produkt uboczny
Zbierzmy najważniejsze. Logi warstwy proxy to nie coś, co „samo się pisze”, ale zaprojektowany system z własnym schematem, własnymi granicami i własnym cyklem życia. Odpowiada na pytania „kto”, „przez co” i „co z tego wyszło”, i zasadniczo nie odpowiada na pytanie „co było przesyłane” — to odpowiedzialność aplikacji.
Co zapisywać: znacznik czasu w UTC, identyfikatory korelacji, klienta, profilu i sesji, kod węzła, zanonimizowane IP, operatora i region, metodę, domenę i szablon ścieżki, kody odpowiedzi i statusu wewnętrznego, czasy trwania, wolumeny, numer próby. Dla proxy mobilnych — obowiązkowy dziennik rotacji z powodem zmiany IP.
Czego nie zapisywać: nagłówków autoryzacyjnych i cookie, danych uwierzytelniających proxy, treści żądań i odpowiedzi, pełnych URL z parametrami, pełnych User-Agent w powiązaniu z IP, otwartych adresów użytkowników końcowych. Anonimizacja — wewnątrz procesu, z dwiema dodatkowymi liniami obrony w agencie zbierającym i skanerze magazynu.
Jak przechowywać: rozdzielone strumienie, rotacja po czasie z ograniczeniem po rozmiarze, kompresja, warstwy od gorącej do zimnej z agregatami na wyjściu, macierz okresów po strumieniach, mechanizm wstrzymania usuwania i regularne sprawdzanie, że usuwanie następuje.
Kolejne kroki, które rekomendujemy zrobić w tym tygodniu. Pierwszy: wyciągnij sto losowych rekordów ze swojego obecnego logu i przejdź po nich listą kontrolną odcinania danych wrażliwych — wynik najprawdopodobniej cię zaskoczy. Drugi: policz średni rozmiar rekordu i pomnóż przez dobowy wolumen i okres przechowywania; porównaj z tym, co wyszłoby przy schemacie z tego przewodnika. Trzeci: sporządź macierz przechowywania na jednej stronie i pokaż ją bezpiecznikom i prawnikom — to rozmowa, którą lepiej przeprowadzić przed incydentem niż po.
Logi to pamięć twojej infrastruktury. Dobra pamięć pamięta ważne, zapomina zbędne i nie przechowuje tego, co może zaszkodzić. Zaprojektuj ją właśnie tak.