Proxy katmanı logları: ne yazılmalı, ne yazılmamalı ve nasıl saklanmalı — tam rehber
Makale içeriği
- Giriş: proxy katmanı logları neden ayrı bir konuşmayı hak ediyor
- Temeller: proxy katmanı logu nedir ve nelerden oluşur
- Derinlemesine bakış: kaydın anatomisi ve risklerin doğası
- Yöntem 1: kayıt şeması tasarlama — mutlaka yazılması gerekenler
- Yöntem 2: hassas verileri ayıklama — asla yazılmaması gerekenler
- Yöntem 3: rotasyon ve katmanlı depolama
- Yöntem 4: saklama süresi politikası
- Tipik hatalar: yapılmaması gerekenler
- Araçlar ve kaynaklar
- Vakalar ve sonuçlar
- Sss: proxy katmanı logları hakkında zor sorular
- Sonuç: loglar yan ürün değil, tasarlanan bir sistem
Giriş: proxy katmanı logları neden ayrı bir konuşmayı hak ediyor
Şöyle bir durum hayal edin. Gece parser'ın dönüşüm oranı üçte bir düşüyor, sabah güvenlik ekibi kurumsal proxy ağ geçidi üzerinden önceki gün kimin nereye gittiğini soruyor, öğlene doğru ise hukukçu son iki yıla ait istemci erişim token'larını içeren tam URL'lerin neden arşivlerde durduğunu merak ediyor. Bu üç soru da tek bir varlığa dayanıyor: proxy katmanı logları. Ve neredeyse her zaman ortaya çıkan sonuç şu oluyor: ya loglar gerekli olanı içermiyor, ya gereksiz olanı içeriyor, ya da öyle saklanıyor ki makul bir sürede içlerinde bir şey bulmak imkânsız hale geliyor.
Proxy havuzunun gözlemlenebilirliğini daha önce ele almıştık: başarı metrikleri, düğüm bazında gecikme, bozulma alarmları, panolar. O konuşma sistemin bir bütün olarak nasıl hissettiğiyle ilgiliydi. Bugünün konusu farklı. Metrik size 429 hata oranının yüzdeden on dörde çıktığını söyler. Log ise hangi hesabın, hangi mobil operatörün IP'si üzerinden, hangi User-Agent başlığıyla ve hangi saniyede bu yanıtı aldığını söyler. Metrikler "ne oluyor" sorusunu yanıtlar, loglar ise "tam olarak ne oldu ve kimin başına geldi" sorusunu. Burada yalnızca kayıtların içeriğinden, hassas verilerin ayıklanmasından, dosya rotasyonundan ve saklama süresi politikasından bahsediyoruz.
Bu neden tam da şimdi kritik? Birincisi, hacimler. Küçük bir pazarlama otomasyon ekibinin ortalama proxy ağ geçidi bile günde birkaç yüz binden on milyonlarca isteğe kadar üretiyor. Log formatına düşüncesizce eklenen tek bir satır bu milyonlarla çarpılıyor. İkincisi, mevzuat. Kişisel verilere ilişkin yasal gereklilikler sıkılaşıyor ve proxy katmanı, kullanıcı tanımlayıcılarının, cookie'lerin ve yetkilendirme başlıklarının açık şekilde geçtiği bir yer. Üçüncüsü, ekonomi. Terabaytlarca logu sıcak arama indeksinde saklamak para demek ve bu para genellikle kimsenin asla başvurmayacağı verilere gidiyor.
Bu rehberden öğrenecekleriniz: her proxy log kaydında hangi alanların bulunması zorunlu ve neden; hangi verilerin "ne olur ne olmaz" diye bile yazılmaması gerektiği; logların soruşturmalar için faydalı kalmasını sağlayacak şekilde maskeleme ve hash'lemenin nasıl kurulacağı; rotasyon ve katmanlı depolamanın nasıl inşa edileceği; mühendisleri, güvenlikçileri ve hukukçuları memnun edecek saklama süresinin nasıl belirleneceği. Hazır şablonlar, kontrol listeleri vereceğiz ve rakamlarla gerçek vakaları inceleyeceğiz. Rahatınıza bakın — içerik hacimli oldu ancak her parçası pratikle test edilmiş durumda.
Temeller: proxy katmanı logu nedir ve nelerden oluşur
Tanım ve mimarideki yeri
Proxy katmanı, uygulamanız (parser, hesap yöneticisi, reklam hesabı otomasyon sistemi) ile dış dünya arasındaki, isteği alan, havuzdan bir çıkış adresi seçen, isteği gönderen ve yanıtı döndüren bileşendir. Mobil proxy'lerle çalışıyorsanız bu katman ayrıca IP rotasyonunu, oturumların hesaplara bağlanmasını ve operatörler arası geçişi de yönetir.
Proxy katmanı logu, her biri bu bileşendeki tek bir olayı tanımlayan kayıtlar dizisidir. Çoğu zaman olay işlenmiş bir HTTP isteğidir, ancak IP değişimi, üst düğümle bağlantı hatası, erişim kuralı nedeniyle reddedilme, süreç başlangıcı ve duruşu da olaylardır.
Faydalı bir benzetme gemi jurnalıdır. Ambarın içeriği oraya yazılmaz ama her rota değişikliği, saat, koordinat, hava koşulu ve vardiyada kimin olduğu kaydedilir. İyi bir proxy logu da istek gövdesini saklamaz ama olayın izini yeniden kurabilecek her şeyi kaydeder.
Proxy katmanı içindeki log tipleri
Pratikte dört akış ayırt edilir ve bunları tek dosyada birleştirmek acemi hatasıdır:
- Access log (erişim jurnalı) — işlenen her istek için bir kayıt. En hacimli akış, soruşturmaların ve faturalamanın ana kaynağı.
- Error log (hata jurnalı) — dikkat gerektiren olaylar: üst düğüme bağlanamama, zaman aşımları, havuzun tükenmesi, sürecin çökmesi. Hacim access log'un onlarca ve yüzlerce katı daha küçük, kayıt başına değer daha yüksek.
- Audit log (denetim jurnalı) — yapılandırmayı kimin değiştirdiği, erişim token'ını kimin verdiği, havuza düğümü kimin eklediği veya sildiği. Nadiren yazılır, en uzun saklanır.
- Rotation/session log (rotasyon jurnalı) — mobil proxy'lere özgü akış: IP'nin ne zaman ve hangi nedenle değiştiği, hangi operatör, hangi oturumun hangi hesaba bağlı olduğu. Bu olmadan bir hesabın neden güvenlik kontrolü aldığı sorusuna yanıt verilemez.
Loglama seviyeleri
Klasik seviyeler — DEBUG, INFO, WARN, ERROR, FATAL — burada da geçerli ama bir nüansla. Access log için seviye neredeyse anlamsız: her istek INFO'dur. Seviyeler error log ve iç olaylar için anlam taşır. Pratik kural: üretimde proxy katmanı INFO'da çalışır, DEBUG belirli bir istemci veya düğüm için hedefli ve sınırlı süreyle açılır. Neden? Çünkü proxy'de DEBUG modu genellikle başlıkların tam dökümü anlamına gelir ve bu da yetkilendirme verilerinin dosyalara sızmasına giden düz bir yoldur.
Formatlar: metin mi yapı mı
On yıl önce Common Log Format gibi alanların boşlukla ayrıldığı metin formatı standarttı. Bugün sektör konsensüsü açık: her alanın adlandırıldığı yapılandırılmış loglar, genellikle JSON. Nedenleri basit. Yapılandırılmış bir kayıt düzenli ifadeler olmadan herhangi bir alana göre filtrelenebilir, tüm toplama sistemleri tarafından anlaşılır ve — konumuz açısından önemli olan — belirli alanların ondan kolayca seçilerek silinmesi veya maskelenmesi mümkündür. Authorization başlığını herhangi bir yerde bulunabileceği metin satırından çıkarmayı deneyin, ne demek istediğimizi anlarsınız.
Derinlemesine bakış: kaydın anatomisi ve risklerin doğası
Her kaydın yanıtlaması gereken üç soru
Belirli alanları tartışmadan önce bir kriter üzerinde anlaşalım. Proxy katmanı access log'undaki bir kayıt, üzerinden üç soru yanıtlanabiliyorsa faydalıdır:
- Kim? Hangi istemci, hangi hesap veya profil, hangi iç servis isteği başlattı.
- Ne üzerinden? Hangi çıkış düğümü, hangi IP, hangi operatör, hangi oturum kullanıldı.
- Ne oldu? Yanıt kodu, süre, aktarılan veri hacmi, tekrar deneme olup olmadığı.
Dikkat edin: bu listede "tam olarak ne aktarıldı" sorusu yok. İstek ve yanıtın içeriği uygulamanın verisidir, proxy katmanının değil. Proxy katmanı taşıyıcıdır ve taşıma olaylarını loglamalıdır. Bu, sorumluluk ayrımının temel ilkesidir ve loglardaki hassas veri sorunlarının çoğu tam da bunun ihlal edilmesinden kaynaklanır.
Tanımlayıcılar ve korelasyon
Modern bir logdaki en değerli alan korelasyon kimliğidir (request ID veya trace ID). Bu, uygulamanın istek oluştururken ürettiği ve servis başlığı aracılığıyla proxy katmanına ilettiği benzersiz bir dizedir. Proxy bunu kendi loguna yazar, uygulama da kendi loguna. Sonuçta parser'daki olayı, proxy'deki olayı ve IP rotasyon sistemindeki olayı saniyeler içinde birbirine bağlayabilirsiniz. Korelasyon olmadan kayıtları saniye hassasiyetiyle zamana göre eşleştirmek zorunda kalırsınız ki saniyede on binlerce istekte bu umutsuz bir çabadır.
İkinci en önemli tanımlayıcı oturum kimliğidir. Mobil proxy'lerde oturum, belirli bir hesabın isteklerinin aynı IP üzerinden geçtiği dönemdir. Access log'u rotasyon jurnalına bağlayan tam da oturumdur. Bir hesap engelleme aldıysa oturumlarına bakarsınız, bir saat içinde farklı bölgelerden üç IP değiştiğini görürsünüz ve nedeni anlarsınız.
Proxy trafiğindeki hassas veri kategorileri
Proxy katmanından tam olarak neyin geçtiğini ve loglara düştüğünde risk oluşturduğunu inceleyelim:
- Yetkilendirme verileri: Authorization, Proxy-Authorization, Cookie, Set-Cookie, X-API-Key ve benzeri başlıklar. Logdaki bir token, loglara erişimi olan herkes için açıkta duran bir token demektir — ve bu genellikle sırlara erişimi olanlardan çok daha geniş bir gruptur.
- URL'deki kişisel veriler: arama parametrelerindeki e-posta adresleri, telefonlar, harici platformların kullanıcı kimlikleri, yollardaki isimler. Burada kişisel veri mevzuatının gereklilikleri devreye girer ve loglar kayda tabi bir depoya dönüşür.
- Proxy'nin kendi kimlik bilgileri: istemcinin başlıkta ilettiği proxy kimlik doğrulaması için kullanıcı adı ve parola. Klasik sızıntı senaryosu — proxy, başarısız bağlantıda user:pass@host biçimindeki tam bağlantı dizesini error log'a yazar.
- İstek ve yanıt gövdeleri: oturum açma formları, ödeme verileri, özel mesaj içerikleri. Normal yapılandırmada proxy katmanı bunları hiç görmemeli, ancak hata ayıklamada dökümü açma cazibesi büyüktür.
- Dolaylı tanımlayıcılar: User-Agent, istemci IP'si ve kesin zamanın kombinasyonu, açık kişisel veri olmadan bile bir kişiyi deşifre etmeye olanak tanır. Birçok yargı bölgesindeki düzenleyiciler bu tür kombinasyonları kişisel veri olarak değerlendirir.
Hukuki boyut
Burada titizlik gerekir. Proxy katmanınızdan kullanıcı verileri — hizmetinizin müşterileri, aboneler, alıcılar — geçiyorsa, bunların tanımlayıcılarını içeren loglar, beraberinde gelen tüm yükümlülüklerle birlikte kişisel veri işleme haline gelir: belirli bir amaç, sınırlı süre, saklamada koruma, yerelleştirme. Loglar, sık sık algılandığı gibi "teknik çöp" değildir. Sıra dışı yapıya sahip bir veritabanıdır. Buradaki mühendislik çözümü basittir: loglardaki kişisel verileri hash'leme ve tokenizasyon yoluyla artık kişisel olmayacak düzeye indirmek. O zaman logların hukuki yükü kökten azalır.
Kaydın ekonomisi
Bir başka boyut da para. Günde on milyon isteği olan varsayımsal bir ağ geçidi alalım. Gereksiz alan içermeyen kompakt bir JSON'daki kayıt yaklaşık üç yüz bayt ağırlığındadır. Toplamda günde üç gigabayt, ayda yaklaşık doksan gigabayt. Tüm parametreleriyle tam URL ve tüm istek başlıklarını ekleyin — kayıt bir buçuk-iki kilobayta şişer. Bu artık günde yirmi gigabayt ve ayda altı yüz gigabayt. Bu veriler replikasyonlu bir sıcak arama indeksinde duruyorsa maliyet farkı bir mertebe olur. Log şemasındaki her alan, yıllar öncesinden alınan bir finansal karardır.
Yöntem 1: Kayıt şeması tasarlama — mutlaka yazılması gerekenler
Asgari yeterlilik ilkesi
Log şeması "ne yazabiliriz" sorusundan değil, "hangi soruları yanıtlayabilmeliyiz" sorusundan tasarlanır. Soruşturma senaryolarının listesini yapın ve her birinin mevcut alanlarla karşılanıp karşılanmadığını kontrol edin. Proxy katmanı için tipik senaryolar: hesap engellemesini çözümleme, hata artışının nedenini bulma, müşteri bazlı faturalama, limitlere uyumun kontrolü, güvenlik olayı soruşturması, belirli bir isteğin bizden geçmediğinin kanıtlanması.
Access log'un zorunlu alanları
Aşağıda, herhangi bir proxy katmanı için en az önerdiğimiz şemanın çekirdeği yer alıyor. Her alanın neden gerekli olduğu açıklanmıştır:
- ts — UTC'de milisaniyeli zaman damgası, ISO 8601 formatında. Asla yerel saat dilimi olmamalı: dağıtık havuzda düğümler farklı bölgelerde durur ve yerel saat korelasyonu imkânsız kılar.
- req_id — istemciden alınan veya istemci iletmediyse proxy tarafından üretilen korelasyon kimliği.
- client_id — proxy'de kimlik doğrulaması yapan istemcinin veya servisin iç kimliği. Kullanıcı adı veya parola değil, tam da iç anahtar.
- profile_id — sisteminiz bu tür varlıklarla çalışıyorsa, isteğin adına yapıldığı hesap veya profilin kimliği. Çoklu hesap yönetimi iş mantığıyla logu birbirine bağlayan tam da bu alandır.
- session_id — isteği belirli bir IP bağlama dönemine bağlayan proxy oturum kimliği.
- upstream_id — havuzdaki çıkış düğümünün kimliği. IP'nin kendisi değil, iç kodu: IP yeniden kullanılabilir, kod kullanılamaz.
- upstream_ip_hash — tuzla çıkış IP'sinin hash'i. Adresi uzun süre açık biçimde saklamadan istekleri adrese göre gruplamaya olanak tanır.
- carrier ve region — mobil proxy'ler için çıkış düğümünün operatörü ve bölgesi. Platformların farklı operatörlere yönelik davranışını analiz etmek için kritik.
- method — HTTP yöntemi.
- host — hedef alan adı. Tam URL değil, tam da alan adı.
- path_template — değişken kısımları değiştirilmiş yol, örneğin /users/{id}/posts. Tanımlayıcıları sızdırmadan analitik değeri korur.
- status — hedef sunucudan gelen yanıt kodu.
- proxy_status — iç işleme durumu: başarı, üst düğüme zaman aşımı, kural tarafından reddedildi, havuz tükendi. Hedef sunucunun hatalarını proxy'nin kendi hatalarından ayırır.
- duration_ms — toplam işleme süresi; bağlantı süresi, ilk bayta kadar geçen süre ve aktarım süresi olarak bölmek de faydalıdır.
- bytes_in ve bytes_out — aktarılan veri hacmi. Faturalamanın ve anomali avının temeli.
- retry — proxy tekrar deneme yapıyorsa deneme numarası.
- tls — TLS sürümü ve başarılı el sıkışma göstergesi.
- ua_class — User-Agent'ın kendisi değil, sınıfı: mobil tarayıcı, masaüstü, uygulama. Tam User-Agent gerekirse kısa bir kodun altında ayrı bir referans tablosunda saklanır.
Örnek kayıt
Bu şemayla inşa edilmiş bir kayıt şöyle görünür:
{"ts":"2026-03-14T08:21:37.412Z","req_id":"01HRX7K9M2P4Q","client_id":"c_0412","profile_id":"p_88213","session_id":"s_7f3a91","upstream_id":"n_msk_017","upstream_ip_hash":"a91f...c2","carrier":"op_a","region":"ru-mow","method":"GET","host":"example-platform.com","path_template":"/api/v2/feed/{id}","status":200,"proxy_status":"ok","duration_ms":842,"ttfb_ms":611,"bytes_in":1204,"bytes_out":48211,"retry":0,"tls":"1.3","ua_class":"mobile_android"}Üç yüz küsur bayt. Tek bir sır yok, harici kullanıcıların tek bir kişisel tanımlayıcısı yok, ama olayın tam bir resmi var. Bu kayıtla yukarıdaki altı soruşturma senaryosunun tamamı yanıtlanabilir.
Rotasyon jurnalının zorunlu alanları
Mobil proxy'ler için rotasyon jurnalı access log kadar önemlidir. Asgari şema: zaman damgası, session_id, upstream_id, rotasyon nedeni (programa göre, istemci talebiyle, hata nedeniyle, istek limitine ulaşılmasıyla), eski ve yeni IP'nin hash'i, operatör, önceki oturumun süresi, önceki oturumdaki istek sayısı. Bir hesabın kontrol aldığını içerik nedeniyle değil, on dakikada IP'nin dört kez değişmesi nedeniyle anladığınız yer tam da bu jurnaldır.
Şemayı devreye alma adım adım kılavuzu
- Ekibiniz için geçerli soruşturma senaryolarını yazın. En az beş tane.
- Her senaryo için onu kapatacak asgari alan kümesini belirleyin.
- Kümeleri birleştirin, tekrarları silin. Bu şemanın taslağıdır.
- Her alan için şu soruyla geçin: sır, kişisel veri veya dolaylı tanımlayıcı içeriyor mu? Öyleyse hash, sınıf veya şablonla değiştirin.
- Şemayı sürümlü bir belge olarak sabitleyin. Her kayıt schema_version alanı içermelidir.
- Doğrulama uygulayın: şemaya uymayan kayıt, altı ay sonra keşfedilmek yerine log oluşturma aşamasında reddedilmelidir.
- Test yükü çalıştırın ve ortalama kayıt boyutunu ölçün. Günlük hacimle çarpın ve depolama bütçesiyle karşılaştırın.
Yöntem 2: Hassas verileri ayıklama — asla yazılmaması gerekenler
Yasaklı alanlar listesi
Koşulsuz yasaklardan başlayalım. Bu veriler, DEBUG dahil hiçbir seviyede proxy katmanının hiçbir log akışına düşmemelidir:
- Authorization, Proxy-Authorization, Cookie, Set-Cookie başlıklarının değerleri, adında key, token, secret, session alt dizesi bulunan tüm başlıklar.
- user:pass@host biçimindeki dizeler dahil, herhangi bir biçimde proxy bağlantı kimlik bilgileri.
- İstek ve yanıt gövdeleri. Tamamen. Hata ayıklama için gövdeye bakmak gerekirse bu, uygulama tarafında, otomatik silinen geçici bir depolamada yapılır.
- Parametrelerle birlikte tam query string. Parametreler düzenli olarak e-posta, telefon, tek kullanımlık bağlantı token'ları içerir.
- İstemci IP'siyle birlikte tam User-Agent — bu, bir kişiyi tanımlamaya olanak tanıyan bir parmak izidir.
- Proxy katmanı yalnızca iç süreçlere hizmet vermiyorsa, hizmetinizin son kullanıcılarının açık IP adresleri.
Dört anonimleştirme tekniği
Yasaklamak kolay. Daha zor olan analitik değeri korumak. Bunu mümkün kılan araç setine bakalım:
Düzenleme (redaction)
Değerin tamamen [REDACTED] gibi bir işaretle değiştirilmesi. Analitik değeri olmayanlara uygulanır: yetkilendirme başlıkları, parolalar. Önemli bir nüans — düzenleme, dosyaların sonradan işlenmesiyle değil, proxy süreci içinde kaydın oluşturulma aşamasında yapılmalıdır. Sonradan işleme, sırrın zaten diske düştüğü, tamponlara, yedeklere, replikalara girdiği anlamına gelir.
Maskeleme (masking)
Biçimi koruyarak kısmi gizleme. E-posta i***@d*****.com, telefon +90 5** *** 12 34. Destek operatörünün karşılaştırma yaparak veriyi tanımasına izin verir ama logdan geri getirilmesine izin vermez. İnsan tarafından görsel kontrolün gerektiği yerlerde uygulanır ve dürüst olmak gerekirse proxy katmanında bu nadirdir. Çoğu zaman maskeleme, ekibin hash'lemeye hazır olmadığı bir uzlaşmadır.
Tuzlu hash'leme
Değer, gizli tuzlu bir kriptografik hash fonksiyonunun sonucuyla değiştirilir. Aynı değerler aynı hash'leri verir, dolayısıyla gruplama ve benzersiz sayımı korunur, ancak tuz olmadan orijinal değeri geri getirmek imkânsızdır. IP adresleri, harici platformların kullanıcı tanımlayıcıları, tam User-Agent için ana araçtır. Kilit gereklilik: tuz loglardan ayrı, bir sır yöneticisinde saklanır ve periyodik olarak rotate edilir. Tuz rotasyonunda eski ve yeni hash'leri eşleştirme imkânı kaybolur — bu, güvenlik için bilinçli bir bedeldir ve tuz rotasyon süresi genellikle detaylı log saklama süresiyle örtüşür.
Tokenizasyon
Değer rastgele bir token ile değiştirilir ve token-değer eşleşmesi sıkı erişim kontrolüne sahip ayrı bir korumalı depoda tutulur. Hash'lemeden farklı olarak geri çevrilebilir — ama yalnızca eşleşme tablosuna erişimi olanlar için. Olay soruşturmasının güvenlik görevlisinin kararıyla orijinal değeri geri getirmeyi gerektirebileceği durumlarda uygulanır. Örneğin kötüye kullanım şüphesinde tam istek URL'si. Eşleşme tablosu kendi kısa saklama süresine göre yaşar.
Yolları şablonlaştırma
URL yolları üzerinde ayrıca duralım. /users/88213/messages/4471 yolu iki tanımlayıcı içerir. Tamamen yazmak — dolaylı kişisel veriyi saklamak. Yalnızca alan adını yazmak — endpoint bazlı analitiği kaybetmek. Çözüm: şablonlaştırma. Sayısal segmentler, UUID'ler, uzun hash benzeri dizeler yer tutucularla değiştirilir: /users/{id}/messages/{id}. İstek tipleri bazlı analitik tamamen korunur, tanımlayıcılar kaybolur. Kayıt oluşturma aşamasında uygulanan bir dizi değiştirme kuralıyla gerçekleştirilir.
Ayıklama tam olarak nerede gerçekleşir
Doğru mimari üç savunma hattı varsayar:
- Proxy sürecinde: log oluşturucu şemayı bilir ve yasak alanları almaz. Bu ana hattır.
- Toplama aracısında: sır desenlerini arayan filtre kuralları (Bearer benzeri dizelerden sonra uzun bir dizi, JWT benzeri yapılar, Luhn formülüne göre kart numaraları) bunları işaretlerle değiştirir. Yeni bir alan ekleyen geliştiricinin hatalarına karşı sigortadır.
- Depoda: zaten saklanan verilerde sır desenlerini arayan ve alarm üreten periyodik tarayıcı. Bu filtre değil dedektördür: bir şey bulduysa ilk iki hat delinmiştir ve konuya eğilmek gerekir.
Hassas verileri ayıklama kontrol listesi
- Yetkilendirme ve cookie başlıkları sonradan işlemeyle değil, süreç içinde düzenlenir.
- Proxy kimlik bilgileri, bağlantı hatası mesajları dahil, asla error log'a düşmez.
- İstek ve yanıt gövdeleri hiçbir seviyede loglanmaz.
- Query string atılır veya şablonlaştırılır.
- IP adresleri tuzla hash'lenir; tuz ayrı saklanır ve rotate edilir.
- URL yolları kurallara göre şablonlaştırılır.
- User-Agent, sınıf veya referans koduyla değiştirilir.
- Toplama aracısında sır deseni arama kuralları vardır.
- Depo periyodik olarak sır varlığı için taranır.
- DEBUG modu belirli bir client_id için, sınırlı süreyle, otomatik kapanmayla açılır.
Yöntem 3: Rotasyon ve katmanlı depolama
Rotasyon neden gerekli
Log rotasyonu, geçerli dosyanın düzenli olarak kapatılıp yenisinin başlatılması, ardından eskilerin sıkıştırılması, taşınması veya silinmesidir. Rotasyon olmadan dosya sınırsız büyür, ne okunabilir ne sıkıştırılabilir ne de seçici olarak silinebilir ve dolan disk proxy sürecinin kendisini düşürür. Kulağa basit geliyor ama deneyimimizde kendi yazdıkları proxy ağ geçitlerindeki erişilebilirlik olaylarının en az üçte biri tam da loglarla diskin dolmasından kaynaklanıyor.
Rotasyon kriterleri
Dosya, ilk gerçekleşen koşullardan birine göre kapatılır:
- Boyuta göre — genelde yüz megabayttan bir gigabayta kadar. Daha azı — çok fazla dosya, daha fazlası — sıkıştırması uzun ve aktarması zahmetli.
- Zamana göre — yüksek trafikli ağ geçitleri için saat, küçükler için gün. Zamana göre rotasyon dosya adlarını öngörülebilir kılar ve arama kolaylaşır.
- Olayla — süreç yeniden başlatılması, şema sürümü değişimi. Bir dosya iki farklı şemadan kayıt içermemelidir.
Pratik: zamana göre, boyut sınırıyla birlikte rotate edin. Örneğin her saat, ama dosya başına beş yüz megabaytı geçmeden. Dosya adı düğümü, akışı ve başlangıç zaman damgasını içerir: access-gw-msk-01-2026031408.jsonl.
Kayıpsız mekanik
Sıklıkla gözden kaçan kritik detay: rotasyon kayıt kaybına yol açmamalıdır. Klasik hata — süreç hâlâ eski tanıtıcıya yazarken dosyayı yeniden adlandırıp yenisini oluşturmak. Doğru yaklaşımlar: sürecin koşul gerçekleştiğinde yeni dosyayı kendisinin açması (dahili rotasyon); ya da harici rotasyon aracının yeniden adlandırmadan sonra sürece dosyayı yeniden açma sinyali göndermesi; ya da modern mimarilerde tercih edilen, sürecin standart çıktıya yazması ve toplama aracısının akışı yakalayıp dosyaları kendisinin yönetmesi. Üçüncü seçenek proxy sürecinden diskle ilgili tüm sorumluluğu kaldırır.
Sıkıştırma
Yapılandırılmış JSON logları mükemmel sıkışır — tekrarlayan alan adları ve sınırlı değer kümesi sayesinde tipik katsayı sekizden on beşe kadar. Bu, bir gigabayt ham logun yetmiş-yüz megabayt arşive dönüşmesi anlamına gelir. Algoritma seçimi: sık okunacak dosyalar için ılımlı sıkıştırmalı hızlı algoritmalar; arşiv için maksimum sıkıştırma. Dosyayı kapandıktan hemen sonra değil, bir-iki rotasyon dönemi gecikmeyle sıkıştırın: taze dosyalar sıklıkla operasyonel inceleme için gerekir.
Katmanlı depolama modeli
Burada ekonomik depolamanın merkezi fikrine geliyoruz. Tüm loglar eşit derecede talep görmüyor. Kayıtlara başvurular son derece eşitsiz dağılır: loglara yapılan sorguların büyük çoğunluğu son yirmi dört saatle ilgili, dikkate değer bir kısmı son bir hafta, yalnızca tek tük başvuru bir aydan eski verilere. Her şeyi aynı derecede pahalı ve hızlı depoda saklamak israftır. İşte bu yüzden katmanlı model:
Sıcak katman
Son yirmi dört saat – üç gün. Tam arama indeksi, tüm alanlar indeksli, sorguya saniyeler içinde yanıt. Gigabayt başına en pahalı katman. Operasyonel soruşturmalar, hata ayıklama, taze olay çözümlemeleri burada yaşar.
Ilık katman
Üç günden otuza kadar. Nesne depolamada sıkıştırılmış kolonsal formatta veriler, dosyaları doğrudan okuyan motor aracılığıyla arama. Sorguya yanıt — onlarca saniye, ama depolama maliyeti bir mertebe daha düşük. Haftalık raporlar, müşteri şikayeti çözümleme, engelleme trendi analizleri burada.
Soğuk katman
Otuz günden saklama süresinin sonuna kadar. En ucuz nesne depolama sınıfında sıkıştırılmış arşivler, muhtemelen erişim gecikmeli. Arama — yalnızca kesin zaman ve düğüme göre, ardından açma ve elle çözümleme. Hukuki talepler, denetim, eski olay soruşturmaları burada.
Toplulaştırmalar
Unutulan ayrı bir katman. Detaylı kayıtlar silinmeden önce bunlardan toplulaştırmalar hesaplanır: istemci, düğüm, alan adı, saat bazında istek sayısı, yanıt kodu dağılımı, ortalama süre. Toplulaştırmalar detaylı log hacminin yüzde biri kadardır ve yıllarca saklanır. Bir sene detaylı kayıt saklamadan "bir yıl önce nasıldı" sorusunu yanıtlamayı sağlayan tam da bunlardır.
Rotasyon ve katmanları adım adım kurma
- Proxy sürecinin çıktı akışını belirleyin: standart çıktı, doğrudan dosyaya yazmaktan daha çok tercih edilir.
- Zamana göre (saat veya gün) boyut sınırıyla rotasyon kurun.
- Dosya kapandıktan bir-iki dönem gecikmeli sıkıştırma ayarlayın.
- Akışları ayırın: access, error, audit, rotation — farklı dosyalara veya farklı indekslere.
- Dosya yaşına göre ılık katmana taşımayı, kolonsal formata dönüştürmeyle ayarlayın.
- Soğuk katmana taşımayı ve saklama süresine ulaşınca silmeyi ayarlayın.
- Sıcak katmandan günlük toplulaştırma hesabını ve bunların ayrı uzun ömürlü deponu yazılmasını gerçekleştirin.
- Düğümdeki boş disk alanına ve toplama aracısına gönderim gecikmesine alarm kurun: loglar çıkmıyorsa yerelde birikiyolardır.
- Üç ayda bir silmenin gerçekten gerçekleştiğini kontrol edin: her katmandaki en eski dosyayı sayın.
Yöntem 4: Saklama süresi politikası
Süreyi belirleyen üç güç
Logların saklama süresi farklı yönlere çeken üç güç arasında bir uzlaşmadır. Mühendisler daha uzun saklamak ister: eski bir olayı incelemek ne zaman gerekir bilinmez. Finans daha az saklamak ister: her gigabayt para demek. Güvenlik ve hukukçular — en ilginç taraf: aynı anda hem soruşturmalar için yeterince uzun süre, hem de sızıntısının hesabını vermek zorunda kalacakları veriyi biriktirmemek için yeterince kısa süre saklamayı talep ederler. Kişisel veri içeren ve gerekenden uzun süre sakladığınız her kayıt, bir varlık değil bir yükümlülüktür.
İlke: süre hassasiyet ve talebe bağlıdır
Farklı akışlar ve farklı alanlar farklı süre yaşar. Bu, bölümün ana fikri. Tek bir "log saklama süresi" yoktur — süreler matrisi vardır:
- Detaylı access log: on dört ile doksan gün arası. Talep üstel olarak düşer, anonimleştirmeden sonra bile hassasiyet orta düzeydedir.
- Error log: otuz ile yüz seksen gün arası. Hacim küçük, tekrarlayan sorunların analizi için değer yüksek.
- Audit log: bir ile üç yıl arası. Yapılandırmayı kimin değiştirdiği ve erişim verdiği, uzun süre sonra soruşturmalarda gereken verilerdir. Hacim önemsizdir.
- Rotation log: access log kadar, — birbirleri olmadan anlamsızdır.
- Tokenizasyon tablosu: logların kendisinden daha kısa — yedi ile otuz gün. Süre sonunda loglardaki token'lar geri döndürülemez hale gelir.
- Toplulaştırmalar: iki ile beş yıl. Kişisel veri içermez, az yer tutar, uzun vadeli analitik için değerlidir.
Kendi durumunuz için süre nasıl hesaplanır
Beş sorudan oluşan işleyen bir çerçeve öneriyoruz:
- En uzun gerçekçi soruşturma senaryosu hangisi? Müşteri üç hafta önce gerçekleşmiş bir hesap engellemesinden şikayetçiyse, detaylı loglar en az yirmi bir gün artı pay gerektirir.
- Dış yükümlülükler var mı? Müşterilerle yapılan sözleşmeler, faturalama anlaşmazlıklarında erişim kayıtlarını belirli süre saklamayı talep edebilir. Belirli veri kategorilerinin operatörleri için düzenleyici gereksinimler de minimumlar koyabilir.
- Anonimleştirmeden sonra loglarda hangi veriler hassas kalıyor? Tuz rotasyonlu hash'leme uygulanmışsa, rotasyondan sonra hassasiyet neredeyse sıfıra düşer ve saklama uzatılabilir.
- Her katmanda depolama ne kadar tutuyor? Hacminizde bir ay sıcak, ılık ve soğuk depolama maliyetini hesaplayın. Sıklıkla bir yıl soğuk log saklamanın bir hafta sıcaktan daha ucuza geldiği ortaya çıkar.
- Silindiğinde ne kaybolur? Toplulaştırmalar uzun vadeli analitiği kapsıyorsa, detaylı kayıtlar rahatça silinebilir.
Hukuki silme durdurma
Politikanın zorunlu bir unsuru — silme durdurma mekanizması (legal hold). Bir olay soruşturması başlatıldıysa veya resmî bir talep geldiyse, ilgili dönemin otomatik silinmesi soruşturma tamamlanana kadar dondurulmalıdır. Teknik olarak bu, nesne depolamada silme sürecinin kontrol ettiği bir dosya veya ön ek üzerindeki bir bayraktır. Organizasyonel olarak — bu bayrağı kimin koyup kaldırma hakkı olduğunu belirten bir yönetmeliktir. Böyle bir mekanizma olmadan, ihtiyaç duyulan verilerin tam da o gün programa göre silindiği bir duruma düşersiniz.
Politikanın belgelenmesi
Saklama politikası bir yapılandırma dosyası ayarı değil, bir belgedir. Asgari içerik: log akışları ve alanlarının listesi; her biri için toplama amacı, her katmanda saklama süresi, anonimleştirme yöntemi; politikadan ve uygulanmasından sorumlular; silme durdurma prosedürü; silmenin gerçekleştiğinin doğrulanması prosedürü; gözden geçirme sıklığı — genelde yılda bir veya şema değişiminde. Bu belge, denetçinin soracağı ilk şeydir ve olay esnasında sizi koruyacak ilk şeydir: verilerin anlamlı şekilde işlendiğini gösterir.
Saklama matrisi şablonu
Kendi durumunuz için şu sütunlarla bir tablo doldurun: akış, hassasiyet içeren alanlar, anonimleştirme yöntemi, sıcak katman (gün), ılık katman (gün), soğuk katman (gün), toplulaştırmalar (ay), süre gerekçesi, sorumlu. Akış başına bir satır. Hazır matris bir sayfaya sığar ve ekipler arasındaki tartışmaların yüzde doksanını çözer.
Tipik hatalar: yapılmaması gerekenler
"Ne olur ne olmaz" diye her şeyi loglamak
En yaygın ve en pahalı hata. "Olsun da kullanmasak da olur" argümanı loglarda işlemez: kullanılmayan veriler para tutar, sızıntı riski yaratır ve depoyu gereklinin gereksizler arasında bulunamayacağı bir yer haline getirir. Her alan, senaryo listesindeki belirli bir soruyu yanıtlamalıdır.
Üretimde DEBUG açıp kapatmayı unutmak
Proxy'de DEBUG modu neredeyse her zaman başlık dökümü anlamına gelir. Tek bir sorunu incelemek için cuma akşamı açılan mod, pazartesiye kadar diski tüm müşterilerin yetkilendirme token'larıyla doldurur. Kural: DEBUG bir filtreyle ve otomatik kapatma zamanlayıcısıyla açılır.
Hata mesajlarına sır yazmak
Geliştirici bir bağlantı hatası mesajı oluşturur ve içine bağlantı dizesini bir bütün olarak — kullanıcı adı ve parolayla — yerleştirir. Error log bu durumda access log'dan daha uzun saklanır ve daha çok kişi tarafından incelenir. Tüm hata mesajı oluşturma yerlerini kimlik bilgisi enterpolasyonu açısından kontrol edin.
Akışları tek dosyada birleştirmek
Access, error ve audit tek dosyadaysa, üç yıl yaşaması gereken audit kayıtları access kayıtlarıyla birlikte bir ay sonra silinirken, sıkıştırılması gereken access kayıtları gözle okunması gereken seyrek error kayıtlarıyla karışık durur.
Zamanı yerel dilimde saklamak
Havuz düğümlerinin farklı bölgelerde olması, bazı yargı bölgelerinde yaz saati uygulaması, harici sistemlerin loglarıyla karşılaştırma — hepsi yerel saatte kırılır. Yalnızca UTC, yalnızca ISO 8601.
Anonimleştirmeyi sonradan işlemeyle yapmak
Gece dosyaları gezip token'ları kesen bir script, token'ların gün boyu diskte açık durduğunun, ayrıca toplama aracısının tamponlarına, replikalara ve muhtemelen yedeklere girdiğinin kabulüdür. Anonimleştirme — kayıt oluşturma aşamasında.
Silmenin çalıştığını kontrol etmemek
Politika yazılmış, süre konulmuş, otomasyon kurulmuş — ve iki yıl sonra baktığınızda kova izinlerinin değişmesi yüzünden silmenin sessizce hata verdiği ve deponun tüm geçmişi barındırdığı ortaya çıkar. Her katmandaki en eski dosyayı kontrol etmek — üç aylık bir ritüel.
Hash tuzunu logların yanında saklamak
Aynı depoda veya aynı dizinde duran proxy yapılandırma dosyasındaki tuz, tuzun yokluğu demektir. Hash'lenmiş IP'ler bu durumda dakikalar içinde kaba kuvvetle geri getirilir. Tuz — sır yöneticisinde, sınırlı erişim ve rotasyonla.
Tam URL loglamak
Query string hassas verilerin konsantresidir: arama parametrelerindeki e-posta, tek kullanımlık bağlantı token'ları, kullanıcı tanımlayıcıları. Alan adı artı şablonlaştırılmış yol — herhangi bir taşıma analitiği için yeterlidir.
Araçlar ve kaynaklar
Proxy sunucuları ve loglama yetenekleri
Olgun proxy sunucularının ve ters proxy'lerin çoğu, JSON çıktısı dahil yapılandırılabilir access log formatını destekler ve alanları yapılandırma aracılığıyla hariç tutmaya veya geçersiz kılmaya olanak tanır. Seçerken üç şeye dikkat edin: ara metin formatı olmadan yapılandırılmış log çıktısı verebilme; kayda istemciden gelen korelasyon başlığını ekleyebilme; belirli başlıkların loglanmasını kod düzeyinde değil yapılandırma düzeyinde tamamen yasaklayabilme. Proxy katmanı kendi yazımınızsa — ki mobil proxy yönetim sistemlerinde bu nadir değildir — dilinizin kayıt işlemcileri destekli yapılandırılmış loglama kütüphanesini kullanın; düzenleme ve hash'leme tam da işlemcide gerçekleştirilir.
Toplama aracıları
Toplama aracısı — düğümde proxy çıktısını okuyan, filtreleri uygulayan ve kayıtları depoya gönderen süreçtir. Seçimin kilit kriterleri: ikinci savunma hattı için düzenli ifade bazlı değiştirme kuralları desteği; depo erişilemezse kayıt kaybetmemek için diske tamponlama; aracı proxy sürecinin yanında aynı düğümde yaşadığı için düşük kaynak tüketimi; farklı akışları farklı hedeflere yönlendirme desteği.
Depolar ve arama motorları
Sıcak katman için alan bazlı tam metin aramalı arama indeksleri veya son yıllarda daha iyi sıkıştırma ve toplulaştırma hızı sayesinde klasik indeksleri geride bırakan kolonsal analitik veritabanları uygundur. Ilık ve soğuk katmanlar için — kolonsal dosya formatlı nesne depolama ve bunları doğrudan okuyan sorgu motoru. Yaşam döngüsü politikaları olan bir nesne depolama seçin: depolama sınıfları arası otomatik geçiş ve yaşa göre silme, kendi kodunuz olmadan yapılandırmayla gerçekleştirilir.
Anonimleştirme araçları
Ayrı bir araç sınıfı — başlangıçta kod depolarındaki anahtarları bulmak için yaratılmış sır tarayıcıları. Desen motorları loglara da uygulanabilir: token'ları, bulut sağlayıcı anahtarlarını, JWT benzeri dizeleri bulurlar. Depoda periyodik çalışmaya ayarlandığında böyle bir tarayıcı üçüncü savunma hattı olur. Yol şablonlaştırma ve hash'leme için özel araçlar yoktur — log işlemcisinde birkaç düzine satır kod yeterlidir.
Sır yönetimi
Hash'leme tuzu ve tokenizasyon tablosu, erişim günlüklemeli bir sır yöneticisinde yaşamalıdır. Bu, bir bulut sağlayıcısının çözümü de olabilir, kendi barındırdığınız bir sır deposu da. Kriter — proxy sürecine, insanın değerine erişimi olmadan tuza erişim verebilme.
Ne okumalı ve neye yönelmeli
Yön belirleyicileri olarak şunlar hizmet eder: uygulamalı güvenlik topluluklarının güvenli loglama rehberleri, ki burada loglara yazılması yasak verilerin kapsamlı listeleri verilir; düzenleyicilerin kişisel veri minimizasyonuna ilişkin dokümantasyonu; bulut sağlayıcılarının katmanlı depolama önerileri, ki burada maliyet hesapları verilir. Dağıtık izleme spesifikasyonlarına ilişkin materyaller ayrıca faydalıdır — korelasyon kimliklerinin formatı tam da oradan alınmalıdır.
Vakalar ve sonuçlar
Vaka 1: pazarlama otomasyonu ekibi, log hacmini altı kat azalttı
Başlangıç durumu: mobil proxy havuzu üzerinden reklam hesaplarıyla çalışma ağ geçidi, günde yaklaşık dört milyon istek. Loglar metin formatında, tam URL, tüm istek başlıkları ve "hata ayıklama için" yanıt gövdesinin ilk kilobaytıyla yazılıyordu. Ortalama kayıt — yaklaşık iki kilobayt, günlük hacim — sekiz gigabayt, hepsi doksan günlük saklamayla sıcak arama indeksinde. İndeks maliyeti — altyapı bütçesinde dikkate değer bir satır.
Ne yapıldı: yukarıda tanımlanan yirmi alanlı JSON şemasına geçiş. Başlıklar, gövde, query string atıldı. Yollar şablonlaştırıldı. Katmanlar getirildi: üç gün sıcak, otuz gün ılık, doksan gün soğuk. Saatlik toplulaştırmalar üç yıllık saklamayla devreye alındı.
Sonuç: ortalama kayıt — üç yüz yirmi bayt, günlük hacim — 1,3 gigabayt, ılık katmanda sıkıştırmadan sonra günde yaklaşık yüz megabayt. Depolama maliyeti yaklaşık yüzde seksen beş azaldı. Beklenmeyen yan etki: olay çözümleme hızı arttı, çünkü analistler başlıklarda boğulmayı bıraktı ve doğrudan kilit alanları gördü. Ve iki ay sonra üçüncü hat olarak kurulan sır tarayıcısı eski arşivlerde on iki binden fazla aktif reklam hesabı token'ı buldu — bunlar iptal edildi ve yeniden düzenlendi.
Vaka 2: pazaryeri parser servisi, rotasyon jurnalıyla engellemeleri çözümledi
Durum: ekip mobil proxy'ler üzerinden herkese açık ürün kartlarını parse ediyor ve oturumların bir kısmında engelleme dalgasıyla karşılaşıyor. Metrikler hata artışını gösteriyor ama nedeni göstermiyor. Access log var, rotasyon jurnalı yok.
Ne yapıldı: IP değişim nedeni ve oturum süresi içeren bir rotasyon jurnalı eklendi, session_id aracılığıyla access log'a bağlandı. Sadece iki gün sonra verilerden şu görüldü: engellenen oturumların büyük çoğunluğunun süresi üç dakikadan kısaydı — rotasyon agresif zamanlayıcıyla devreye giriyordu ve hedef platform aynı profili kısa aralıkta üç farklı IP'den görüyordu. Yirmi dakikadan uzun oturumlar üç kat daha az engelleniyordu.
Sonuç: rotasyon yeniden yapılandırıldıktan sonra engellenen oturumların oranı yüzde on birden yüzde üçün altına düştü. Maliyet: rotasyon kaydı başına yaklaşık kırk bayt, günde on bin kayıt — access log'un yanında fark edilmeyen bir hacim. Önemli saydığımız çıkarım: mobil proxy'ler için rotasyon jurnalı bir seçenek değil, zorunlu bir akış.
Vaka 3: harici müşterili platform, logları kişisel veri gerekliliklerine uygun hale getirdi
Durum: servis müşterilerine, üzerinden müşterilerinin son kullanıcılarının isteklerinin geçtiği proxy erişimi sağlıyor. Loglarda — son kullanıcıların IP'leri, tam User-Agent, tam URL'ler. Hukuki denetim, logları bir yıllık saklama süresiyle kişisel veri tabanı olarak nitelendiriyor.
Ne yapıldı: IP'ler her otuz günde rotate edilen tuzlu hash'lerle değiştirildi; User-Agent — referans koduyla; URL — alan adı ve yol şablonuyla. Sürelerin gerekçelendirildiği bir saklama matrisi oluşturuldu. Silme durdurma mekanizması getirildi. Detaylı loglar kırk beş günle sınırlandı, toplulaştırmalar — üç yıl.
Sonuç: tuz rotasyonundan sonra otuz günden eski loglar kullanıcıyı dolaylı olarak bile tanımlamaya olanak tanıyan verileri içermeyi bıraktı ve kişisel veri tabanı kapsamından çıkarıldı. Koruma yükümlülüklerinin hacmi azaldı ve son bir aya ilişkin olay çözümleme kapasitesi tamamen korundu. Denetim, saklama matrisini anlamlı işlemenin yeterli kanıtı olarak kabul etti.
Vaka 4: disk dolması olayı
Kısa ama gösterge niteliğinde. Kendi yazdıkları proxy yöneticisi logları rotasyonsuz bir dosyaya yazıyordu. Dört ayda dosya kırk gigabayta ulaştı, düğümün diski doldu, süreç yazma girişiminde çöktü, yirmi modemlik havuz gece üç saat boyunca durdu. Olaydan sonra: standart akışa çıktı, tamponlu toplama aracısı, saatlik rotasyon, boş alan alarmı. Tekrarlanma olmadı. Çözümün maliyeti — bir iş günü.
SSS: proxy katmanı logları hakkında zor sorular
Yalnızca hataları loglamak yeterli mi, başarılı istekleri de loglamak gerekli mi?
Gerekli. Başarılı istekler faturalamanın, hata oranlarının hesaplanmasının (payda olmadan oran anlamsızdır), platformların farklı operatörlere yönelik davranışının analizinin ve belirli bir isteğin sizden geçmediğinin kanıtlanmasının temelidir. Tasarruf edilmesi gereken şey kayıt sayısı değil, kaydın boyutudur. Hacim yine de kabul edilemezse örnekleme uygulayın: tüm hataları ve her onuncu başarılı isteği örnekleme bayrağıyla loglayın, toplulaştırmada katsayıyla çarpın.
IP hash'lenmişse ve tuz zaten rotate edilmişse olay nasıl soruşturulur?
Bu bilinçli bir sınırdır. Tuz rotasyonundan sonra veriler geri döndürülemez hale gelir — koruyucu değeri tam da bundadır. IP'nin geri getirilmesini gerektiren soruşturmalar, genellikle detaylı saklama süresiyle örtüşen tuz geçerlilik dönemine sığmalıdır. Soruşturma senaryoları düzenli olarak bu dönemin dışına taşıyorsa tuz rotasyon süresini uzatın, ama bunun logların hassas kaldığı süreyi de uzattığını bilerek yapın. Gerçekten uzun soruşturmalar için silme durdurma ve tuzu aynı anda kullanın.
Proxy katmanı logları izlemeden (tracing) nasıl farklıdır?
İzleme, tek bir isteğin birden fazla servis üzerinden, iç içe geçmiş zaman aralıklarıyla izlediği yolu tanımlar. Log, tek bir bileşendeki olayı tanımlar. Ortak korelasyon kimliği aracılığıyla birbirlerini tamamlarlar: iz üzerinden isteğin proxy katmanında sekiz yüz milisaniye geçirdiğini görürsünüz, log üzerinden — neden tam olarak: beş yüz üst düğümle bağlantıya, iki yüz TLS'e, yüz aktarıma. Birini diğerinin yerine koymaya çalışmayın.
Logları saklarken şifrelemek gerekir mi?
Evet, tüm katmanlarda. Anonimleştirilmiş loglar bile iş bilgisi içerir: hangi alan adlarını istediğiniz, hangi yoğunlukta, hangi operatörler üzerinden. Depo tarafında şifreleme, nesne depolarının standart ayarıdır, bayrakla açılır. Ek olarak sıcak katmana erişimi rollere göre sınırlayın: analistler toplulaştırmaları ve anonimleştirilmiş alanları görür, güvenlik görevlileri — her şeyi görür.
Birden fazla bölgede çalışırken loglar nasıl ele alınmalı?
Zamanı UTC'de, düğümün bölgesini ayrı bir alanda kaydedin. Saklama bu durumda veri yerelleştirme gereksinimlerine bağlı olarak merkezi veya bölgesel olabilir: proxy üzerinden belirli bir yargı bölgesinin kullanıcılarından veri geçiyorsa, anonimleştirilmiş tanımlayıcılarını içeren loglar o yargı bölgesinde saklama gereğine tabi olabilir. Tasarlamadan önce, sonra değil, hukukçularınıza danışın.
Proxy logları müşteri faturalaması için kullanılabilir mi?
Kullanılabilir ve kullanılmalıdır, ancak iki çekinceyle. Birincisi: faturalama detaylı kayıtlara değil toplulaştırmalara dayanır — dönem için client_id başına toplamlar. Toplulaştırmalar daha uzun yaşar ve hassas içermez. İkincisi: log müşteriyle hesaplaşma için esas teşkil ediyorsa, ona değişmezlik gereksinimleri uygulanır — kayıtlar sonradan düzenlenmez, dosyalar kontrol toplamlarıyla donatılır, yazma erişimi yalnızca toplama sürecine aittir.
Geliştiricinin eklediği yeni bir alanın sır içermediğinden nasıl emin olunur?
Süreç açısından: log şemasındaki her değişiklik, her yeni alanın hassasiyeti sorulmak kaydıyla inceleme sürecinden geçer ve şema sürümü artırılır. Teknik olarak: toplama aracısındaki ikinci savunma hattı, alan adından bağımsız olarak sır desenlerini yakalar, üçüncü — depo tarayıcısı — bir şey sızdıysa sinyal verir. Ek olarak, log oluşturucudan önceden bilinen sahte bir token içeren bir isteği geçirip token'ın çıktıda görünmediğini kontrol eden bir test yararlıdır.
Bir düğüm havuzdan çıkarıldığında loglarına ne olur?
Düğümün logları, saklama süresinin sonuna kadar depoda kalır — gerçekleşmiş olayları tanımlarlar ve düğümle birlikte silinmeleri tarihin bütünlüğünü bozar. Düğümdeki yerel tamponlar, düğüm kapatılmadan önce depoya gönderilmelidir, bunun için çıkarma prosedürüne toplama aracısı tamponunun boşalmasını bekleme dahil edilir. Düğüm kimliği yeni düğümler için yeniden kullanılmaz, aksi halde iki farklı cihazın kayıtları karışır.
Saklama politikasının yeterli olduğu nasıl değerlendirilir?
Üç ayda bir üç kontrol yapın. Birincisi: son beş olayı alın ve her biri için gerekli verilerin doğru katmanda mevcut olduğundan emin olun. İkincisi: bir çeyrekte loglara yapılan sorguların ne kadarının otuz günden eski verilere gittiğini sayın; sıfırsa soğuk katman kısaltılabilir. Üçüncüsü: her katmandaki en eski dosyanın belirlenen süreden eski olmadığından emin olun. Üç kontrol de geçerse politika yeterlidir.
Sonuç: loglar yan ürün değil, tasarlanan bir sistem
Ana noktaları toplayalım. Proxy katmanı logları "kendiliğinden yazılan" bir şey değil, kendi şeması, kendi sınırları ve kendi yaşam döngüsü olan tasarlanmış bir sistemdir. "Kim", "ne üzerinden" ve "ne oldu" sorularını yanıtlar ve ilke olarak "ne aktarıldı" sorusunu yanıtlamaz — bu uygulamanın sorumluluğudur.
Ne yazılmalı: UTC'de zaman damgası, korelasyon, müşteri, profil ve oturum kimlikleri, düğüm kodu, anonimleştirilmiş IP, operatör ve bölge, yöntem, alan adı ve yol şablonu, yanıt ve iç durum kodları, süreler, hacimler, deneme numarası. Mobil proxy'ler için — IP değişim nedenli zorunlu rotasyon jurnalı.
Ne yazılmamalı: yetkilendirme başlıkları ve cookie'ler, proxy kimlik bilgileri, istek ve yanıt gövdeleri, parametreli tam URL'ler, IP ile birlikte tam User-Agent, son kullanıcıların açık adresleri. Anonimleştirme — süreç içinde, toplama aracısında ve depo tarayıcısında iki ek savunma hattıyla.
Nasıl saklanmalı: ayrı akışlar, boyut sınırıyla zamana göre rotasyon, sıkıştırma, çıktıda toplulaştırmalarla sıcaktan soğuğa katmanlar, akış başına süre matrisi, silme durdurma mekanizması ve silmenin gerçekleştiğinin düzenli kontrolü.
Bu hafta yapmanızı önerdiğimiz sonraki adımlar. Birincisi: mevcut logunuzdan rastgele yüz kayıt çekin ve hassas veri ayıklama kontrol listesiyle üzerinden geçin — sonuç muhtemelen sizi şaşırtacaktır. İkincisi: ortalama kayıt boyutunu hesaplayın ve günlük hacim ile saklama süresiyle çarpın; bu rehberdeki şemayla ne olacağıyla karşılaştırın. Üçüncüsü: bir sayfalık saklama matrisini oluşturun ve güvenlikçilere ve hukukçulara gösterin — bu konuşmayı olaydan sonra değil, önce yapmak daha iyidir.
Loglar altyapınızın hafızasıdır. İyi bir hafıza önemli olanı hatırlar, gereksiz olanı unutur ve zarar verebilecek olanı saklamaz. Onu tam da böyle tasarlayın.