บทนำ: ทำไมล็อกของพร็อกซีเลเยอร์ถึงควรมีบทพูดเป็นของตัวเอง

ลองนึกภาพสถานการณ์นี้ ตอนกลางคืนอัตราการแปลงของตัวดึงข้อมูลร่วงลงหนึ่งในสาม ตอนเช้าฝ่ายความปลอดภัยถามว่าใครวิ่งไปที่ไหนผ่านพร็อกซีเกตเวย์ของบริษัทเมื่อวานซืน และพอเที่ยงทนายก็ถามว่าทำไมในไฟล์เก็บถาวรถึงมี URL เต็ม ๆ พร้อมโทเคนเข้าถึงของลูกค้าย้อนหลังสองปี ทั้งสามคำถามชี้ไปที่สิ่งเดียวกัน — ล็อกของพร็อกซีเลเยอร์ และแทบทุกครั้งก็พบว่าล็อกไม่เก็บสิ่งที่จำเป็น เก็บสิ่งที่ไม่ควรเก็บ หรือเก็บในแบบที่หาอะไรไม่เจอภายในเวลาที่สมเหตุสมผล

เราพูดเรื่องการสังเกตการณ์พูลพร็อกซีไปแล้ว ทั้งเมตริกความสำเร็จ ความหน่วงแยกตามโหนด การแจ้งเตือนเมื่อประสิทธิภาพตก และแดชบอร์ด นั่นคือเรื่องของ ระบบโดยรวมรู้สึกเป็นอย่างไร หัวข้อวันนี้ต่างออกไป เมตริกจะบอกว่าอัตราข้อผิดพลาด 429 เพิ่มจากสองเป็นสิบสี่เปอร์เซ็นต์ ล็อกจะบอกว่าแอ็กเคานต์ไหน ผ่าน IP ของโอเปอเรเตอร์มือถือไหน พร้อม User-Agent อะไร ได้รับคำตอบนั้นในวินาทีใด เมตริกตอบคำถามว่า "เกิดอะไรขึ้น" ล็อกตอบคำถามว่า "เกิดอะไรขึ้นกันแน่ กับใคร" ที่นี่เราพูดถึงเฉพาะเนื้อหาของบันทึก การตัดข้อมูลอ่อนไหวออก การหมุนเวียนไฟล์ และนโยบายระยะเวลาจัดเก็บ

ทำไมเรื่องนี้ถึงสำคัญเป็นพิเศษตอนนี้ ข้อแรก ปริมาณ พร็อกซีเกตเวย์ทั่วไปแม้ของทีมเล็ก ๆ ด้านการตลาดอัตโนมัติก็สร้างคำขอหลายแสนถึงหลายสิบล้านรายการต่อวัน การเพิ่มบรรทัดหนึ่งบรรทัดในฟอร์แมตล็อกจะถูกคูณด้วยจำนวนมหาศาลนี้ ข้อสอง กฎระเบียบ ข้อกำหนดกฎหมายว่าด้วยข้อมูลส่วนบุคคลเข้มงวดขึ้นเรื่อย ๆ และพร็อกซีเลเยอร์คือจุดที่ตัวระบุผู้ใช้ คุกกี้ และเฮดเดอร์ยืนยันตัวตนผ่านเข้ามาแบบเปิดเผย ข้อสาม เศรษฐศาสตร์ การเก็บล็อกหลายเทระไบต์ไว้ในดัชนีค้นหาความเร็วสูงมีค่าใช้จ่าย และบ่อยครั้งเงินนั้นหมดไปกับข้อมูลที่ไม่มีใครเคยแตะ

จากคู่มือนี้คุณจะได้รู้ว่า: ฟิลด์ใดต้องปรากฏในทุกบันทึกของพร็อกซีล็อกและเพราะอะไร ข้อมูลใดห้ามบันทึกเด็ดขาดแม้จะ "เผื่อไว้ก่อน" การจัดระบบปิดบังและแฮชอย่างไรให้ล็อกยังมีประโยชน์ต่อการสืบสวน การวางการหมุนเวียนและการจัดเก็บแบบหลายชั้น และการกำหนดระยะเวลาจัดเก็บที่ลงตัวทั้งกับวิศวกร ฝ่ายความปลอดภัย และทนาย พร้อมเทมเพลต เช็กลิสต์ และกรณีศึกษาจริงที่มีตัวเลขประกอบ เนื้อหายาวหน่อย แต่ทุกส่วนผ่านการพิสูจน์จากการใช้งานจริงมาแล้ว

พื้นฐาน: ล็อกของพร็อกซีเลเยอร์คืออะไรและประกอบด้วยอะไร

ความหมายและตำแหน่งในสถาปัตยกรรม

พร็อกซีเลเยอร์คือส่วนประกอบที่อยู่ระหว่างแอปพลิเคชันของคุณ (ตัวดึงข้อมูล ตัวจัดการแอ็กเคานต์ ระบบอัตโนมัติสำหรับบัญชีโฆษณา) กับโลกภายนอก ทำหน้าที่รับคำขอ เลือกที่อยู่ขาออกจากพูล ส่งคำขอ และคืนคำตอบ ถ้าคุณใช้พร็อกซีมือถือ เลเยอร์นี้ยังจัดการการหมุน IP การผูกเซสชันเข้ากับแอ็กเคานต์ และการสลับระหว่างโอเปอเรเตอร์อีกด้วย

ล็อกของพร็อกซีเลเยอร์คือลำดับของบันทึก แต่ละรายการอธิบายเหตุการณ์หนึ่งอย่างในคอมโพเนนต์นี้ ส่วนใหญ่เหตุการณ์คือคำขอ HTTP ที่ประมวลผลแล้ว แต่เหตุการณ์ยังรวมถึงการเปลี่ยน IP ข้อผิดพลาดในการเชื่อมต่อกับโหนดต้นทาง การปฏิเสธคำขอตามกฎการเข้าถึง และการเริ่มหรือหยุดโปรเซส

การเปรียบเทียบที่ได้ผลคือบันทึกประจำเรือ บนนั้นไม่มีการคัดลอกเนื้อหาห้องสินค้า แต่บันทึกทุกการเปลี่ยนเส้นทาง เวลา พิกัด สภาพอากาศ และใครอยู่เวร ในทำนองเดียวกัน ล็อกพร็อกซีที่ดีไม่เก็บเนื้อความของคำขอ แต่บันทึกทุกสิ่งที่ทำให้กู้เส้นทางของเหตุการณ์กลับมาได้

ประเภทล็อกภายในพร็อกซีเลเยอร์

ในทางปฏิบัติแบ่งได้เป็นสี่สาย และการรวมทั้งหมดไว้ในไฟล์เดียวคือข้อผิดพลาดแรกของมือใหม่

  • Access log (บันทึกการเข้าถึง) — หนึ่งบันทึกต่อหนึ่งคำขอที่ประมวลผลแล้ว เป็นสายที่ปริมาณมากที่สุด และเป็นแหล่งหลักสำหรับการสืบสวนและการคิดค่าบริการ
  • Error log (บันทึกข้อผิดพลาด) — เหตุการณ์ที่ต้องใส่ใจ เช่น เชื่อมต่อกับโหนดต้นทางไม่ได้ หมดเวลา พูลหมด โปรเซสล่ม ปริมาณน้อยกว่า access log หลายสิบถึงหลายร้อยเท่า แต่คุณค่าต่อหนึ่งบันทึกสูงกว่า
  • Audit log (บันทึกการตรวจสอบ) — ใครเปลี่ยนการตั้งค่า ใครออกโทเคน ใครเพิ่มหรือลบโหนดในพูล เขียนไม่บ่อย แต่เก็บไว้นานที่สุด
  • Rotation/session log (บันทึกการหมุน/เซสชัน) — สายเฉพาะของพร็อกซีมือถือ: IP เปลี่ยนเมื่อไหร่และเพราะอะไร โอเปอเรเตอร์ไหน เซสชันไหนผูกกับแอ็กเคานต์ใด ถ้าไม่มีสิ่งนี้ก็ตอบไม่ได้ว่าทำไมแอ็กเคานต์ถึงโดนตรวจสอบความปลอดภัย

ระดับการบันทึก

ระดับคลาสสิก — DEBUG, INFO, WARN, ERROR, FATAL — ใช้ได้กับที่นี่เช่นกัน แต่มีข้อควรระวัง สำหรับ access log ระดับแทบไม่มีความหมาย เพราะทุกคำขอคือ INFO ระดับมีความหมายกับ error log และเหตุการณ์ภายใน กฎปฏิบัติคือ ในโปรดักชันพร็อกซีเลเยอร์ทำงานที่ INFO ส่วน DEBUG เปิดเฉพาะจุด เฉพาะไคลเอนต์หรือโหนดหนึ่ง และในระยะเวลาจำกัด เพราะโหมด DEBUG ในพร็อกซีมักหมายถึงการดัมป์เฮดเดอร์ทั้งหมด ซึ่งเป็นทางตรงสู่การรั่วของข้อมูลยืนยันตัวตนลงไฟล์

รูปแบบ: ข้อความธรรมดา vs มีโครงสร้าง

เมื่อสิบปีก่อน มาตรฐานคือรูปแบบข้อความอย่าง Common Log Format ที่คั่นฟิลด์ด้วยช่องว่าง วันนี้ฉันทามติของวงการชัดเจน: ล็อกแบบมีโครงสร้าง โดยปกติเป็น JSON ที่ทุกฟิลด์มีชื่อ เหตุผลง่าย ๆ บันทึกแบบมีโครงสร้างกรองตามฟิลด์ใดก็ได้โดยไม่ต้องใช้ regex ทุกระบบเก็บรวบรวมเข้าใจ และที่สำคัญสำหรับหัวข้อเราคือ ลบหรือปิดบังฟิลด์เฉพาะได้ง่าย ลองตัดเฮดเดอร์ Authorization ออกจากสตริงข้อความที่มันอาจอยู่ตรงไหนก็ได้ แล้วคุณจะเข้าใจว่าหมายถึงอะไร

เจาะลึก: กายวิภาคของบันทึกและธรรมชาติของความเสี่ยง

สามคำถามที่ทุกบันทึกต้องตอบได้

ก่อนคุยเรื่องฟิลด์เฉพาะ มาตกลงเกณฑ์กันก่อน บันทึกใน access log ของพร็อกซีเลเยอร์มีประโยชน์ถ้าตอบสามคำถามนี้ได้

  1. ใคร? ไคลเอนต์ใด แอ็กเคานต์หรือโปรไฟล์ใด บริการภายในใดเป็นผู้ริเริ่มคำขอ
  2. ผ่านอะไร? โหนดขาออกใด IP ใด โอเปอเรเตอร์ใด เซสชันใดที่ใช้
  3. ได้ผลอย่างไร? รหัสตอบกลับ ระยะเวลา ปริมาณข้อมูลที่ส่ง มีการลองซ้ำหรือไม่

สังเกตว่าคำถาม "ส่งอะไรไปบ้าง" ไม่อยู่ในรายการ เนื้อหาคำขอและคำตอบคือข้อมูลของแอปพลิเคชัน ไม่ใช่ของพร็อกซีเลเยอร์ พร็อกซีเลเยอร์คือระบบขนส่ง จึงควรบันทึกเหตุการณ์ด้านการขนส่งเท่านั้น นี่คือหลักการแบ่งความรับผิดชอบพื้นฐาน และปัญหาส่วนใหญ่เรื่องข้อมูลอ่อนไหวในล็อกเกิดจากการละเมิดหลักการนี้

ตัวระบุและการเชื่อมโยง

ฟิลด์ที่มีค่าที่สุดในล็อกยุคใหม่คือ ตัวระบุการเชื่อมโยง (request ID หรือ trace ID) เป็นสตริงเฉพาะที่แอปพลิเคชันสร้างตอนสร้างคำขอและส่งเข้าพร็อกซีเลเยอร์ผ่านเฮดเดอร์พิเศษ พร็อกซีเขียนลงล็อกของตน แอปพลิเคชันเขียนลงล็อกของตน ผลคือคุณเชื่อมเหตุการณ์ในตัวดึงข้อมูล เหตุการณ์ในพร็อกซี และเหตุการณ์ในระบบหมุน IP ได้ในไม่กี่วินาที ถ้าไม่มีการเชื่อมโยง คุณจะต้องจับคู่บันทึกด้วยเวลาที่แม่นยำถึงวินาที ซึ่ง hopeless เมื่อมีคำขอหลายหมื่นต่อวินาที

ตัวระบุที่สำคัญอันดับสองคือ ตัวระบุเซสชัน สำหรับพร็อกซีมือถือ เซสชันคือช่วงที่คำขอของแอ็กเคานต์หนึ่งวิ่งผ่าน IP เดียวกัน เซสชันนี่เองที่เชื่อม access log กับบันทึกการหมุน ถ้าแอ็กเคานต์โดนแบน คุณดูเซสชันของมัน เห็นว่าชั่วโมงเดียว IP เปลี่ยนสามครั้งจากภูมิภาคต่างกัน ก็เข้าใจสาเหตุ

หมวดหมู่ข้อมูลอ่อนไหวในทราฟฟิกพร็อกซี

มาดูว่าอะไรผ่านพร็อกซีเลเยอร์และเป็นความเสี่ยงเมื่อหลุดลงล็อก

  • ข้อมูลยืนยันตัวตน: เฮดเดอร์ Authorization, Proxy-Authorization, Cookie, Set-Cookie, X-API-Key และทำนองเดียวกัน โทเคนในล็อกเท่ากับโทเคนที่เปิดเผยต่อใครก็ตามที่เข้าถึงล็อกได้ ซึ่งมักเป็นวงกว้างกว่าคนที่เข้าถึงซีเคร็ตมาก
  • ข้อมูลส่วนบุคคลใน URL: อีเมลในพารามิเตอร์ค้นหา เบอร์โทร ตัวระบุผู้ใช้ของแพลตฟอร์มภายนอก ชื่อในพาธ นี่คือจุดที่กฎหมายว่าด้วยข้อมูลส่วนบุคคลมีผล และล็อกกลายเป็นที่จัดเก็บที่ต้องขึ้นทะเบียน
  • ข้อมูลรับรองของพร็อกซีเอง: ชื่อผู้ใช้และรหัสผ่านสำหรับยืนยันตัวตนกับพร็อกซีที่ไคลเอนต์ส่งมาในเฮดเดอร์ กรณีรั่วคลาสสิกคือพร็อกซีเขียนสตริงการเชื่อมต่อแบบ user:pass@host เต็ม ๆ ลง error log เมื่อเชื่อมต่อไม่สำเร็จ
  • เนื้อความคำขอและคำตอบ: ฟอร์มเข้าสู่ระบบ ข้อมูลการชำระเงิน เนื้อหาข้อความส่วนตัว ในการตั้งค่าปกติพร็อกซีเลเยอร์ไม่ควรเห็นสิ่งเหล่านี้เลย แต่ตอนดีบักความอยากเปิดดัมป์ก็สูง
  • ตัวระบุทางอ้อม: การรวมกันของ User-Agent, IP ของไคลเอนต์ และเวลาที่แม่นยำ ทำให้ระบุตัวตนคนได้แม้ไม่มีข้อมูลส่วนบุคคลชัดเจน ในหลายเขตอำนาจ regulators จัดการรวมกันแบบนี้เป็นข้อมูลส่วนบุคคล

มิติทางกฎหมาย

ตรงนี้ต้องระวัง ถ้าผ่านพร็อกซีเลเยอร์ของคุณมีข้อมูลผู้ใช้ — ลูกค้าของบริการคุณ ผู้ติดตาม ผู้ซื้อ — ล็อกที่มีตัวระบุของพวกเขากลายเป็นการประมวลผลข้อมูลส่วนบุคคลพร้อมหน้าที่ตามมา: วัตถุประสงค์ชัดเจน ระยะเวลาจำกัด การป้องกันระหว่างจัดเก็บ การแปลที่ตั้งข้อมูล ล็อกไม่ใช่ "ขยะทางเทคนิค" อย่างที่มักเข้าใจกัน มันคือฐานข้อมูลที่มีโครงสร้างแปลกเท่านั้น ทางออกทางวิศวกรรมง่ายมาก: ลดข้อมูลส่วนบุคคลในล็อกให้เหลือระดับที่มันไม่เป็นข้อมูลส่วนบุคคลอีกต่อไป ผ่านการแฮชและโทเคนไนเซชันที่จะกล่าวถึงด้านล่าง แล้วภาระทางกฎหมายต่อล็อกจะลดลงอย่างมาก

เศรษฐศาสตร์ของการบันทึก

อีกมิติหนึ่งคือเงิน สมมติเกตเวย์หนึ่งสิบล้านคำขอต่อวัน บันทึกใน JSON กะทัดรัดไม่มีฟิลด์เกินหนักประมาณสามร้อยไบต์ รวมสามกิกะไบต์ต่อวัน ราวเก้าสิบต่อเดือน เพิ่ม URL เต็มพร้อมพารามิเตอร์ทั้งหมดและเฮดเดอร์คำขอทั้งหมด บันทึกบวมเป็นหนึ่งจุดห้าถึงสองกิโลไบต์ นั่นก็ยี่สิบกิกะไบต์ต่อวันและหกร้อยต่อเดือน ถ้าข้อมูลนี้อยู่ในดัชนีค้นหาความเร็วสูงพร้อมการทำสำเนา ส่วนต่างของต้นทุนจะต่างกันเป็นออร์เดอร์ ทุกฟิลด์ในสคีมาล็อกคือการตัดสินใจทางการเงินที่ทำไว้ใช้หลายปีข้างหน้า

วิธีที่ 1: ออกแบบสคีมาบันทึก — สิ่งที่ต้องเขียนแน่นอน

หลักความพอเพียงขั้นต่ำ

สคีมาล็อกออกแบบไม่ใช่จากคำถาม "เราเขียนอะไรได้บ้าง" แต่จากคำถาม "เราต้องตอบคำถามอะไรได้" จดรายการสถานการณ์การสืบสวนและตรวจว่าแต่ละอย่างปิดได้ด้วยฟิลด์ที่มี สถานการณ์ทั่วไปของพร็อกซีเลเยอร์: วิเคราะห์การแบนแอ็กเคานต์ หาสาเหตุข้อผิดพลาดที่พุ่งขึ้น คิดค่าบริการตามไคลเอนต์ ตรวจการปฏิบัติตามโควตา สืบสวนเหตุการณ์ความปลอดภัย พิสูจน์ว่าคำขอบางรายการไม่ได้ผ่านเรา

ฟิลด์บังคับของ access log

ด้านล่างคือแกนสคีมาที่เราแนะนำอย่างน้อยสำหรับพร็อกซีเลเยอร์ใด ๆ ทุกฟิลด์มีคำอธิบายว่าจำเป็นเพราะอะไร

  • ts — เวลาใน UTC พร้อมมิลลิวินาที รูปแบบ ISO 8601 ห้ามใช้เขตเวลาท้องถิ่น เพราะพูลกระจายอยู่หลายภูมิภาค และเวลาท้องถิ่นจะทำให้การเชื่อมโยงเป็นไปไม่ได้
  • req_id — ตัวระบุการเชื่อมโยงที่ได้จากไคลเอนต์ หรือสร้างโดยพร็อกซีถ้าไคลเอนต์ไม่ได้ส่งมา
  • client_id — ตัวระบุภายในของไคลเอนต์หรือบริการที่ยืนยันตัวตนกับพร็อกซีแล้ว ไม่ใช่ชื่อผู้ใช้หรือรหัสผ่าน แต่เป็นคีย์ภายใน
  • profile_id — ตัวระบุแอ็กเคานต์หรือโปรไฟล์ที่คำขอนี้ทำในนาม ฟิลด์นี้เชื่อมล็อกกับตรรกะธุรกิจมัลติแอ็กเคานต์
  • session_id — ตัวระบุเซสชันพร็อกซีที่เชื่อมคำขอกับช่วงการผูกกับ IP
  • upstream_id — ตัวระบุโหนดขาออกในพูล ไม่ใช่ IP เอง แต่เป็นรหัสภายใน เพราะ IP อาจถูกนำกลับมาใช้ใหม่ รหัสไม่
  • upstream_ip_hash — แฮชของ IP ขาออกพร้อมซอล ทำให้จัดกลุ่มคำขอตามที่อยู่ได้โดยไม่เก็บที่อยู่เปิดเผยระยะยาว
  • carrier และ region — โอเปอเรเตอร์และภูมิภาคของโหนดขาออกสำหรับพร็อกซีมือถือ สำคัญมากในการวิเคราะห์พฤติกรรมแพลตฟอร์มต่อโอเปอเรเตอร์แต่ละเจ้า
  • method — เมธอด HTTP
  • host — โดเมนเป้าหมาย โดเมนเท่านั้น ไม่ใช่ URL เต็ม
  • path_template — พาธที่แทนส่วนแปรผันด้วยตัวแทน เช่น /users/{id}/posts คงคุณค่าการวิเคราะห์ไว้โดยไม่รั่วตัวระบุ
  • status — รหัสตอบกลับจากเซิร์ฟเวอร์เป้าหมาย
  • proxy_status — สถานะภายในของการประมวลผล เช่น สำเร็จ หมดเวลากับโหนดต้นทาง ถูกปฏิเสธตามกฎ พูลหมด แยกข้อผิดพลาดของเซิร์ฟเวอร์เป้าหมายออกจากข้อผิดพลาดของพร็อกซีเอง
  • duration_ms — เวลาประมวลผลรวม มีประโยชน์ถ้าแยกเป็นเวลาเชื่อมต่อ เวลาถึงไบต์แรก และเวลาส่งข้อมูล
  • bytes_in และ bytes_out — ปริมาณข้อมูลที่ส่ง พื้นฐานการคิดค่าบริการและการหาความผิดปกติ
  • retry — หมายเลขครั้งที่ลอง ถ้าพร็อกซีลองซ้ำ
  • tls — เวอร์ชัน TLS และสถานะการจับมือสำเร็จ
  • ua_class — ไม่ใช่ User-Agent เอง แต่เป็นคลาส เช่น เบราว์เซอร์มือถือ เดสก์ท็อป แอปพลิเคชัน ถ้าจำเป็นต้องเก็บ User-Agent เต็ม ให้เก็บในตารางอ้างอิงแยกภายใต้รหัสสั้น

ตัวอย่างบันทึก

บันทึกที่สร้างตามสคีมานี้มีหน้าตาแบบนี้

{"ts":"2026-03-14T08:21:37.412Z","req_id":"01HRX7K9M2P4Q","client_id":"c_0412","profile_id":"p_88213","session_id":"s_7f3a91","upstream_id":"n_msk_017","upstream_ip_hash":"a91f...c2","carrier":"op_a","region":"ru-mow","method":"GET","host":"example-platform.com","path_template":"/api/v2/feed/{id}","status":200,"proxy_status":"ok","duration_ms":842,"ttfb_ms":611,"bytes_in":1204,"bytes_out":48211,"retry":0,"tls":"1.3","ua_class":"mobile_android"}

สามร้อยกว่าไบต์ ไม่มีความลับ ไม่มีตัวระบุส่วนบุคคลของผู้ใช้ภายนอก แต่ได้ภาพเหตุการณ์ครบถ้วน บันทึกนี้ตอบสถานการณ์การสืบสวนทั้งหกข้อได้ทั้งหมด

ฟิลด์บังคับของบันทึกการหมุน

สำหรับพร็อกซีมือถือ บันทึกการหมุนสำคัญไม่แพ้ access log สคีมาขั้นต่ำ: เวลา, session_id, upstream_id, สาเหตุการหมุน (ตามกำหนด ตามคำขอไคลเอนต์ ตามข้อผิดพลาด ถึงลิมิตคำขอ), แฮชของ IP เก่าและใหม่, โอเปอเรเตอร์, ระยะเวลาเซสชันก่อนหน้า, จำนวนคำขอในเซสชันก่อนหน้า จากบันทึกนี้เองคุณจะเข้าใจว่าแอ็กเคานต์โดนตรวจไม่ใช่เพราะเนื้อหาการกระทำ แต่เพราะในสิบนาที IP เปลี่ยนสี่ครั้ง

ขั้นตอนการนำสคีมาไปใช้

  1. จดสถานการณ์การสืบสวนที่ทีมคุณต้องใช้ ไม่น้อยกว่าห้าข้อ
  2. สำหรับแต่ละสถานการณ์ กำหนดชุดฟิลด์ขั้นต่ำที่ปิดมันได้
  3. รวมชุดต่าง ๆ ลบรายการซ้ำ นี่คือร่างสคีมา
  4. ไล่ทุกฟิลด์ด้วยคำถาม: มีความลับ ข้อมูลส่วนบุคคล หรือตัวระบุทางอ้อมหรือไม่ ถ้ามีให้แทนที่ด้วยแฮช คลาส หรือเทมเพลต
  5. ยืนยันสคีมาเป็นเอกสารมีเวอร์ชัน ทุกบันทึกต้องมีฟิลด์ schema_version
  6. ทำการตรวจสอบ: บันทึกที่ไม่ตรงสคีมาต้องถูกปฏิเสธตอนประกอบล็อก ไม่ใช่ถูกพบครึ่งปีให้หลัง
  7. รันโหลดทดสอบและวัดขนาดบันทึกเฉลี่ย คูณกับปริมาณรายวันและเทียบกับงบจัดเก็บ

วิธีที่ 2: ตัดข้อมูลอ่อนไหวออก — สิ่งที่ห้ามเขียนเด็ดขาด

บัญชีดำของฟิลด์

เริ่มด้วยข้อห้ามเด็ดขาด ข้อมูลเหล่านี้ห้ามหลุดเข้าสายล็อกใดของพร็อกซีเลเยอร์ในทุกระดับ รวม DEBUG

  • ค่าของเฮดเดอร์ Authorization, Proxy-Authorization, Cookie, Set-Cookie และเฮดเดอร์ใดที่มีคำว่า key, token, secret, session ในชื่อ
  • ข้อมูลรับรองการเชื่อมต่อกับพร็อกซีในทุกรูปแบบ รวมสตริงแบบ user:pass@host
  • เนื้อความคำขอและคำตอบ ทั้งหมด ถ้าจำเป็นต้องดูตอนดีบัก ให้ทำที่ฝั่งแอปพลิเคชัน ในที่เก็บชั่วคราวที่ลบอัตโนมัติ
  • query string เต็มพร้อมพารามิเตอร์ พารามิเตอร์มักมีอีเมล เบอร์โทร โทเคนลิงก์ใช้ครั้งเดียว
  • User-Agent เต็มรวมกับ IP ของไคลเอนต์ — นี่คือลายนิ้วมือที่ระบุตัวคนได้
  • ที่อยู่ IP เปิดเผยของผู้ใช้ปลายทางของบริการคุณ ถ้าพร็อกซีเลเยอร์ให้บริการไม่เฉพาะโปรเซสภายใน

สี่เทคนิคการทำให้ไม่ระบุตัวตน

ห้ามไม่ยาก แต่ยากกว่าคือคงคุณค่าการวิเคราะห์ไว้ นี่คือเครื่องมือที่ทำได้

การแก้ไข (redaction)

แทนค่าทั้งหมดด้วยเครื่องหมายเช่น [REDACTED] ใช้กับสิ่งที่ไม่คุณค่าการวิเคราะห์ เช่น เฮดเดอร์ยืนยันตัวตน รหัสผ่าน ข้อควรระวังคือ ต้องแก้ไขตอนประกอบบันทึก ในโปรเซสพร็อกซี ไม่ใช่ประมวลผลไฟล์ย้อนหลัง การประมวลผลย้อนหลังหมายความว่าความลับลงดิสก์แล้วและเข้าบัฟเฟอร์ สำเนา และแบ็กอัปแล้ว

การปิดบัง (masking)

ซ่อนบางส่วนโดยคงรูปแบบ อีเมล i***@d*****.ru เบอร์โทร +7 9** *** 12 34 ทำให้พนักงานซัพพอร์ตเทียบข้อมูลได้ แต่กู้จากล็อกไม่ได้ ใช้เมื่อต้องการให้คนตรวจด้วยตา และพูดตรง ๆ ในพร็อกซีเลเยอร์หายาก ส่วนใหญ่การปิดบังเป็นทางประนีประนอมเมื่อทีมยังไม่พร้อมแฮช

การแฮชพร้อมซอล

ค่าถูกแทนด้วยผลของฟังก์ชันแฮชพร้อมซอลลับ ค่าเดียวกันให้แฮชเดียวกัน ดังนั้นการจัดกลุ่มและนับค่าที่ไม่ซ้ำยังใช้ได้ แต่กู้ค่าต้นฉบับโดยไม่รู้ซอลไม่ได้ นี่คือเครื่องมือหลักสำหรับที่อยู่ IP ตัวระบุผู้ใช้ของแพลตฟอร์มภายนอก และ User-Agent เต็ม ข้อกำหนดสำคัญ: ซอลเก็บแยกจากล็อก ในตัวจัดการซีเคร็ต และหมุนเป็นระยะ เมื่อหมุนซอลจะเสียความสามารถจับคู่แฮชเก่ากับใหม่ ซึ่งเป็นการจ่ายที่ตั้งใจเพื่อความปลอดภัย และรอบการหมุนซอลมักตรงกับระยะเวลาเก็บล็อกละเอียด

โทเคนไนเซชัน

ค่าแทนด้วยโทเคนสุ่ม โดยตารางจับคู่โทเคน-ค่าเก็บในที่เก็บป้องกันแน่นหนาพร้อมควบคุมการเข้าถึงเข้มงวด ต่างจากการแฮช วิธีนี้ย้อนกลับได้ แต่เฉพาะคนที่เข้าถึงตารางจับคู่ ใช้เมื่อการสืบสวนเหตุการณ์อาจต้องกู้ค่าต้นฉบับตามดุลพินิจของเจ้าหน้าที่ความปลอดภัย เช่น URL เต็มของคำขอที่สงสัยว่าถูกใช้ในทางที่ผิด ตารางจับคู่มีอายุสั้นกว่าของตัวเอง

การทำเทมเพลตพาธ

แยกกล่าวเรื่องพาธ URL สักหน่อย พาธ /users/88213/messages/4471 มีตัวระบุสองตัว เขียนเต็มคือเก็บข้อมูลส่วนบุคคลทางอ้อม เขียนแค่โดเมนคือเสียการวิเคราะห์ปลายทาง ทางออกคือ การทำเทมเพลต ส่วนที่เป็นตัวเลข UUID หรือสตริงยาวคล้ายแฮชถูกแทนด้วยตัวแทน: /users/{id}/messages/{id} การวิเคราะห์ตามประเภทคำขอยังครบ ตัวระบุหายไป ทำได้ด้วยชุดกฎการแทนที่ที่ใช้ตอนประกอบบันทึก

การตัดข้อมูลเกิดขึ้นตรงไหน

สถาปัตยกรรมที่ถูกต้องมี สามแนวป้องกัน

  1. ในโปรเซสพร็อกซี: ตัวประกอบล็อกรู้สคีมาและไม่หยิบฟิลด์ต้องห้ามเลย นี่คือแนวหลัก
  2. ในเอเจนต์รวบรวม: กฎกรองที่มองหารูปแบบความลับ (สตริงแบบ Bearer ตามด้วยลำดับยาว ๆ โครงสร้างคล้าย JWT หมายเลขบัตรตามสูตร Luhn) และแทนที่ด้วยเครื่องหมาย นี่คือประกันความผิดพลาดของนักพัฒนาที่เพิ่มฟิลด์ใหม่
  3. ในที่เก็บ: ตัวสแกนเป็นระยะที่หาลายความลับในข้อมูลที่บันทึกแล้วและส่งสัญญาณเตือน นี่คือเครื่องตรวจจับ ไม่ใช่ตัวกรอง ถ้ามันเจออะไร แสดงว่าสองแนวแรกถูกทะลุ ต้องสืบสวน

เช็กลิสต์การตัดข้อมูลอ่อนไหว

  • เฮดเดอร์ยืนยันตัวตนและคุกกี้ถูกแก้ไขในโปรเซส ไม่ใช่ประมวลผลย้อนหลัง
  • ข้อมูลรับรองพร็อกซีไม่เคยหลุดลง error log รวมข้อความข้อผิดพลาดการเชื่อมต่อ
  • เนื้อความคำขอและคำตอบไม่ถูกบันทึกในทุกระดับ
  • query string ถูกทิ้งหรือทำเทมเพลต
  • ที่อยู่ IP ถูกแฮชพร้อมซอล ซอลเก็บแยกและหมุน
  • พาธ URL ถูกทำเทมเพลตตามกฎ
  • User-Agent ถูกแทนด้วยคลาสหรือรหัสตารางอ้างอิง
  • เอเจนต์รวบรวมมีกฎค้นหาลายความลับ
  • ที่เก็บถูกสแกนเป็นระยะหาความลับ
  • โหมด DEBUG เปิดตาม client_id เฉพาะ ระยะเวลาจำกัด พร้อมปิดอัตโนมัติ

วิธีที่ 3: การหมุนและการจัดเก็บแบบหลายชั้น

ทำไมต้องหมุน

การหมุนล็อกคือการปิดไฟล์ปัจจุบันและเริ่มไฟล์ใหม่เป็นประจำ พร้อมบีบอัด ย้าย หรือลบของเก่า ถ้าไม่หมุน ไฟล์โตไม่จำกัด อ่านไม่ได้ บีบอัดไม่ได้ ลบเลือกไม่ได้ และดิสก์เต็มก็ทำโปรเซสพร็อกซีล่ม ฟังดูธรรมดา แต่จากประสบการณ์เรา อุบัติการณ์ที่พร็อกซีเกตเวย์เขียนเองเข้าใช้ไม่ได้ไม่น้อยกว่าหนึ่งในสามเกี่ยวกับดิสก์เต็มจากล็อกนี่เอง

เกณฑ์การหมุน

ไฟล์ปิดเมื่อเข้าเงื่อนไขใดก่อน

  • ตามขนาด — ปกติหนึ่งร้อยเมกะไบต์ถึงหนึ่งกิกะไบต์ น้อยไปได้ไฟล์เยอะเกิน มากไปบีบอัดนานและส่งไม่สะดวก
  • ตามเวลา — ชั่วโมงสำหรับเกตเวย์โหลดสูง วันสำหรับขนาดเล็ก การหมุนตามเวลาทำให้ชื่อไฟล์คาดเดาได้และหาง่าย
  • ตามเหตุการณ์ — รีสตาร์ทโปรเซส เปลี่ยนเวอร์ชันสคีมา ไฟล์ไม่ควรมีบันทึกของสองสคีมา

แนวปฏิบัติ: หมุนตามเวลาพร้อมจำกัดขนาด เช่นทุกชั่วโมงแต่ไม่เกินห้าร้อยเมกะไบต์ต่อไฟล์ ชื่อไฟล์รวมโหนด สาย และเวลาเริ่ม: access-gw-msk-01-2026031408.jsonl

กลไกไม่ให้ข้อมูลหาย

รายละเอียดสำคัญที่มักถูกลืม: การหมุนต้องไม่ทำให้บันทึกหาย ข้อผิดพลาดคลาสสิกคือเปลี่ยนชื่อไฟล์และสร้างใหม่ขณะโปรเซสยังเขียนลง descriptor เก่า วิธีที่ถูก: โปรเซสเปิดไฟล์ใหม่เองเมื่อเข้าเงื่อนไข (หมุนในตัว) หรือตัวหมุนภายนอกส่งสัญญาณให้โปรเซสเปิดไฟล์ใหม่หลังเปลี่ยนชื่อ หรือที่ดีกว่าในสถาปัตยกรรมสมัยใหม่ โปรเซสเขียนไปยัง standard output และเอเจนต์รวบรวมดึงสตรีมและจัดการไฟล์เอง วิธีที่สามปลดความรับผิดชอบเรื่องดิสก์ออกจากโปรเซสพร็อกซีทั้งหมด

การบีบอัด

ล็อก JSON แบบมีโครงสร้างบีบอัดได้ยอดเยี่ยม อัตราทั่วไปแปดถึงสิบห้าเท่า จากชื่อฟิลด์ซ้ำและชุดค่าจำกัด นั่นหมายความว่าหนึ่งกิกะไบต์ลดเหลือเจ็ดสิบถึงหนึ่งร้อยเมกะไบต์ การเลือกอัลกอริทึม: ไฟล์ที่จะอ่านบ่อยใช้ตัวเร็วบีบอัดปานกลาง ส่วนไฟล์เก็บถาวรใช้บีบอัดสูงสุด อย่าบีบอัดทันทีหลังปิดไฟล์ แต่รอหนึ่งถึงสองรอบการหมุน เพราะไฟล์สดมักต้องใช้วิเคราะห์เร่งด่วน

โมเดลจัดเก็บหลายชั้น

ตรงนี้เรามาถึงแนวคิดหลักของการจัดเก็บอย่างประหยัด ล็อกไม่ใช่ทุกอย่างที่ถูกเรียกใช้เท่ากัน การเข้าถึงบันทึกกระจายไม่เท่ากันสุดขั้ว ส่วนใหญ่การสอบถามล็อกเกี่ยวกับวันล่าสุด ส่วนหนึ่งเกี่ยวกับสัปดาห์ล่าสุด และน้อยมากเกี่ยวกับข้อมูลเก่ากว่าหนึ่งเดือน เก็บทั้งหมดในที่เก็บแพงและเร็วเท่ากันคือการสิ้นเปลือง จึงเกิด โมเดลหลายชั้น

ชั้นร้อน

หนึ่งถึงสามวันล่าสุด ดัชนีค้นหาครบทุกฟิลด์ ตอบในไม่กี่วินาที แพงที่สุดต่อกิกะไบต์ อยู่ที่นี่การสืบสวนเร่งด่วน การดีบัก และการวิเคราะห์เหตุการณ์สด

ชั้นอุ่น

สามถึงสามสิบวัน ข้อมูลในรูปแบบคอลัมน์บีบอัดใน object storage ค้นผ่านเอนจินที่อ่านไฟล์ตรง ตอบเป็นสิบวินาที แต่ต้นทุนต่ำกว่าหนึ่งออร์เดอร์ อยู่ที่นี่รายงานสัปดาห์ การวิเคราะห์ข้อร้องเรียนลูกค้า และแนวโน้มการบล็อก

ชั้นเย็น

สามสิบวันถึงสิ้นสุดระยะเวลาเก็บ ไฟล์บีบอัดในคลาส object storage ที่ถูกที่สุด อาจมีดีเลย์การเข้าถึง ค้นเฉพาะตามเวลาและโหนดที่แม่นยำ แล้วแตกไฟล์และวิเคราะห์มือ อยู่ที่นี่คำขอทางกฎหมาย การตรวจสอบ และการสืบสวนเหตุการณ์เก่า

ข้อมูลรวม

อีกชั้นที่มักถูกลืม ก่อนลบบันทึกละเอียด ให้คำนวณค่าสรุปรวม: จำนวนคำขอ การกระจายรหัสตอบ ค่าเฉลี่ยระยะเวลา ตามไคลเอนต์ โหนด โดเมน ชั่วโมง ค่าสรุปรวมกินพื้นที่เศษเสี้ยวของบันทึกละเอียดและเก็บได้หลายปี มันนี่เองที่ตอบคำถาม "ปีก่อนเป็นอย่างไร" โดยไม่ต้องเก็บบันทึกละเอียดทั้งปี

ตั้งค่าการหมุนและชั้นทีละขั้น

  1. กำหนดสายส่งออกของโปรเซสพร็อกซี: standard output เข้าสู่เอเจนต์รวบรวมดีกว่าเขียนไฟล์ตรง
  2. ตั้งการหมุนตามเวลา (ชั่วโมงหรือวัน) พร้อมจำกัดขนาด
  3. ตั้งการบีบอัดโดยรอหนึ่งถึงสองรอบหลังปิดไฟล์
  4. แยกสาย: access, error, audit, rotation แยกไฟล์หรือดัชนี
  5. ตั้งการย้ายเข้าชั้นอุ่นตามอายุไฟล์ พร้อมแปลงเป็นรูปแบบคอลัมน์
  6. ตั้งการย้ายเข้าชั้นเย็นและการลบเมื่อถึงระยะเวลาเก็บ
  7. ทำการคำนวณค่าสรุปรวมรายวันจากชั้นร้อนและเขียนไปยังที่เก็บอายุยาวแยก
  8. ตั้งการแจ้งเตือนพื้นที่ดิสก์ว่างและความล่าช้าในการส่งเข้าเอเจนต์รวบรวม ถ้าล็อกไม่ถูกส่ง มันจะสะสมในเครื่อง
  9. ไตรมาสละครั้งตรวจว่าการลบเกิดขึ้นจริง: นับไฟล์เก่าสุดในแต่ละชั้น

วิธีที่ 4: นโยบายระยะเวลาจัดเก็บ

สามแรงที่กำหนดระยะเวลา

ระยะเวลาเก็บล็อกคือการประนีประนอมระหว่างสามแรงที่ดึงไปคนละทาง วิศวกรอยากเก็บนานกว่า เพราะไม่รู้ว่าเมื่อไหร่ต้องวิเคราะห์เหตุการณ์เก่า การเงินอยากเก็บน้อยกว่า เพราะทุกกิกะไบต์มีต้นทุน ความปลอดภัยและทนายคือฝ่ายน่าสนใจที่สุด เพราะพวกเขาพร้อมกันต้องการให้เก็บนานพอสำหรับสืบสวนและสั้นพอที่จะไม่สะสมข้อมูลที่ถ้ารั่วต้องรับผิดชอบ ทุกบันทึกที่มีข้อมูลส่วนบุคคลที่คุณเก็บนานเกินจำเป็นคือภาระผูกพัน ไม่ใช่สินทรัพย์

หลักการ: ระยะเวลาขึ้นกับความอ่อนไหวและความต้องการใช้

สายต่าง ๆ และฟิลด์ต่าง ๆ อยู่คนละเวลา นี่คือแกนของส่วนนี้ ไม่มี "ระยะเวลาเก็บล็อก" เดียว มีเป็นเมทริกซ์

  • Access log ละเอียด: สิบสี่ถึงเก้าสิบวัน ความต้องการลดลงแบบเอกซ์โพเนนเชียล ความอ่อนไหวปานกลางแม้ผ่านการทำให้ไม่ระบุตัวตน
  • Error log: สามสิบถึงหนึ่งร้อยแปดสิบวัน ปริมาณน้อย คุณค่าต่อการวิเคราะห์ปัญหาซ้ำสูง
  • Audit log: หนึ่งถึงสามปี ใครเปลี่ยนการตั้งค่าและออกสิทธิ์ คือข้อมูลที่ต้องใช้เมื่อสืบสวนในภายหลัง ปริมาณน้อยมาก
  • Rotation log: เท่ากับ access log เพราะแยกกันไม่มีความหมาย
  • ตารางโทเคนไนเซชัน: สั้นกว่าล็อกเอง เจ็ดถึงสามสิบวัน เมื่อพ้นไปโทเคนในล็อกจะย้อนกลับไม่ได้
  • ค่าสรุปรวม: สองถึงห้าปี ไม่มีข้อมูลส่วนบุคคล กินพื้นที่น้อย มีค่าในการวิเคราะห์ระยะยาว

คำนวณระยะเวลาสำหรับสถานการณ์ของคุณ

เสนอกรอบห้าคำถาม

  1. สถานการณ์สืบสวนจริงยาวสุดเท่าไหร่? ลูกค้าบ่นว่าแอ็กเคานต์ถูกแบนเมื่อสามสัปดาห์ก่อน นั่นหมายความว่าบันทึกละเอียดต้องมีอย่างน้อยยี่สิบเอ็ดวันบวก Buffer
  2. มีข้อผูกพันภายนอกไหม? สัญญากับลูกค้าอาจกำหนดให้เก็บบันทึกการเข้าถึงระยะหนึ่งเพื่อแก้ปัญหาการคิดค่าบริการ ข้อกำหนดของ regulators ต่อโอเปอเรเตอร์บางประเภทอาจกำหนดขั้นต่ำ
  3. ข้อมูลใดยังอ่อนไหวหลังทำให้ไม่ระบุตัวตน? ถ้าใช้แฮชพร้อมซอลหมุน ความอ่อนไหวหลังหมุนลดเกือบเป็นศูนย์ และขยายระยะเวลาเก็บได้
  4. ต้นทุนจัดเก็บแต่ละชั้นเท่าไหร่? คำนวณค่าใช้จ่ายหนึ่งเดือนของชั้นร้อน อุ่น เย็นที่ปริมาณของคุณ บ่อยครั้งพบว่าการเก็บล็อกหนึ่งปีในชั้นเย็นถูกกว่าหนึ่งสัปดาห์ในชั้นร้อน
  5. ลบแล้วเสียอะไรไป? ถ้าค่าสรุปรวมครอบคลุมการวิเคราะห์ระยะยาว ลบบันทึกละเอียดได้เลย

การระงับการลบตามกฎหมาย

องค์ประกอบบังคับของนโยบายคือ กลไกการระงับการลบ (legal hold) ถ้าเกิดการสืบสวนเหตุการณ์หรือได้รับคำขออย่างเป็นทางการ การลบอัตโนมัติของช่วงที่เกี่ยวข้องต้องถูกแช่แข็งจนการสอบสวนเสร็จ ทางเทคนิคคือธงบนไฟล์หรือ prefix ใน object storage ที่โปรเซสลบตรวจสอบ ทางองค์กรคือระเบียบว่าใครมีสิทธิ์ตั้งและถอดธงนี้ ถ้าไม่มีกลไกนี้ คุณจะตกอยู่ในสถานะที่ข้อมูลจำเป็นถูกลบตามตารางในวันที่ต้องใช้พอดี

การจัดทำเอกสารนโยบาย

นโยบายการเก็บคือเอกสาร ไม่ใช่การตั้งค่าในไฟล์คอนฟิก เนื้อหาขั้นต่ำ: รายการสายล็อกและฟิลด์ สำหรับแต่ละอย่าง — วัตถุประสงค์การเก็บ ระยะเวลาในแต่ละชั้น วิธีทำให้ไม่ระบุตัวตน ผู้รับผิดชอบนโยบายและการบังคับใช้ ขั้นตอนระงับการลบ ขั้นตอนตรวจว่าการลบเกิดขึ้น และรอบทบทวน (ปกติปีละครั้งหรือเมื่อสคีมาเปลี่ยน) เอกสารนี้คือสิ่งแรกที่ผู้ตรวจสอบจะขอ และสิ่งแรกที่จะปกป้องคุณเมื่อเกิดเหตุการณ์ มันแสดงว่าข้อมูลถูกประมวลผลอย่างมีเหตุผล

เทมเพลตเมทริกซ์การเก็บ

กรอกตารางสำหรับกรณีของคุณด้วยคอลัมน์: สาย, ฟิลด์ที่มีความอ่อนไหว, วิธีทำให้ไม่ระบุตัวตน, ชั้นร้อน (วัน), ชั้นอุ่น (วัน), ชั้นเย็น (วัน), ค่าสรุปรวม (เดือน), เหตุผลของระยะเวลา, ผู้รับผิดชอบ หนึ่งแถวต่อสาย เมทริกซ์ที่กรอกเสร็จพอดีหนึ่งหน้า และลดข้อโต้แย้งระหว่างทีมได้เก้าสิบเปอร์เซ็นต์

ข้อผิดพลาดที่พบบ่อย: สิ่งที่ไม่ควรทำ

บันทึกทุกอย่าง "เผื่อไว้ก่อน"

ข้อผิดพลาดที่พบบ่อยที่สุดและแพงที่สุด ข้ออ้าง "มีไว้ดีกว่าไม่มี" ใช้กับล็อกไม่ได้ ข้อมูลที่ไม่ใช้มีต้นทุน สร้างความเสี่ยงรั่ว และเปลี่ยนที่เก็บให้เป็นที่ที่หาสิ่งที่ต้องการไม่เจอท่ามกลางสิ่งที่ไม่มีประโยชน์ ทุกฟิลด์ต้องตอบคำถามเฉพาะจากรายการสถานการณ์

เปิด DEBUG ในโปรดักชันแล้วลืมปิด

โหมด DEBUG ของพร็อกซีมักหมายถึงดัมป์เฮดเดอร์ เปิดคืนวันศุกร์เพื่อแก้ปัญหาหนึ่งอย่าง พอถึงจันทร์ดิสก์เต็มไปด้วยโทเคนยืนยันตัวตนของไคลเอนต์ทุกคน กฎ: DEBUG เปิดตามตัวกรองพร้อมตัวจับเวลาปิดอัตโนมัติ

เขียนความลับลงข้อความข้อผิดพลาด

นักพัฒนาสร้างข้อความข้อผิดพลาดการเชื่อมต่อและใส่สตริงการเชื่อมต่อเต็มลงไป พร้อมชื่อผู้ใช้และรหัสผ่าน ขณะที่ error log เก็บนานกว่า access log และถูกดูโดยคนมากกว่า ตรวจทุกที่ที่สร้างข้อความข้อผิดพลาดว่ามีการแทรกข้อมูลรับรองหรือไม่

รวมสายไว้ในไฟล์เดียว

Access, error และ audit ในไฟล์เดียวหมายความว่าบันทึก audit ที่ควรอยู่สามปีถูกลบพร้อมบันทึก access ภายในหนึ่งเดือน และบันทึก access ที่ควรบีบอัดก็นอนปนกับบันทึก error ที่หายากและต้องอ่านด้วยตา

เก็บเวลาเป็นเขตเวลาท้องถิ่น

โหนดพูลในภูมิภาคต่าง ๆ การเปลี่ยนเวลาออมแสงในบางเขตอำนาจ และการเทียบกับล็อกของระบบภายนอก ล้วนพังเมื่อเจอเวลาท้องถิ่น ใช้ UTC เท่านั้น ISO 8601 เท่านั้น

ทำให้ไม่ระบุตัวตนด้วยการประมวลผลย้อนหลัง

สคริปต์ที่วิ่งกลางคืนไล่ตัดโทเคนออกจากไฟล์ คือการยอมรับว่าโทเคนนอนบนดิสก์ทั้งวันแบบเปิดเผย และเข้าบัฟเฟอร์ของเอเจนต์รวบรวม สำเนา และอาจถึงแบ็กอัป การทำให้ไม่ระบุตัวตนต้องทำตอนประกอบบันทึก

ไม่ตรวจว่าการลบทำงาน

นโยบายเขียนแล้ว ระยะเวลาตั้งแล้ว ระบบอัตโนมัติตั้งแล้ว — แล้วสองปีต่อมาพบว่าเพราะสิทธิ์บนบัคเก็ตเปลี่ยน การลบล้มเหลวเงียบ ๆ และที่เก็บมีประวัติทั้งหมด การตรวจไฟล์เก่าสุดในแต่ละชั้นคือพิธีกรรมรายไตรมาส

เก็บซอลแฮชไว้ข้างล็อก

ซอลในไฟล์คอนฟิกของพร็อกซีที่อยู่ในรีโปหรือดิสก์เดียวกัน คือการไม่มีซอล IP ที่แฮชไว้กู้ได้ด้วยการไล่เดาภายในไม่กี่นาที ซอลต้องอยู่ในตัวจัดการซีเคร็ต พร้อมจำกัดการเข้าถึงและการหมุน

บันทึก URL เต็ม

query string คือแหล่งรวมข้อมูลอ่อนไหว: อีเมลในพารามิเตอร์ค้นหา โทเคนลิงก์ใช้ครั้งเดียว ตัวระบุผู้ใช้ โดเมนบวกพาธที่ทำเทมเพลตแล้วเพียงพอสำหรับการวิเคราะห์ด้านการขนส่ง

เครื่องมือและแหล่งข้อมูล

พร็อกซีเซิร์ฟเวอร์และความสามารถด้านการบันทึก

พร็อกซีเซิร์ฟเวอร์และ reverse proxy ที่เป็นผู้ใหญ่ส่วนใหญ่รองรับฟอร์แมต access log ที่ปรับแต่งได้ รวมถึงส่งออกเป็น JSON และให้ยกเว้นหรือเขียนทับฟิลด์ผ่านคอนฟิกได้ เวลาเลือกให้สังเกตสามอย่าง: ความสามารถส่งออกล็อกแบบมีโครงสร้างโดยไม่มีฟอร์แมตข้อความคั่นกลาง ความสามารถเพิ่มเฮดเดอร์เชื่อมโยงจากไคลเอนต์ลงในบันทึก ความสามารถห้ามบันทึกเฮดเดอร์เฉพาะที่ระดับคอนฟิก ไม่ใช่ระดับโค้ด ถ้าพร็อกซีเลเยอร์เขียนเอง ซึ่งไม่ใช่เรื่องแปลกสำหรับระบบจัดการพร็อกซีมือถือ ให้ใช้ไลบรารีล็อกแบบมีโครงสร้างของภาษาคุณที่รองรับโปรเซสเซอร์บันทึก เพราะในโปรเซสเซอร์นั่นเองที่ทำการแก้ไขและแฮช

เอเจนต์รวบรวม

เอเจนต์รวบรวมคือโปรเซสบนโหนดที่อ่านเอาต์พุตของพร็อกซี ใช้ตัวกรอง และส่งบันทึกไปยังที่เก็บ เกณฑ์เลือกที่สำคัญ: รองรับกฎการแทนที่ด้วย regex สำหรับแนวป้องกันสอง บัฟเฟอร์บนดิสก์เมื่อที่เก็บเข้าถึงไม่ได้เพื่อไม่ให้บันทึกหาย ใช้ทรัพยากรต่ำเพราะอยู่ข้างโปรเซสพร็อกซีบนโหนดเดียวกัน และรองรับการส่งสายต่าง ๆ ไปยังปลายทางต่างกัน

ที่เก็บและเอนจินค้นหา

ชั้นร้อนเหมาะกับดัชนีค้นหาที่ค้นฟิลด์ได้ หรือฐานข้อมูลวิเคราะห์คอลัมน์ที่ช่วงหลังมาแทนที่ดัชนีคลาสสิกเพราะบีบอัดและรวมได้เร็วกว่า ชั้นอุ่นและเย็นใช้ object storage กับไฟล์รูปแบบคอลัมน์และเอนจินที่อ่านตรง เลือก object storage ที่มีนโยบายวงจรชีวิต: การย้ายคลาสการเก็บและการลบตามอายุทำได้ด้วยการตั้งค่า ไม่ต้องเขียนโค้ดเอง

เครื่องมือทำให้ไม่ระบุตัวตน

อีกกลุ่มเครื่องมือคือตัวสแกนความลับ ที่เดิมสร้างหาคีย์ในรีโปโค้ด เอนจินลายของมันใช้กับล็อกได้ หาโทเคน คีย์ผู้ให้บริการคลาวด์ สตริงคล้าย JWT ได้ ตั้งให้รันเป็นระยะบนที่เก็บก็กลายเป็นแนวป้องกันสาม สำหรับการทำเทมเพลตพาธและการแฮชไม่มีเครื่องมือเฉพาะ เป็นโค้ดไม่กี่สิบบรรทัดในโปรเซสเซอร์ล็อก

การจัดการซีเคร็ต

ซอลสำหรับแฮชและตารางโทเคนไนเซชันต้องอยู่ในตัวจัดการซีเคร็ตที่บันทึกการเข้าถึง อาจเป็นของผู้ให้บริการคลาวด์หรือที่เก็บซีเคร็ตที่ติดตั้งเอง เกณฑ์คือสามารถให้โปรเซสพร็อกซีเข้าถึงซอลได้โดยที่คนไม่เห็นค่าของมัน

อ่านอะไรและยึดอะไรเป็นแนว

แนวทางคือคู่มือความปลอดภัยการบันทึกของชุมชนความปลอดภัยประยุกต์ ซึ่งมีรายการข้อมูลที่ห้ามเขียนลงล็อกอย่างครบถ้วน เอกสารของ regulators เรื่องการลดข้อมูลส่วนบุคคลให้เหลือน้อยสุด คำแนะนำการจัดเก็บหลายชั้นของผู้ให้บริการคลาวด์ที่มีการคำนวณต้นทุน และเอกสารข้อกำหนดการติดตามแบบกระจาย ซึ่งเป็นที่มาของรูปแบบตัวระบุการเชื่อมโยง

เคสและผลลัพธ์

เคส 1: ทีมการตลาดอัตโนมัติ ลดปริมาณล็อกลงหกเท่า

สถานการณ์เริ่มต้น: เกตเวย์สำหรับทำงานกับบัญชีโฆษณาผ่านพูลพร็อกซีมือถือ ประมาณสี่ล้านคำขอต่อวัน ล็อกเขียนในฟอร์แมตข้อความพร้อม URL เต็ม เฮดเดอร์คำขอทั้งหมด และหนึ่งกิโลไบต์แรกของเนื้อความตอบกลับ "เพื่อดีบัก" บันทึกเฉลี่ยประมาณสองกิโลไบต์ ปริมาณรายวันแปดกิกะไบต์ ทั้งหมดอยู่ในดัชนีค้นหาชั้นร้อนเก็บเก้าสิบวัน ต้นทุนดัชนีเป็นรายจ่ายที่เห็นได้ชัดในงบโครงสร้างพื้นฐาน

สิ่งที่ทำ: เปลี่ยนเป็นสคีมา JSON ยี่สิบฟิลด์ตามที่อธิบายข้างต้น ทิ้งเฮดเดอร์ เนื้อความ และ query string ทำเทมเพลตพาธ ตั้งชั้น: สามวันร้อน สามสิบวันอุ่น เก้าสิบวันเย็น ทำค่าสรุปรวมรายชั่วโมงเก็บสามปี

ผลลัพธ์: บันทึกเฉลี่ยสามร้อยยี่สิบไบต์ ปริมาณรายวัน 1.3 กิกะไบต์ หลังบีบอัดในชั้นอุ่นเหลือประมาณหนึ่งร้อยเมกะไบต์ต่อวัน ต้นทุนจัดเก็บลดลงประมาณแปดสิบห้าเปอร์เซ็นต์ ผลข้างเคียงที่ไม่คาดคิด: ความเร็วในการวิเคราะห์เหตุการณ์เพิ่มขึ้น เพราะนักวิเคราะห์ไม่จมอยู่ในเฮดเดอร์และเห็นฟิลด์สำคัญทันที และสองเดือนต่อมา ตัวสแกนความลับที่ตั้งเป็นแนวป้องกันสามพบในไฟล์เก็บถาวรเก่าโทเคนที่ยังใช้ได้ของบัญชีโฆษณากว่าหมื่นสองพันรายการ ถูกเพิกถอนและออกใหม่

เคส 2: บริการดึงข้อมูลมาร์เก็ตเพลส สืบสวนการบล็อกผ่านบันทึกการหมุน

สถานการณ์: ทีมดึงข้อมูลการ์ดสินค้าสาธารณะผ่านพร็อกซีมือถือ และเจอคลื่นการบล็อกเซสชันบางส่วน เมตริกแสดงข้อผิดพลาดเพิ่มขึ้นแต่ไม่บอกสาเหตุ มี access log แต่ไม่มีบันทึกการหมุน

สิ่งที่ทำ: เพิ่มบันทึกการหมุนพร้อมสาเหตุการเปลี่ยน IP และระยะเวลาเซสชัน เชื่อมกับ access log ผ่าน session_id แค่สองวันข้อมูลก็ชัด: เซสชันที่ถูกบล็อกส่วนใหญ่มีระยะเวลาต่ำกว่าสามนาที การหมุนทำงานตามตัวจับเวลาที่ก้าวร้าว และแพลตฟอร์มเป้าหมายเห็นโปรไฟล์เดียวกันกับ IP สามตัวในระยะเวลาสั้น เซสชันที่ยาวกว่ายี่สิบนาทีถูกบล็อกน้อยกว่าสามเท่า

ผลลัพธ์: หลังปรับการหมุนใหม่ สัดส่วนเซสชันที่ถูกบล็อกลดจากสิบเอ็ดเหลือต่ำกว่าสามเปอร์เซ็นต์ ต้นทุน: ประมาณสี่สิบไบต์ต่อบันทึกการหมุน หนึ่งหมื่นบันทึกต่อวัน ปริมาณที่แทบมองไม่เห็นเทียบกับ access log บทเรียนที่เราถือว่าสำคัญ: สำหรับพร็อกซีมือถือ บันทึกการหมุนไม่ใช่ตัวเลือก แต่เป็นสายที่บังคับ

เคส 3: แพลตฟอร์มที่มีลูกค้าภายนอก ปรับล็อกให้ตรงข้อกำหนดข้อมูลส่วนบุคคล

สถานการณ์: บริการให้ลูกค้าเข้าถึงพร็อกซี ซึ่งมีคำขอของผู้ใช้ปลายทางของลูกค้าผ่าน ในล็อกมี IP ของผู้ใช้ปลายทาง User-Agent เต็ม และ URL เต็ม การตรวจสอบทางกฎหมายจัดล็อกเป็นฐานข้อมูลส่วนบุคคลอายุเก็บหนึ่งปี

สิ่งที่ทำ: แทน IP ด้วยแฮชพร้อมซอลหมุนทุกสามสิบวัน User-Agent เป็นรหัสตารางอ้างอิง URL เป็นโดเมนและเทมเพลตพาธ จัดทำเมทริกซ์การเก็บพร้อมเหตุผลของระยะเวลา ตั้งกลไกระงับการลบ บันทึกละเอียดจำกัดที่สี่สิบห้าวัน ค่าสรุปรวมสามปี

ผลลัพธ์: หลังหมุนซอล ล็อกเก่ากว่าสามสิบวันไม่มีข้อมูลที่ระบุผู้ใช้ได้แม้ทางอ้อม และถูกถอดออกจากฐานข้อมูลส่วนบุคคล ภาระผูกพันในการป้องกันลดลง แต่ความสามารถวิเคราะห์เหตุการณ์เดือนล่าสุดยังครบ การตรวจสอบยอมรับเมทริกซ์การเก็บเป็นหลักฐานที่เพียงพอของการประมวลผลอย่างมีเหตุผล

เคส 4: เหตุการณ์ดิสก์เต็ม

สั้นแต่สอนใจ ตัวจัดการพร็อกซีเขียนเองเขียนล็อกลงไฟล์โดยไม่หมุน สี่เดือนไฟล์โตถึงสี่สิบกิกะไบต์ ดิสก์โหนดเต็ม โปรเซสล่มตอนเขียน พูลยี่สิบโมเด็มหยุดสามชั่วโมงกลางคืน หลังเหตุการณ์: ส่งออก standard output เอเจนต์รวบรวมพร้อมบัฟเฟอร์ หมุนทุกชั่วโมง แจ้งเตือนพื้นที่ว่าง ไม่เกิดซ้ำอีก ต้นทุนแก้ไขคือหนึ่งวันทำงาน

FAQ: คำถามยากเรื่องล็อกพร็อกซีเลเยอร์

ควรบันทึกคำขอที่สำเร็จด้วยหรือแค่ข้อผิดพลาด

ควร คำขอที่สำเร็จคือพื้นฐานของการคิดค่าบริการ คำนวณสัดส่วนข้อผิดพลาด (สัดส่วนไม่มีความหมายถ้าไม่มีตัวหาร) วิเคราะห์พฤติกรรมแพลตฟอร์มต่อโอเปอเรเตอร์ต่าง ๆ และพิสูจน์ว่าคำขอหนึ่งไม่ผ่านเรา ประหยัดที่ขนาดบันทึก ไม่ใช่จำนวน ถ้าปริมาณรับไม่ได้จริง ใช้การสุ่มตัวอย่าง: บันทึกข้อผิดพลาดทั้งหมดและทุกสิบคำขอที่สำเร็จพร้อมธงการสุ่ม เพื่อคูณค่าสัมประสิทธิ์ตอนรวม

สืบสวนเหตุการณ์อย่างไรถ้า IP ถูกแฮชและซอลหมุนแล้ว

นี่คือเส้นแบ่งที่ตั้งใจ หลังหมุนซอล ข้อมูลย้อนกลับไม่ได้ — นั่นคือคุณค่าด้านการป้องกัน การสืบสวนที่ต้องกู้ IP ต้องอยู่ในช่วงอายุของซอล ซึ่งมักตรงกับระยะเวลาเก็บละเอียด ถ้าสถานการณ์สืบสวนออกนอกช่วงนั้นเป็นประจำ ให้ขยายรอบหมุนซอล แต่ตระหนักว่าคุณยืดเวลาที่ล็อกยังอ่อนไหว สำหรับการสืบสวนที่ยาวจริง ให้ใช้กลไกระงับการลบและซอลพร้อมกัน

ล็อกพร็อกซีเลเยอร์ต่างจากการติดตามอย่างไร

การติดตามอธิบายเส้นทางของคำขอหนึ่งผ่านหลายบริการพร้อมช่วงเวลาแบบซ้อน ล็อกอธิบายเหตุการณ์ในคอมโพเนนต์เดียว ทั้งสองเสริมกันผ่านตัวระบุการเชื่อมโยงร่วม: จากเทรซคุณเห็นว่าคำขอใช้เวลาแปดร้อยมิลลิวินาทีในพร็อกซีเลเยอร์ จากล็อกคุณเห็นว่าทำไม — ห้าร้อย的连接 กับโหนดต้นทาง สองร้อยกับ TLS หนึ่งร้อยกับการส่ง อย่าพยายามแทนที่กัน

ควรเข้ารหัสล็อกตอนเก็บไหม

ควร ทุกชั้น แม้ล็อกที่ทำให้ไม่ระบุตัวตนแล้วก็มีข้อมูลธุรกิจ: คุณร้องขอโดเมนใด ความถี่เท่าไหร่ ผ่านโอเปอเรเตอร์ไหน การเข้ารหัสฝั่งที่เก็บเป็นการตั้งค่ามาตรฐานของ object storage เปิดด้วยธง เพิ่มเติมคือจำกัดการเข้าถึงชั้นร้อนตามบทบาท: นักวิเคราะห์เห็นค่าสรุปรวมและฟิลด์ที่ไม่ระบุตัวตน เจ้าหน้าที่ความปลอดภัยเห็นทั้งหมด

จัดการล็อกอย่างไรเมื่อทำงานหลายภูมิภาค

บันทึกเวลาเป็น UTC และภูมิภาคของโหนดเป็นฟิลด์แยก การเก็บอาจรวมศูนย์หรือแยกระดับภูมิภาคตามข้อกำหนดการแปลที่ตั้งข้อมูล ถ้าผ่านพร็อกซีมีข้อมูลผู้ใช้จากเขตอำนาจหนึ่ง ล็อกที่มีตัวระบุที่ไม่ระบุตัวตนอาจเข้าเงื่อนไขต้องเก็บในเขตอำนาจนั้น ปรึกษาทนายก่อนออกแบบ ไม่ใช่ทีหลัง

ใช้ล็อกพร็อกซีคิดค่าบริการลูกค้าได้ไหม

ได้และควร แต่มีข้อแม้สองข้อ ข้อแรก: การคิดค่าบริการสร้างจากค่าสรุปรวม ไม่ใช่บันทึกละเอียด — ยอดรวมตาม client_id ต่อช่วง ค่าสรุปรวมอายุยาวและไม่มีข้อมูลอ่อนไหว ข้อสอง: ถ้าล็อกเป็นหลักฐานการคำนวณกับลูกค้า มันมีข้อกำหนดเรื่องความไม่เปลี่ยนรูป — บันทึกไม่ถูกแก้ย้อนหลัง ไฟล์มี checksum และสิทธิ์เขียนมีเฉพาะโปรเซสเก็บ

จะมั่นใจได้อย่างไรว่าฟิลด์ใหม่ที่นักพัฒนาเพิ่มไม่มีความลับ

ทางกระบวนการ: ทุกการเปลี่ยนสคีมาล็อกผ่านการรีวิวพร้อมคำถามบังคับเรื่องความอ่อนไหวของทุกฟิลด์ใหม่ และเวอร์ชันสคีมาเพิ่มขึ้น ทางเทคนิค: แนวป้องกันสองในเอเจนต์รวบรวมจับลายความลับโดยไม่ขึ้นกับชื่อฟิลด์ แนวสามคือตัวสแกนที่เก็บส่งสัญญาณถ้ามีอะไรหลุด เพิ่มเติมที่มีประโยชน์คือเทสต์ที่ป้อนคำขอที่มีโทเคนปลอมที่รู้จักผ่านตัวประกอบล็อกและตรวจว่าโทเคนไม่ปรากฏในเอาต์พุต

ทำอย่างไรกับล็อกเมื่อถอดโหนดออกจากพูล

ล็อกของโหนดยังอยู่ในที่เก็บจนสิ้นสุดระยะเวลาเก็บ เพราะมันอธิบายเหตุการณ์ที่เกิดขึ้น และการลบพร้อมโหนดทำลายความสมบูรณ์ของประวัติ บัฟเฟอร์ในเครื่องต้องถูกส่งเข้าที่เก็บก่อนปิดโหนด ในขั้นตอนการถอดให้รวมการรอให้บัฟเฟอร์เอเจนต์รวบรวมว่างเปล่า ตัวระบุโหนดไม่ถูกนำกลับมาใช้กับโหนดใหม่ ไม่เช่นนั้นบันทึกของสองอุปกรณ์จะปนกัน

จะประเมินได้อย่างไรว่านโยบายการเก็บเหมาะสม

ไตรมาสละครั้งทำสามการตรวจ หนึ่ง: ห้าเหตุการณ์ล่าสุดและยืนยันว่าข้อมูลที่จำเป็นพร้อมใช้ในชั้นที่เหมาะสม สอง: นับว่ากี่คำขอต่อล็อกในไตรมาสเกี่ยวกับข้อมูลเก่ากว่าสามสิบวัน ถ้าเป็นศูนย์ ลดชั้นเย็นได้ สาม: ยืนยันว่าไฟล์เก่าสุดในแต่ละชั้นไม่เก่ากว่าระยะเวลาที่กำหนด ถ้าผ่านทั้งสาม โยบายเหมาะสม

บทสรุป: ล็อกคือระบบที่ออกแบบ ไม่ใช่ผลพลอยได้

มารวบรวมประเด็นสำคัญ ล็อกของพร็อกซีเลเยอร์ไม่ใช่สิ่งที่ "เขียนเอง" แต่เป็นระบบที่ออกแบบ มีสคีมา ขอบเขต และวงจรชีวิตของตัวเอง มันตอบคำถาม "ใคร" "ผ่านอะไร" และ "ได้ผลอย่างไร" และโดยหลักการไม่ตอบคำถาม "ส่งอะไรไป" — นั่นคือความรับผิดชอบของแอปพลิเคชัน

สิ่งที่ควรเขียน: เวลาใน UTC ตัวระบุการเชื่อมโยง ไคลเอนต์ โปรไฟล์ และเซสชัน รหัสโหนด IP ที่ไม่ระบุตัวตน โอเปอเรเตอร์และภูมิภาค เมธอด โดเมนและเทมเพลตพาธ รหัสตอบและสถานะภายใน ระยะเวลา ปริมาณ หมายเลขครั้งที่ลอง สำหรับพร็อกซีมือถือ — บันทึกการหมุนพร้อมสาเหตุการเปลี่ยน IP ที่บังคับ

สิ่งที่ไม่ควรเขียน: เฮดเดอร์ยืนยันตัวตนและคุกกี้ ข้อมูลรับรองพร็อกซี เนื้อความคำขอและคำตอบ URL เต็มพร้อมพารามิเตอร์ User-Agent เต็มคู่กับ IP ที่อยู่เปิดเผยของผู้ใช้ปลายทาง การทำให้ไม่ระบุตัวตนทำในโปรเซส พร้อมแนวป้องกันอีกสองในเอเจนต์รวบรวมและตัวสแกนที่เก็บ

วิธีเก็บ: แยกสาย หมุนตามเวลาพร้อมจำกัดขนาด บีบอัด ชั้นจากร้อนถึงเย็นพร้อมค่าสรุปรวมที่ปลายทาง เมทริกซ์ระยะเวลาตามสาย กลไกระงับการลบ และการตรวจเป็นประจำว่าการลบเกิดขึ้น

ขั้นตอนถัดไปที่เราแนะนำให้ทำในสัปดาห์นี้ หนึ่ง: ดึงบันทึกสุ่มหนึ่งร้อยรายการจากล็อกปัจจุบันแล้วไล่ด้วยเช็กลิสต์การตัดข้อมูลอ่อนไหว ผลลัพธ์น่าจะทำให้คุณประหลาดใจ สอง: คำนวณขนาดบันทึกเฉลี่ยแล้วคูณกับปริมาณรายวันและระยะเวลาเก็บ เทียบกับที่จะได้จากสคีมาในคู่มือนี้ สาม: จัดทำเมทริกซ์การเก็บหนึ่งหน้าแล้วโชว์ให้ฝ่ายความปลอดภัยและทนายดู นี่คือบทสนทนาที่ควรทำก่อนเกิดเหตุการณ์ ไม่ใช่หลัง

ล็อกคือความทรงจำของโครงสร้างพื้นฐานคุณ ความทรงจำที่ดีจำสิ่งที่สำคัญ ลืมสิ่งเกิน และไม่เก็บสิ่งที่อาจทำร้ายได้ ออกแบบมันให้เป็นเช่นนั้น