代理层日志:该记录什么、不该记录什么、如何存储——完整指南
引言:为什么代理层日志值得单独讨论
想象这样一个场景。夜里爬虫转化率掉了三分之一,早上安全部门问你前天谁通过企业代理网关访问了哪里,中午法务又来问为什么归档里存着近两年带有客户访问令牌的完整URL。这三个问题都指向同一个东西——代理层日志。而几乎每次都会发现:日志要么缺少关键信息,要么记录了不该记的内容,要么存储方式让你根本无法在合理时间内找到想要的东西。
我们之前讨论过代理池的可观测性:成功率指标、各节点延迟、退化告警、仪表盘。那是关于系统整体状态如何的话题。今天聊的是另一回事。指标会告诉你429错误率从2%涨到了14%。日志会告诉你是哪个账号、通过哪个移动运营商的哪个IP、带着什么User-Agent头、在哪一秒收到了这个响应。指标回答"发生了什么",日志回答"具体发生了什么、涉及谁"。这里我们只谈记录内容、敏感数据裁剪、文件轮转和保留期限策略。
为什么现在这件事格外重要?第一,数据量。即便是一个不大的营销自动化团队,代理网关每天也会产生几十万到上千万次请求。日志格式里多加一行看似无关紧要的字段,乘以这些百万级数字就很可观。第二,监管要求。个人数据保护法规越来越严,而代理层恰恰是用户标识符、cookie和认证头明文经过的地方。第三,经济账。把TB级日志放在热搜索索引里是要花钱的,而这些钱往往花在了永远不会有人查询的数据上。
这份指南会告诉你:代理日志的每条记录必须包含哪些字段以及为什么;哪些数据即使"以防万一"也绝对不能记录;如何设计脱敏和哈希,让日志在调查时仍然有用;如何搭建轮转和分层存储;如何确定一个让工程师、安全人员和法务都满意的保留期限。我们准备了现成模板、清单,还会分析带数字的真实案例。找个舒服的位置坐下来——内容确实不少,但每一部分都经过实践检验。
基础:代理层日志是什么,由什么组成
定义与在架构中的位置
代理层是你的应用(爬虫、账号管理器、广告账户自动化系统)与外部世界之间的组件:它接收请求、从池中选择出口地址、发送请求并返回响应。如果你用的是移动代理,这个层还要管理IP轮换、会话与账号的绑定以及运营商之间的切换。
代理层日志是一系列记录,每条描述该组件中的一个事件。最常见的事件是处理过的HTTP请求,但事件也可以是IP切换、与上游节点连接失败、请求被访问规则拒绝、进程启动和停止。
一个有用的类比是船的航海日志。你不会把货舱里的东西全部抄进去,但你会记录每次改向、时间、坐标、天气状况以及谁在值班。同样,好的代理日志不存请求体,但记录所有能还原事件路径的信息。
代理层内部的日志类型
实践中会区分四条流,把它们混到一个文件里是新手犯的第一个错误:
- Access log(访问日志)——每个处理过的请求一条记录。数据量最大的流,是调查和计费的主要来源。
- Error log(错误日志)——需要关注的事件:无法连接上游节点、超时、池耗尽、进程崩溃。量比access log小几十到几百倍,但单条记录的价值更高。
- Audit log(审计日志)——谁改了配置、谁签发了访问令牌、谁从池中添加或删除了节点。写入频率低,保留时间最长。
- Rotation/session log(轮换日志)——移动代理特有的流:何时以及为何切换IP、哪个运营商、哪个会话绑定到哪个账号。没有它就无法回答为什么某个账号触发了安全检查。
日志级别
经典级别——DEBUG、INFO、WARN、ERROR、FATAL——在这里同样适用,但有个细节。对于access log,级别几乎没意义:每个请求都是INFO。级别对error log和内部事件才有意义。实用规则:生产环境代理层跑在INFO级别,DEBUG要按特定客户端或节点精确开启,并且限时。为什么?因为代理里的DEBUG模式通常意味着把请求头全部dump出来,而这是把认证数据泄露到文件里的直通车。
格式:文本 vs 结构化
十年前的标准是Common Log Format这类用空格分隔字段的文本格式。如今行业共识很明确:结构化日志,通常是JSON,每个字段都有名字。原因很简单。结构化记录可以按任意字段过滤而不需要正则表达式,所有采集系统都能理解它,而且——对我们的主题尤其重要——可以从中轻松地选择性删除或脱敏特定字段。你试试从一条文本字符串里把Authorization头删掉,而这个头可能出现在任何位置,就知道差别了。
深入:记录的结构与风险的来源
每条记录必须回答的三个问题
在讨论具体字段之前,我们先定一个标准。代理层access log里的一条记录如果有用,它必须能回答三个问题:
- 谁?哪个客户端、哪个账号或配置文件、哪个内部服务发起了请求。
- 通过什么?用了哪个出口节点、哪个IP、哪个运营商、哪个会话。
- 结果如何?响应码、耗时、传输数据量、是否重试。
注意:这个列表里没有"具体传了什么内容"。请求和响应的内容是应用层数据,不是代理层数据。代理层是传输层,它应该记录传输事件。这是职责分离的基本原则,而日志中大多数敏感数据问题恰恰源于违反了它。
标识符与关联
现代日志中最有价值的字段是关联标识符(request ID或trace ID)。这是应用在创建请求时生成、通过一个专用头传给代理层的唯一字符串。代理把它写进自己的日志,应用写进自己的日志。这样你就能在几秒内把爬虫里的事件、代理里的事件和IP轮换系统里的事件关联起来。没有关联ID,你只能靠秒级精度的时间戳去比对记录,在每秒几万请求的情况下这毫无希望。
第二重要的标识符是会话ID。对移动代理来说,会话就是某个账号的请求走同一个IP的那段时间。正是会话把access log和轮换日志关联起来。如果账号被封了,你查它的会话,看到一小时内换了三个不同地区的IP,就明白原因了。
代理流量中的敏感数据类别
梳理一下,哪些东西会经过代理层、一旦进入日志就有风险:
- 认证数据:Authorization、Proxy-Authorization、Cookie、Set-Cookie、X-API-Key等头。令牌在日志里等于令牌对所有能访问日志的人公开——而能访问日志的人通常比能访问密钥的人多得多。
- URL中的个人数据:搜索参数里的邮箱地址、电话号码、外部平台的用户标识符、路径里的人名。这里就要适用个人数据保护法规,日志变成需要登记管理的存储。
- 代理自身的凭据:客户端在头里传给代理的代理认证用户名和密码。经典的泄露场景——代理在连接失败时把完整的user:pass@host连接串写进error log。
- 请求和响应体:登录表单、支付数据、私信内容。正常配置下代理层根本不应该看到这些,但调试时开启dump的诱惑很大。
- 间接标识符:User-Agent、客户端IP和精确时间的组合,即使没有明确的个人数据也能去匿名化一个人。许多司法管辖区的监管机构把这类组合归类为个人数据。
法律维度
这里需要谨慎。如果用户数据——你服务的客户、订阅者、买家——经过你的代理层,那么包含他们标识符的日志就构成了个人数据处理,随之而来的是全部义务:明确目的、限定期限、存储时保护、本地化。日志不是"技术垃圾",很多人是这么以为的。它是一个数据库,只是结构不寻常。工程上的解决办法很简单:通过哈希和令牌化把日志里的个人数据最小化到不再属于个人数据的程度,下面会详细讲。这样日志的法律负担会大幅降低。
记录的经济账
还有一个维度——钱。假设一个日处理一千万请求的网关。一条不含多余字段的紧凑JSON记录约三百字节。那就是每天3GB,每月约90GB。加上带所有参数的完整URL和所有请求头——记录膨胀到1.5到2KB。那就是每天20GB,每月600GB。如果这些数据放在带副本的热搜索索引里,成本差一个数量级。日志模式里的每个字段都是要在未来数年承担财务后果的决策。
方法一:设计记录结构——必须写什么
最小充分原则
日志结构不是从"我们能记什么"出发,而是从"我们必须能回答什么问题"出发。列出调查场景清单,验证每个场景都能用现有字段覆盖。代理层的典型场景:排查账号封禁、查找错误增长原因、按客户计费、检查限额合规、安全事件调查、证明某个请求没经过我们。
access log的必填字段
下面是核心结构,我们建议任何代理层至少包含这些。每个字段都附有用途说明:
- ts——UTC时间戳,带毫秒,ISO 8601格式。不要用本地时区:分布式池里的节点在不同地区,本地时间会让关联变得不可能。
- req_id——来自客户端的关联ID,如果客户端没传就由代理生成。
- client_id——在代理上认证通过的客户端或服务的内部标识符。不是用户名密码,而是内部键。
- profile_id——请求代表的账号或配置文件标识符(如果你的系统有这样的实体)。正是这个字段把日志和多账号业务的逻辑关联起来。
- session_id——代理会话标识符,把请求与特定的IP绑定时段关联。
- upstream_id——池中出口节点的标识符。不是IP本身,而是它的内部代码:IP可能被复用,代码不会。
- upstream_ip_hash——加盐的出口IP哈希。允许按地址分组请求,又不需要长期明文保存地址。
- carrier和region——移动代理出口节点的运营商和地区。对于分析各平台对不同运营商的态度至关重要。
- method——HTTP方法。
- host——目标域名。只要域名,不要完整URL。
- path_template——路径中变量部分被替换的模板,例如/users/{id}/posts。保留分析价值又不泄露标识符。
- status——目标服务器的响应码。
- proxy_status——内部处理状态:成功、上游节点超时、被规则拒绝、池耗尽。把目标服务器错误和代理自身错误区分开。
- duration_ms——总处理时间;拆成连接时间、首字节时间、传输时间更好。
- bytes_in和bytes_out——传输数据量。计费和异常检测的基础。
- retry——代理重试时的尝试序号。
- tls——TLS版本和握手是否成功。
- ua_class——不是User-Agent本身,而是它的类别:移动浏览器、桌面、应用。需要时完整User-Agent以短代码存在单独的字典里。
记录示例
按这个结构构建的记录长这样:
{"ts":"2026-03-14T08:21:37.412Z","req_id":"01HRX7K9M2P4Q","client_id":"c_0412","profile_id":"p_88213","session_id":"s_7f3a91","upstream_id":"n_msk_017","upstream_ip_hash":"a91f...c2","carrier":"op_a","region":"ru-mow","method":"GET","host":"example-platform.com","path_template":"/api/v2/feed/{id}","status":200,"proxy_status":"ok","duration_ms":842,"ttfb_ms":611,"bytes_in":1204,"bytes_out":48211,"retry":0,"tls":"1.3","ua_class":"mobile_android"}三百多一点字节。没有任何密钥,没有任何外部用户的个人标识符,但事件的完整画面都有了。用这条记录可以回答上面列表里全部六个调查场景。
轮换日志的必填字段
对移动代理来说,轮换日志至少和access log一样重要。最小结构:时间戳、session_id、upstream_id、轮换原因(按计划、客户端请求、出错、达到请求限制)、新旧IP哈希、运营商、上一个会话时长、上一个会话的请求数。正是通过这个日志你才会明白:账号触发检查不是因为行为内容,而是因为十分钟内IP换了四次。
实施结构的步骤指南
- 写下你团队相关的调查场景。不少于五个。
- 对每个场景确定能覆盖它的最小字段集。
- 合并集合,去掉重复项。这是结构草稿。
- 对每个字段问一个问题:它包含密钥、个人数据或间接标识符吗?如果是——替换成哈希、类别或模板。
- 把结构固化成带版本号的文档。每条记录必须包含schema_version字段。
- 实现校验:不符合结构的记录应该在日志组装阶段被拒绝,而不是半年后才被发现。
- 跑一遍测试负载,测量平均记录大小。乘以日量,和存储预算比较。
方法二:裁剪敏感数据——永远不该写什么
字段黑名单
先讲绝对禁止。这些数据在代理层的任何日志流里、任何级别(包括DEBUG)都不应该出现:
- Authorization、Proxy-Authorization、Cookie、Set-Cookie头的值,以及任何名字里含有key、token、secret、session子串的头。
- 任何形式的代理连接凭据,包括user:pass@host格式的字符串。
- 请求体和响应体。完全禁止。如果调试需要看body,在应用侧做,写入临时存储,自动删除。
- 带参数的完整query string。参数里经常有邮箱、电话、一次性链接令牌。
- 与客户端IP组合的完整User-Agent——这是能识别个人的指纹。
- 你服务的最终用户的明文IP地址,如果代理层不只服务内部流程。
四种脱敏技术
禁止很容易。更难的是保留分析价值。下面这些工具可以做到这一点:
编辑(redaction)
把值完全替换成[REDACTED]之类的标记。用于没有分析价值的东西:认证头、密码。一个重要细节——编辑必须发生在记录组装阶段,在代理进程内部,而不是对文件做后处理。后处理意味着密钥已经落盘,进入了缓冲区、备份和副本。
掩码(masking)
部分隐藏,保留形式。邮箱 i***@d*****.ru,电话 +7 9** *** 12 34。让支持人员比对时能认出来,但没法从日志里还原。用于需要人眼核对的地方,说实话在代理层很少见。掩码通常是团队还没准备好做哈希时的折中。
加盐哈希
值替换成带密钥盐的加密哈希结果。相同值产生相同哈希,所以分组和唯一值计数得以保留,而不知道盐就无法还原原值。这是处理IP地址、外部平台用户标识符、完整User-Agent的主要工具。关键要求:盐存放在日志之外,在密钥管理器里,并定期轮换。轮换盐后会失去对比新旧哈希的能力——这是为安全付出的自觉代价,盐的轮换周期通常与详细日志的保留期限一致。
令牌化
值替换成随机令牌,令牌-值的对应关系存在单独的受控存储里,访问严格控制。与哈希不同,它是可逆的——但只对能访问对应表的人。用于安全官决定需要还原原值的调查场景。比如怀疑滥用时的完整请求URL。对应表按自己的、更短的期限保存。
路径模板化
单独说说URL路径。路径/users/88213/messages/4471包含两个标识符。完整记录就是保存了间接个人数据。只记域名就丢掉了端点分析。解决办法是模板化。数字段、UUID、长哈希样字符串替换成占位符:/users/{id}/messages/{id}。按请求类型的分析完全保留,标识符消失。用一组替换规则在记录组装阶段实现。
裁剪发生在哪里
正确的架构假设有三道防线:
- 在代理进程内:日志组装器知道结构,干脆不取禁止的字段。这是主防线。
- 在采集代理里:过滤规则查找密钥模式(Bearer后面跟长串、类似JWT的结构、按Luhn公式的卡号)并替换成标记。这是对开发者新增字段时犯错的保险。
- 在存储里:定期扫描器在已保存的数据里找密钥模式并告警。这是探测器不是过滤器:如果它找到了什么,说明前两道防线被突破了,需要去查。
敏感数据裁剪清单
- 认证和cookie头在进程内编辑,不做后处理。
- 代理凭据永不进入error log,包括连接错误消息。
- 请求体和响应体在任何级别都不记录。
- Query string被丢弃或模板化。
- IP地址加盐哈希;盐单独存放并轮换。
- URL路径按规则模板化。
- User-Agent替换成类别或字典代码。
- 采集代理有密钥模式搜索规则。
- 存储定期扫描是否有密钥。
- DEBUG模式按特定client_id开启,限时,自动关闭。
方法三:轮转与分层存储
为什么需要轮转
日志轮转是定期关闭当前文件、开始新文件,随后压缩、迁移或删除旧文件。没有轮转,文件无限增长,既读不了、压不了,也无法选择性删除,而磁盘满了会拖垮代理进程本身。听起来很平常,但根据我们的经验,自研代理网关至少有三分之一不可用事件与日志把磁盘塞满有关。
轮转条件
文件在满足以下条件之一时关闭:
- 按大小——通常100MB到1GB。再小文件太多,再大压缩慢、传输不方便。
- 按时间——高负载网关按小时,小规模按天。按时间轮转让文件名可预测,便于查找。
- 按事件——进程重启、结构版本变更。一个文件不应该包含两种结构的记录。
实践:按时间轮转加上大小限制。比如每小时,但每个文件不超过500MB。文件名包含节点、流和起始时间戳:access-gw-msk-01-2026031408.jsonl。
无丢失的机制
经常被忽略的关键细节:轮转不应该导致记录丢失。经典错误——重命名文件、创建新文件,但进程还在往旧文件描述符写。正确做法:进程在条件满足时自己打开新文件(内置轮转);或者外部轮转器重命名后给进程发信号让它重新打开文件;或者在现代架构中更优的做法是进程写标准输出,采集代理接住流并自己管理文件。第三种做法把磁盘管理的全部责任从代理进程中卸下。
压缩
结构化JSON日志压缩效果极好——由于字段名重复、值集合有限,典型压缩比在8到15。这意味着1GB原始日志变成70到100MB归档。算法选择:经常读取的文件用快速算法加适度压缩;存档用最大压缩。不要在文件关闭后立即压缩,延后一到两个轮转周期:新文件经常需要用于实时分析。
分层模型
这里我们进入经济存储的核心思路。不是所有日志都同样经常被查询。对记录的访问分布极不均匀:绝大多数日志查询针对最近一天,相当一部分针对最近一周,只有少数查询涉及一个月以上的数据。把所有东西放在同样昂贵快速的存储里是浪费。由此引出分层模型:
热层
最近一天到三天。完整的搜索索引,所有字段都有索引,查询几秒出结果。折算到每GB是最贵的层。实时调查、调试、处理新事件都在这里。
温层
三天到三十天。数据以压缩列式格式存在对象存储里,通过直接读文件的引擎查询。响应几十秒,但存储成本低一个数量级。周报、处理客户投诉、分析封禁趋势都在这里。
冷层
三十天到保留期结束。压缩归档存在最便宜的对象存储类别里,可能访问有延迟。只能按精确时间和节点查询,然后解压手动分析。法律请求、审计、久远事件调查都在这里。
聚合
一个常被遗忘的独立层。在删除详细记录之前,从中计算聚合:按客户端、节点、域名、小时的请求数、响应码分布、平均耗时。聚合只占详细日志体积的百分之几,却可以保存好几年。正是它们让你不用保存一年的详细记录也能回答"一年前是什么样"。
轮转和分层的步骤配置
- 确定代理进程的输出流:写标准输出到采集代理,优于直接写文件。
- 按时间配置轮转(小时或天)加上大小限制。
- 设置压缩,延后一到两个周期。
- 分离流:access、error、audit、rotation——写不同文件或不同索引。
- 按文件年龄配置向温层迁移,转换为列式格式。
- 配置向冷层迁移,到期删除。
- 实现从热层每日计算聚合并写入单独的长期存储。
- 对节点磁盘可用空间和向采集代理发送延迟设置告警:如果日志发不出去,它们会在本地堆积。
- 每季度检查删除是否真的在发生:数每个层里最旧的文件。
方法四:保留期限策略
决定期限的三股力量
日志保留期限是三股力量的折中。工程师想存更久:永远不知道什么时候需要查久远事件。财务想存更少:每GB都要花钱。安全和法务最有趣——他们同时要求存得足够久以便调查,又要求足够短以免积累那些一旦泄露就要负责的数据。你保存的每一条含个人数据的记录,超过必要期限就是负债,不是资产。
原则:期限取决于敏感性和需求
不同的流、不同的字段活不同的时间。这是本节的关键思想。不存在单一的"日志保留期限"——只有期限矩阵:
- 详细access log:14到90天。需求随指数衰减,即便脱敏后敏感性也是中等。
- Error log:30到180天。量小,对分析重复性问题的价值高。
- Audit log:1到3年。谁改了配置、谁发了权限——这些是久远调查时需要的。量微不足道。
- Rotation log:与access log一样长——没有对方都毫无意义。
- 令牌化表:比日志本身短——7到30天。过期后日志里的令牌不可逆。
- 聚合:2到5年。不含个人数据,占用小,对长期分析有价值。
如何计算适合你的期限
提供一个五问框架:
- 最长的现实调查场景有多长?客户抱怨三周前发生的账号封禁——那么详细日志至少需要21天加余量。
- 有外部义务吗?客户合同可能要求保留访问日志一定期限,以便处理计费争议。特定数据类别运营商的监管要求也可能设定下限。
- 脱敏后日志里哪些数据仍有敏感性?如果用了加盐哈希且盐会轮换,盐轮换后敏感性几乎降到零,可以延长保留。
- 每层存储要花多少钱?按你的量算一下一个月热、温、冷存储的成本。经常发现冷存一年日志比热存一周还便宜。
- 删除会失去什么?如果聚合覆盖了长期分析,详细记录就可以放心删。
法律保留暂停
策略的必备要素是删除暂停机制(legal hold)。如果开始了事件调查或收到了正式请求,受影响时期的自动删除必须冻结到调查结束。技术上这是对象存储里文件或前缀上的一个标志,删除流程会检查它。组织上是规定谁能设置和解除这个标志。没有这种机制,你会陷入这样的境地:需要的数据恰好在需要的那天按计划被删除了。
策略文档化
保留策略是文档,不是配置文件里的设置。最少内容:日志流和字段清单;每个流的目的、各层保留期限、脱敏方法;策略责任人和执行责任人;删除暂停程序;确认删除确实执行的程序;复审周期——通常一年一次或结构变更时。这份文档是审计员首先索要的东西,也是事件发生时保护你的第一道屏障:它表明数据是经过深思熟虑处理的。
保留矩阵模板
按你的情况填写一张表,列包括:流、敏感字段、脱敏方法、热层(天)、温层(天)、冷层(天)、聚合(月)、期限依据、负责人。每流一行。成品矩阵一页纸,能消除团队间90%的争论。
常见错误:不该做的事
"以防万一"全都记
最普遍也最昂贵的错误。"有总比没有好"的论调在日志上不成立:不用的数据要花钱、制造泄露风险,还让存储变成在无用中找不到有用的地方。每个字段都必须回答场景清单里的某个具体问题。
在生产环境开DEBUG然后忘了关
代理的DEBUG模式几乎总意味着dump请求头。周五晚上为了查一个问题开启,到周一就已经用所有客户端的认证令牌填满了磁盘。规则:DEBUG按过滤器开启,带自动关闭计时器。
在错误消息里写密钥
开发者拼写连接错误消息时把整条连接串插进去——带用户名密码。而error log保存时间比access log长,看的人更多。检查所有错误消息拼装处是否有凭据插值。
把多个流混到一个文件
Access、error和audit放一个文件,意味着本该活三年的audit记录一个月后就跟着access记录一起被删,而本该压缩的access记录和需要人眼看的稀疏error记录混在一起。
用本地时间存储
池中节点在不同地区、某些司法管辖区有夏令时、与外部系统日志对比——这些都会被本地时间搞砸。只用UTC,只用ISO 8601。
用后处理做脱敏
一个夜里遍历文件删令牌的脚本,等于承认令牌整天明文躺在磁盘上,还进了采集代理缓冲区、副本,可能还有备份。脱敏必须在记录组装阶段完成。
不检查删除是否有效
策略写了、期限设了、自动化配了——两年后发现因为桶权限变更删除静默失败,存储里存着全部历史。检查每层最旧文件是每季度的仪式。
哈希盐和日志放一起
盐在同一个仓库或同一块磁盘上的代理配置文件里,等于没有盐。哈希过的IP几分钟就能穷举还原。盐放密钥管理器,限制访问,定期轮换。
记录完整URL
Query string是敏感数据的浓缩物:搜索参数里的邮箱、一次性链接令牌、用户标识符。域名加模板化路径对任何传输分析都够用。
工具与资源
代理服务器及其日志能力
大多数成熟代理服务器和反向代理支持可配置的access log格式,包括JSON输出,并允许通过配置排除或覆写字段。选择时注意三件事:能否输出结构化日志而不经过文本中间格式;能否在记录里加入来自客户端的关联头;能否在配置层面而非代码层面完全禁止记录特定头。如果代理层是自研的——对移动代理管理系统来说并不罕见——使用你所用语言的支持记录处理器的结构化日志库,编辑和哈希正好在处理器里实现。
采集代理
采集代理是节点上的进程,读取代理输出、应用过滤并把记录发到存储。关键选择标准:支持基于正则的替换规则作为第二道防线;存储不可用时能缓冲到磁盘以免丢记录;资源占用低,因为代理和数据采集代理在同一节点;支持把不同流路由到不同目的地。
存储与搜索引擎
热层适合带字段全文搜索的检索索引,或列式分析数据库——后者近年来因更好的压缩和聚合速度正在取代经典索引。温和冷层适合对象存储加列式文件格式和直接读文件的查询引擎。选择带生命周期策略的对象存储:存储类别之间的自动转换和按年龄删除通过配置实现,不用自己写代码。
脱敏工具
一个独立工具类别是密钥扫描器,最初是为在代码仓库里找密钥而生的。它们的模式引擎也适用于日志:能找到令牌、云服务商密钥、类似JWT的字符串。配置为定期扫描存储,这样的扫描器就是第三道防线。路径模板化和哈希没有专用工具——在日志处理器里就是几十行代码。
密钥管理
哈希盐和令牌化表应该放在带访问日志的密钥管理器里。可以是云服务商方案,也可以是自部署的密钥存储。标准是:能给代理进程授予访问盐的权限,同时人无法看到盐的值。
读什么、参照什么
参照标准是应用安全社区的安全日志指南——那里有禁止写入日志的数据的完整清单;监管机构关于个人数据最小化的文档;云服务商关于分层存储的建议——那里有成本计算。分布式追踪规范的材料也很有用——关联标识符的格式就应该从那里借鉴。
案例与结果
案例一:营销自动化团队,日志量缩减六倍
初始情况:通过移动代理池操作广告账户的网关,日请求约四百万。日志是文本格式,带完整URL、所有请求头和响应体前1KB"用于调试"。平均记录约2KB,日量8GB,全部放在热搜索索引里保存90天。索引成本是基础设施预算里显眼的一项。
做了什么:迁移到上文描述的20字段JSON结构。去掉头、body、query string。路径模板化。引入分层:热三天、温三十天、冷九十天。引入按小时聚合,保留三年。
结果:平均记录320字节,日量1.3GB,温层压缩后每天约100MB。存储成本降低约85%。意外的好处:事件排查速度提升,因为分析师不再淹没在头信息里,直接看到关键字段。两个月后,作为第三道防线部署的密钥扫描器在旧归档里发现了超过一万两千个有效的广告账户令牌——它们被吊销并重新签发。
案例二:电商平台爬虫服务,通过轮换日志排查封禁
情况:团队通过移动代理爬取公开商品卡片,遇到部分会话的封禁潮。指标显示错误上升,但看不出原因。有access log,没有轮换日志。
做了什么:加上带IP切换原因和会话时长的轮换日志,通过session_id与access log关联。两天数据就看出:被封会话绝大多数时长不到三分钟——轮换按激进的计时器触发,目标平台在短间隔内看到同一配置文件从三个不同IP过来。时长超过二十分钟的会话被封概率低三倍。
结果:重新配置轮换后,被封会话比例从11%降到不到3%。代价:每条轮换记录约四十字节,每天一万条——相对access log根本不算什么。我们认为重要的结论:对移动代理而言,轮换日志不是可选项,而是必需的流。
案例三:面向外部客户的平台,按个人数据要求整改日志
情况:服务为客户提供代理访问,最终用户的请求经过它。日志里有最终用户IP、完整User-Agent、完整URL。法律审计把日志定性为保留期一年的个人数据库。
做了什么:IP替换成加盐哈希,盐每三十天轮换;User-Agent替换成字典代码;URL替换成域名和路径模板。编制了带期限依据的保留矩阵。引入删除暂停机制。详细日志限制在四十五天,聚合保存三年。
结果:盐轮换后,三十天以上的日志不再包含能直接或间接识别用户的数据,从个人数据库的登记中移除。保护义务减少,而近一个月的事件排查能力完全保留。审计接受了保留矩阵作为有意处理的充分证明。
案例四:磁盘写满事件
简单但说明问题。自研代理管理器写日志到文件且无轮转。四个月后文件长到40GB,节点磁盘满,进程写日志时崩溃,二十个调制解调器组成的池在夜里停了三个小时。事件后:输出到标准输出,采集代理带缓冲,按小时轮转,空闲空间告警。没有再发生。解决方案成本——一个工作日。
FAQ:关于代理层日志的疑难问题
需要记录成功请求还是只记错误就够?
需要。成功请求是计费的基础,是计算错误比例的分母(没有分母比例没意义),是分析各平台对不同运营商态度的依据,也是证明某个请求没经过你的证据。要省的是记录大小,不是记录数量。如果量实在无法接受,用采样:记录所有错误和每十个成功请求中的一个并打采样标记,聚合时乘以系数。
如果IP已经哈希且盐已轮换,怎么调查事件?
这是自觉设定的边界。盐轮换后数据不可逆——这就是它的保护价值。需要还原IP的调查应该落在盐的有效期内,通常与详细存储期限一致。如果调查场景经常超出这个期限,就延长盐的轮换周期,但要意识到这同时延长了日志保持敏感的时间。对于真正的长期调查,同时使用删除暂停机制和盐。
代理层日志和追踪有什么区别?
追踪描述一个请求经过多个服务的路径,带有嵌套的时间区间。日志描述一个组件里的事件。它们通过共同的关联ID互补:追踪告诉你请求在代理层花了八百毫秒,日志告诉你为什么——五百毫秒连上游节点,两百毫秒TLS,一百毫秒传输。别试图用一个替代另一个。
存储时应该加密日志吗?
应该,所有层都要。即便脱敏后的日志也含业务信息:你请求哪些域名、频率如何、通过哪些运营商。存储端加密是对象存储的标准设置,一个开关就能开。另外按角色限制热层访问:分析师看到聚合和脱敏字段,安全官看到全部。
多地区运营时日志怎么办?
时间用UTC记录,节点地区单独一个字段。存储可以集中也可以按地区,取决于数据本地化要求:如果代理经过某个司法管辖区用户的数据,含其脱敏标识符的日志可能受该司法管辖区存储要求的约束。在设计之前问法务,而不是之后。
能用代理日志给客户计费吗?
可以而且应该,但有两个条件。第一:计费基于聚合而非详细记录——按client_id和期间的汇总。聚合活得更久,也不含敏感数据。第二:如果日志是客户结算的依据,就要满足不可变要求——记录不事后编辑,文件带校验和,写入权限只给采集进程。
怎么确保开发者新增的字段不含密钥?
流程上:任何日志结构变更都要经过评审,必须回答每个新字段的敏感性问题,结构版本号递增。技术上:采集代理的第二道防线不管字段名就抓密钥模式,第三道——存储扫描器——如果有什么漏进来了就告警。另外有用的测试:让一个带已知假令牌的请求通过日志组装器,检查输出里没有出现令牌。
节点退出池时日志怎么办?
节点日志留在存储里到保留期结束——它们描述发生过的事件,随节点一起删除会破坏历史完整性。节点上的本地缓冲必须在断开前发到存储,为此退出流程要包含等待采集代理缓冲清空。节点标识符不复用给新节点,否则两个不同设备的记录会混在一起。
怎么评估保留策略是否合适?
每季度做三项检查。第一:挑最近五个事件,确认每个所需数据在所需层都可用。第二:统计一个季度里访问三十天以上数据的查询数;如果是零——冷层可以缩短。第三:确认每层最旧的文件不超过设定期限。三项都通过,策略就合适。
结语:日志是设计出来的系统,不是副产品
让我们汇总要点。代理层日志不是"自己会写的"东西,而是一个设计出来的系统,有自己的结构、边界和生命周期。它回答"谁"、"通过什么"和"结果如何",并且原则上不回答"传了什么"——那是应用的责任。
该写什么:UTC时间戳、关联ID、客户端、profile和会话标识符、节点代码、脱敏IP、运营商和地区、方法、域名和路径模板、响应码和内部状态、耗时、数据量、尝试序号。对移动代理——必修的带IP切换原因的轮换日志。
不该写什么:认证头和cookie、代理凭据、请求体和响应体、带参数的完整URL、与IP组合的完整User-Agent、最终用户的明文地址。脱敏在进程内完成,采集代理和存储扫描器作为两道额外防线。
怎么存:分离流、按时间轮转加大小限制、压缩、从热到冷的分层加输出聚合、按流的期限矩阵、删除暂停机制、定期确认删除确实执行。
我们建议这周就做的下一步。第一:从你当前的日志里随机抽一百条,用敏感数据裁剪清单逐条过一遍——结果很可能会让你吃惊。第二:算出平均记录大小,乘以日量和保留期;和本指南的结构能得到的数字比较一下。第三:把保留矩阵写成一页纸,给安全人员和法务看——这场对话最好在事件之前进行,而不是之后。
日志是你基础设施的记忆。好的记忆记住重要的、忘掉多余的、不保存可能造成伤害的。就照这样设计它。