Logs de la capa de proxy: qué registrar, qué no y cómo almacenarlos — guía completa
Contenido del artículo
- Introducción: por qué los logs de la capa de proxy merecen una conversación aparte
- Fundamentos: qué es un log de la capa de proxy y de qué se compone
- Inmersión profunda: anatomía de un registro y naturaleza de los riesgos
- Método 1: diseño del esquema de registro — qué escribir obligatoriamente
- Método 2: recorte de datos sensibles — qué no escribir nunca
- Método 3: rotación y almacenamiento por niveles
- Método 4: política de plazos de retención
- Errores típicos: qué no hay que hacer
- Herramientas y recursos
- Casos y resultados
- Faq: preguntas complejas sobre los logs de la capa de proxy
- Conclusión: los logs como sistema proyectado, no como producto secundario
Introducción: por qué los logs de la capa de proxy merecen una conversación aparte
Imagina esta situación. De noche, la conversión del parser cae un tercio; por la mañana, el equipo de seguridad pregunta quién fue y a dónde a través del gateway de proxy corporativo anteayer; y al mediodía, el abogado quiere saber por qué en los archivos hay URLs completas con tokens de acceso de clientes de los últimos dos años. Las tres preguntas chocan con una misma entidad: los logs de la capa de proxy. Y casi siempre se descubre que los logs o no contienen lo necesario, o contienen de más, o están guardados de tal forma que encontrar algo en un tiempo razonable es imposible.
Ya hemos analizado la observabilidad del pool de proxies: métricas de éxito, latencia por nodo, alertas de degradación, dashboards. Eso es una conversación sobre cómo se siente el sistema en su conjunto. El tema de hoy es distinto. Una métrica te dirá que el porcentaje de errores 429 subió del dos al catorce. El log te dirá qué cuenta exacta, a través de qué IP de operador móvil, con qué User-Agent y en qué segundo recibió esa respuesta. Las métricas responden a la pregunta «qué está pasando»; los logs, a la pregunta «qué pasó exactamente y con quién». Aquí hablamos exclusivamente del contenido de los registros, del recorte de datos sensibles, de la rotación de archivos y de la política de plazos de retención.
¿Por qué es crítico justo ahora? Primero, por los volúmenes. Un gateway de proxy promedio, incluso el de un equipo pequeño de automatización de marketing, genera desde varios cientos de miles hasta decenas de millones de solicitudes al día. Una línea añadida sin pensar al formato de log se multiplica por esos millones. Segundo, por la regulación. Los requisitos de la legislación sobre datos personales se endurecen, y la capa de proxy es el lugar donde los identificadores de usuario, las cookies y los encabezados de autorización pasan en texto plano. Tercero, por la economía. Almacenar terabytes de logs en un índice de búsqueda en caliente cuesta dinero, y a menudo ese dinero se va en datos que nadie consultará jamás.
De esta guía aprenderás: qué campos deben estar obligatoriamente en cada registro del log de proxy y por qué; qué datos no deben registrarse jamás, ni siquiera «por si acaso»; cómo organizar el enmascaramiento y el hashing para que los logs sigan siendo útiles para las investigaciones; cómo estructurar la rotación y el almacenamiento por niveles; y cómo definir un plazo de retención que conforme a ingenieros, responsables de seguridad y abogados. Daremos plantillas listas, checklists y analizaremos casos reales con cifras. Ponte cómodo: el material salió extenso, pero cada parte está verificada en la práctica.
Fundamentos: qué es un log de la capa de proxy y de qué se compone
Definición y lugar en la arquitectura
La capa de proxy es el componente entre tu aplicación (parser, gestor de cuentas, sistema de automatización de paneles publicitarios) y el mundo exterior, que recibe la solicitud, elige una dirección de salida del pool, envía la solicitud y devuelve la respuesta. Si trabajas con proxies móviles, esta capa además gestiona la rotación de IP, la vinculación de sesiones a cuentas y el cambio entre operadores.
El log de la capa de proxy es una secuencia de registros, cada uno de los cuales describe un evento en ese componente. Lo más frecuente es que el evento sea una solicitud HTTP procesada, pero también son eventos el cambio de IP, un error de conexión con el nodo superior, el rechazo de una solicitud por una regla de acceso, el arranque y la parada del proceso.
Una analogía útil es el cuaderno de bitácora de un barco. En él no se copia el contenido de la bodega, pero se registra cada cambio de rumbo, la hora, las coordenadas, las condiciones meteorológicas y quién estaba de guardia. Igual que un buen log de proxy no guarda el cuerpo de la solicitud, pero registra todo lo que permita reconstruir la ruta del evento.
Tipos de logs dentro de la capa de proxy
En la práctica se distinguen cuatro flujos, y mezclarlos en un solo archivo es el primer error del principiante:
- Access log (registro de acceso): un registro por cada solicitud procesada. El flujo más voluminoso, la fuente principal para investigaciones y facturación.
- Error log (registro de errores): eventos que requieren atención: imposibilidad de conectar con el nodo superior, timeouts, agotamiento del pool, caída del proceso. El volumen es decenas o cientos de veces menor que el access log, el valor por registro es mayor.
- Audit log (registro de auditoría): quién cambió la configuración, quién emitió un token de acceso, quién añadió o eliminó un nodo del pool. Se escribe con poca frecuencia y se conserva durante más tiempo.
- Rotation/session log (registro de rotación): flujo específico de los proxies móviles: cuándo y por qué cambió la IP, qué operador, qué sesión está vinculada a qué cuenta. Sin él es imposible responder por qué una cuenta recibió una verificación de seguridad.
Niveles de logging
Los niveles clásicos —DEBUG, INFO, WARN, ERROR, FATAL— funcionan también aquí, pero con un matiz. Para el access log, el nivel casi carece de sentido: cada solicitud es INFO. Los niveles tienen sentido para el error log y los eventos internos. Regla práctica: en producción, la capa de proxy opera en INFO; DEBUG se activa de forma puntual, por un cliente o nodo concreto y por tiempo limitado. ¿Por qué? Porque el modo DEBUG en un proxy suele significar el volcado completo de encabezados, y eso es un camino directo a la fuga de datos de autorización a los archivos.
Formatos: texto frente a estructura
Hace diez años el estándar era un formato de texto tipo Common Log Format, donde los campos se separaban por espacios. Hoy el consenso del sector es unánime: logs estructurados, normalmente en JSON, donde cada campo tiene nombre. Las razones son simples. Un registro estructurado se puede filtrar por cualquier campo sin expresiones regulares, lo entienden todos los sistemas de recolección y —lo importante para nuestro tema— es fácil eliminar o enmascarar campos concretos de forma selectiva. Intenta extraer el encabezado Authorization de una cadena de texto donde puede aparecer en cualquier posición y entenderás de qué hablamos.
Inmersión profunda: anatomía de un registro y naturaleza de los riesgos
Tres preguntas que debe responder cada registro
Antes de discutir campos concretos, acordemos un criterio. Un registro en el access log de la capa de proxy es útil si permite responder a tres preguntas:
- ¿Quién? Qué cliente, qué cuenta o perfil, qué servicio interno inició la solicitud.
- ¿A través de qué? Qué nodo de salida, qué IP, qué operador, qué sesión se utilizó.
- ¿Qué resultó? Código de respuesta, duración, volumen de datos transferidos, si hubo reintento.
Fíjate: en esta lista no está la pregunta «qué se transmitió exactamente». El contenido de la solicitud y la respuesta son datos de la aplicación, no de la capa de proxy. La capa de proxy es transporte, y debe registrar eventos de transporte. Este es un principio fundamental de separación de responsabilidades, y la mayoría de los problemas con datos sensibles en los logs surgen precisamente de violarlo.
Identificadores y correlación
El campo más valioso en un log moderno es el identificador de correlación (request ID o trace ID). Es una cadena única que la aplicación genera al crear la solicitud y transmite a la capa de proxy mediante un encabezado de servicio. El proxy la registra en su log, y la aplicación en el suyo. Como resultado, puedes vincular en segundos un evento en el parser, un evento en el proxy y un evento en el sistema de rotación de IP. Sin correlación, tendrás que cotejar registros por hora con precisión de segundos, y con decenas de miles de solicitudes por segundo eso es desesperanzador.
El segundo identificador en importancia es el identificador de sesión. Para los proxies móviles, la sesión es el periodo durante el cual las solicitudes de una cuenta concreta pasan por la misma IP. Es la sesión la que vincula el access log con el registro de rotación. Si una cuenta recibió un bloqueo, miras sus sesiones, ves que en una hora cambiaron tres IP de regiones distintas y entiendes la causa.
Categorías de datos sensibles en el tráfico de proxy
Analicemos qué pasa exactamente por la capa de proxy y representa un riesgo al caer en los logs:
- Datos de autorización: encabezados Authorization, Proxy-Authorization, Cookie, Set-Cookie, X-API-Key y similares. Un token en el log equivale a un token en acceso abierto para cualquiera que tenga acceso a los logs, y normalmente es un círculo mucho más amplio que el que tiene acceso a los secretos.
- Datos personales en la URL: correos electrónicos en parámetros de búsqueda, teléfonos, identificadores de usuario de plataformas externas, nombres en las rutas. Aquí entran en vigor los requisitos de la legislación sobre datos personales, y los logs se convierten en un almacén sujeto a registro.
- Credenciales del propio proxy: usuario y contraseña para autenticarse en el proxy, que el cliente transmite en el encabezado. El escenario clásico de fuga es que el proxy escribe la cadena de conexión completa tipo user:pass@host en el error log al fallar una conexión.
- Cuerpos de solicitudes y respuestas: formularios de autenticación, datos de pago, contenido de mensajes privados. En una configuración normal, la capa de proxy no debería verlos siquiera, pero durante la depuración la tentación de activar el volcado es grande.
- Identificadores indirectos: la combinación de User-Agent, IP del cliente y hora exacta permite desanonimizar a una persona incluso sin datos personales explícitos. Los reguladores de muchas jurisdicciones consideran esas combinaciones datos personales.
La dimensión jurídica
Aquí hace falta cautela. Si por tu capa de proxy pasan datos de usuarios —clientes de tu servicio, suscriptores, compradores—, los logs que contienen sus identificadores se convierten en tratamiento de datos personales con todas las obligaciones derivadas: finalidad determinada, plazo limitado, protección durante el almacenamiento, localización. Los logs no son «basura técnica», como a menudo se perciben. Son una base de datos, solo que con una estructura inusual. La solución de ingeniería aquí es simple: minimizar los datos personales en los logs hasta un nivel en el que dejen de ser personales, mediante hashing y tokenización, de lo que hablaremos más abajo. Así la carga jurídica sobre los logs se reduce drásticamente.
La economía del registro
Otra dimensión es el dinero. Tomemos un gateway hipotético de diez millones de solicitudes al día. Un registro en JSON compacto sin campos innecesarios pesa unos trescientos bytes. En total, tres gigabytes al día, unos noventa al mes. Añade la URL completa con todos los parámetros y todos los encabezados de la solicitud: el registro se infla a uno y medio o dos kilobytes. Eso ya son veinte gigabytes al día y seiscientos al mes. Si esos datos están en un índice de búsqueda en caliente con replicación, la diferencia de costo será de un orden de magnitud. Cada campo del esquema del log es una decisión financiera que se toma para años.
Método 1: diseño del esquema de registro — qué escribir obligatoriamente
Principio de suficiencia mínima
El esquema del log no se diseña desde la pregunta «qué podemos registrar», sino desde «a qué preguntas debemos poder responder». Haz una lista de escenarios de investigación y comprueba que cada uno se cubre con los campos disponibles. Escenarios típicos para la capa de proxy: análisis de un bloqueo de cuenta, búsqueda de la causa del aumento de errores, facturación por clientes, verificación del cumplimiento de límites, investigación de un incidente de seguridad, prueba de que una solicitud concreta no pasó por nosotros.
Campos obligatorios del access log
Abajo está el núcleo del esquema que recomendamos como mínimo para cualquier capa de proxy. Cada campo va con una explicación de para qué sirve:
- ts: marca temporal en UTC con milisegundos, formato ISO 8601. Nada de zonas locales: con un pool distribuido, los nodos están en regiones distintas, y la hora local haría imposible la correlación.
- req_id: identificador de correlación recibido del cliente o generado por el proxy si el cliente no lo transmitió.
- client_id: identificador interno del cliente o servicio autenticado en el proxy. No el login ni la contraseña, sino la clave interna.
- profile_id: identificador de la cuenta o perfil en cuyo nombre se hace la solicitud, si tu sistema opera con esas entidades. Este campo es el que vincula el log con la lógica de negocio del multicaunting.
- session_id: identificador de la sesión de proxy, que vincula la solicitud con un periodo concreto de vinculación a una IP.
- upstream_id: identificador del nodo de salida en el pool. No la IP en sí, sino su código interno: la IP puede reutilizarse, el código no.
- upstream_ip_hash: hash de la IP de salida con sal. Permite agrupar solicitudes por dirección sin guardar la dirección en claro durante mucho tiempo.
- carrier y region: operador y región del nodo de salida para proxies móviles. Crítico para analizar el comportamiento de las plataformas frente a distintos operadores.
- method: método HTTP.
- host: dominio de destino. El dominio, no la URL completa.
- path_template: ruta con las partes variables sustituidas, por ejemplo /users/{id}/posts. Conserva el valor analítico sin filtrar identificadores.
- status: código de respuesta del servidor de destino.
- proxy_status: estado interno del procesamiento: éxito, timeout hacia el nodo superior, rechazado por regla, pool agotado. Separa los errores del servidor de destino de los errores del propio proxy.
- duration_ms: tiempo total de procesamiento; es útil desglosarlo también en tiempo de conexión, tiempo hasta el primer byte y tiempo de transferencia.
- bytes_in y bytes_out: volumen de datos transferidos. Base de la facturación y de la búsqueda de anomalías.
- retry: número de intento, si el proxy hace reintentos.
- tls: versión de TLS y señal de handshake exitoso.
- ua_class: no el User-Agent en sí, sino su clase: navegador móvil, escritorio, aplicación. El User-Agent completo, si hace falta, se guarda en un diccionario aparte bajo un código corto.
Ejemplo de registro
Así se ve un registro construido según este esquema:
{"ts":"2026-03-14T08:21:37.412Z","req_id":"01HRX7K9M2P4Q","client_id":"c_0412","profile_id":"p_88213","session_id":"s_7f3a91","upstream_id":"n_msk_017","upstream_ip_hash":"a91f...c2","carrier":"op_a","region":"ru-mow","method":"GET","host":"example-platform.com","path_template":"/api/v2/feed/{id}","status":200,"proxy_status":"ok","duration_ms":842,"ttfb_ms":611,"bytes_in":1204,"bytes_out":48211,"retry":0,"tls":"1.3","ua_class":"mobile_android"}Trescientos y pocos bytes. Ningún secreto, ningún identificador personal de usuarios externos, pero una imagen completa del evento. Con este registro se pueden responder los seis escenarios de investigación de la lista anterior.
Campos obligatorios del registro de rotación
Para los proxies móviles, el registro de rotación es tan importante como el access log. Esquema mínimo: marca temporal, session_id, upstream_id, motivo de la rotación (por programación, por solicitud del cliente, por error, por alcanzar el límite de solicitudes), hash de la IP antigua y la nueva, operador, duración de la sesión anterior, número de solicitudes de la sesión anterior. Precisamente con este registro entenderás que una cuenta recibió una verificación no por el contenido de sus acciones, sino porque en diez minutos la IP cambió cuatro veces.
Instrucciones paso a paso para implantar el esquema
- Anota los escenarios de investigación relevantes para tu equipo. No menos de cinco.
- Para cada escenario, define el conjunto mínimo de campos con los que se puede cubrir.
- Une los conjuntos, elimina duplicados. Eso es el borrador del esquema.
- Recorre cada campo con la pregunta: ¿contiene un secreto, datos personales o un identificador indirecto? Si sí, sustitúyelo por un hash, una clase o una plantilla.
- Fija el esquema en un documento con versión. Cada registro debe contener el campo schema_version.
- Implementa la validación: un registro que no cumpla el esquema debe rechazarse en la fase de ensamblado del log, y no descubrirse medio año después.
- Ejecuta una carga de prueba y mide el tamaño medio del registro. Multiplícalo por el volumen diario y compáralo con el presupuesto de almacenamiento.
Método 2: recorte de datos sensibles — qué no escribir nunca
Lista negra de campos
Empecemos por las prohibiciones absolutas. Estos datos no deben llegar a ningún flujo de logs de la capa de proxy en ningún nivel, incluido DEBUG:
- Valores de los encabezados Authorization, Proxy-Authorization, Cookie, Set-Cookie, y de cualquier encabezado con las subcadenas key, token, secret, session en el nombre.
- Credenciales de conexión al proxy en cualquier forma, incluidas cadenas tipo user:pass@host.
- Cuerpos de solicitudes y respuestas. Completamente. Si para depurar hay que ver el cuerpo, se hace del lado de la aplicación, en un almacén temporal, con eliminación automática.
- El query string completo con parámetros. Los parámetros contienen con regularidad correos, teléfonos y tokens de enlaces de un solo uso.
- El User-Agent completo combinado con la IP del cliente: es una huella que permite identificar a una persona.
- Direcciones IP abiertas de los usuarios finales de tu servicio, si la capa de proxy no atiende solo procesos internos.
Cuatro técnicas de anonimización
Prohibir es fácil. Lo difícil es conservar el valor analítico. Aquí está el instrumental que lo permite:
Redacción (redaction)
Sustitución completa del valor por un marcador tipo [REDACTED]. Se aplica a lo que no tiene valor analítico: encabezados de autorización, contraseñas. Un matiz importante: hay que redactar en la fase de formación del registro, dentro del proceso del proxy, y no en el postprocesamiento de archivos. El postprocesamiento significa que el secreto ya se escribió en disco y llegó a los búferes, a las copias de seguridad, a las réplicas.
Enmascaramiento (masking)
Ocultación parcial conservando la forma. Correo i***@d*****.ru, teléfono +7 9** *** 12 34. Permite a un operador de soporte reconocer los datos al compararlos, pero no recuperarlos del log. Se aplica donde hace falta una verificación visual humana y, sinceramente, en la capa de proxy es poco frecuente. Más a menudo el enmascaramiento es un compromiso cuando el equipo no está listo para el hashing.
Hashing con sal
El valor se sustituye por el resultado de una función hash criptográfica con una sal secreta. Valores iguales producen hashes iguales, así que se conservan la agrupación y el conteo de únicos, y la recuperación del valor original sin la sal es imposible. Es la herramienta principal para direcciones IP, identificadores de usuario de plataformas externas y User-Agent completos. Requisito clave: la sal se guarda aparte de los logs, en un gestor de secretos, y se rota periódicamente. Al rotar la sal se pierde la posibilidad de cotejar hashes antiguos y nuevos; es un precio consciente por la seguridad, y el periodo de rotación de la sal suele coincidir con el plazo de retención de los logs detallados.
Tokenización
El valor se sustituye por un token aleatorio, y la correspondencia token-valor se guarda en un almacén aparte protegido con control de acceso estricto. A diferencia del hashing, es reversible, pero solo para quien tiene acceso a la tabla de correspondencias. Se aplica cuando la investigación de un incidente puede requerir recuperar el valor original por decisión de un responsable de seguridad. Por ejemplo, la URL completa de una solicitud ante sospecha de abuso. La tabla de correspondencias vive con su propio plazo de retención, más corto.
Plantillado de rutas
Detengámonos aparte en las rutas de URL. La ruta /users/88213/messages/4471 contiene dos identificadores. Registrarla entera es conservar datos personales indirectos. Registrar solo el dominio es perder la analítica por endpoint. La solución: plantillado. Los segmentos numéricos, los UUID y las cadenas largas tipo hash se sustituyen por marcadores: /users/{id}/messages/{id}. La analítica por tipos de solicitud se conserva por completo, los identificadores desaparecen. Se implementa con un conjunto de reglas de sustitución aplicadas en la fase de formación del registro.
Dónde ocurre exactamente el recorte
La arquitectura correcta presupone tres líneas de defensa:
- En el proceso del proxy: el formador del log conoce el esquema y simplemente no toma los campos prohibidos. Esta es la línea principal.
- En el agente de recolección: reglas de filtrado que buscan patrones de secretos (cadenas tipo Bearer seguidas de una secuencia larga, construcciones tipo JWT, números de tarjeta según la fórmula de Luhn) y los sustituyen por marcadores. Es un seguro contra errores del desarrollador que añadió un campo nuevo.
- En el almacén: un escáner periódico que busca patrones de secretos en los datos ya guardados y lanza una alerta. Es un detector, no un filtro: si encuentra algo, significa que las dos primeras líneas fallaron y hay que investigar.
Checklist de recorte de datos sensibles
- Los encabezados de autorización y cookies se redactan dentro del proceso, no en postprocesamiento.
- Las credenciales del proxy nunca llegan al error log, incluidos los mensajes de error de conexión.
- Los cuerpos de solicitudes y respuestas no se registran en ningún nivel.
- El query string se descarta o se plantilla.
- Las direcciones IP se hashean con sal; la sal se guarda aparte y se rota.
- Las rutas de URL se plantillan según reglas.
- El User-Agent se sustituye por una clase o un código de diccionario.
- El agente de recolección tiene reglas de búsqueda de patrones de secretos.
- El almacén se escanea periódicamente en busca de secretos.
- El modo DEBUG se activa por un client_id concreto, por tiempo limitado y con desconexión automática.
Método 3: rotación y almacenamiento por niveles
Para qué sirve la rotación
La rotación de logs es el cierre regular del archivo actual y el comienzo de uno nuevo, con la consiguiente compresión, movimiento o eliminación de los antiguos. Sin rotación, el archivo crece sin límite, no se puede leer, ni comprimir, ni eliminar de forma selectiva, y un disco lleno tumba el propio proceso del proxy. Suena trivial, pero según nuestra experiencia no menos de un tercio de los incidentes de indisponibilidad de gateways de proxy hechos a medida se deben justamente a discos llenos de logs.
Criterios de rotación
El archivo se cierra por una de las condiciones, la que ocurra primero:
- Por tamaño: normalmente de cien megabytes a un gigabyte. Menos: demasiados archivos; más: comprimir es lento y transportar es incómodo.
- Por tiempo: una hora para gateways de alta carga, un día para los pequeños. La rotación temporal hace predecibles los nombres de archivo y simplifica la búsqueda.
- Por evento: reinicio del proceso, cambio de versión del esquema. Un archivo no debe contener registros de dos esquemas distintos.
Práctica: rotar por tiempo con límite de tamaño. Por ejemplo, cada hora, pero no más de quinientos megabytes por archivo. El nombre del archivo incluye el nodo, el flujo y la marca temporal de inicio: access-gw-msk-01-2026031408.jsonl.
Mecánica sin pérdidas
Un detalle crítico que a menudo se pasa por alto: la rotación no debe provocar pérdida de registros. El error clásico es renombrar el archivo y crear uno nuevo mientras el proceso sigue escribiendo en el descriptor antiguo. Los enfoques correctos: el proceso abre él mismo el nuevo archivo al cumplirse la condición (rotación integrada); o un rotador externo envía al proceso una señal para reabrir el archivo tras el renombrado; o, lo preferible en arquitecturas modernas, el proceso escribe en la salida estándar y el agente de recolección recoge el flujo y gestiona él mismo los archivos. La tercera variante libera al proceso del proxy de toda responsabilidad sobre el disco.
Compresión
Los logs estructurados en JSON se comprimen de maravilla: el coeficiente típico va de ocho a quince gracias a los nombres de campo repetidos y al conjunto limitado de valores. Esto significa que un gigabyte de logs crudos se convierte en setenta o cien megabytes de archivo. Elección del algoritmo: para archivos que se leerán con frecuencia, algoritmos rápidos con compresión moderada; para el archivo, compresión máxima. No comprimas inmediatamente tras cerrar el archivo, sino con un retraso de uno o dos periodos de rotación: los archivos recientes suelen hacer falta para el análisis operativo.
Modelo de almacenamiento por niveles
Aquí llegamos a la idea central del almacenamiento económico. No todos los logs tienen la misma demanda. Los accesos a los registros se distribuyen de forma extremadamente desigual: la gran mayoría de las consultas a los logs se refiere a las últimas veinticuatro horas, una parte notable, a la última semana, y solo accesos aislados, a datos de más de un mes. Guardar todo en un almacén igual de caro y rápido es un derroche. De ahí el modelo por niveles:
Nivel caliente
Las últimas veinticuatro horas, tres días. Índice de búsqueda completo, todos los campos indexados, respuesta a la consulta en segundos. El nivel más caro por gigabyte. Aquí viven las investigaciones operativas, la depuración y el análisis de incidentes recientes.
Nivel templado
De tres a treinta días. Datos en formato columnar comprimido en almacenamiento de objetos, búsqueda mediante un motor que lee los archivos directamente. La respuesta a la consulta tarda decenas de segundos, pero el costo de almacenamiento es un orden menor. Aquí van los informes semanales, el análisis de quejas de clientes y el estudio de tendencias de bloqueo.
Nivel frío
De treinta días hasta el final del plazo de retención. Archivos comprimidos en la clase más barata de almacenamiento de objetos, posiblemente con latencia de acceso. La búsqueda es solo por hora exacta y nodo; después, descompresión y análisis manual. Aquí van las solicitudes legales, las auditorías y las investigaciones de incidentes antiguos.
Agregados
Un nivel aparte que se olvida. Antes de eliminar los registros detallados, se calculan agregados a partir de ellos: cantidad de solicitudes, distribución de códigos de respuesta, duración media, por cliente, nodo, dominio y hora. Los agregados ocupan fracciones de porcentaje del volumen de los logs detallados y se conservan durante años. Son precisamente los que permiten responder a la pregunta «y cómo era hace un año» sin guardar un año de registros detallados.
Configuración paso a paso de la rotación y los niveles
- Define el flujo de salida del proceso del proxy: la salida estándar hacia el agente de recolección es preferible a la escritura directa en archivo.
- Configura la rotación por tiempo (hora o día) con límite de tamaño.
- Establece la compresión con un retraso de uno o dos periodos tras el cierre del archivo.
- Separa los flujos: access, error, audit, rotation, en archivos o índices distintos.
- Configura el traslado al nivel templado por edad del archivo, con conversión a formato columnar.
- Configura el traslado al nivel frío y la eliminación al alcanzar el plazo de retención.
- Implementa el cálculo diario de agregados desde el nivel caliente y su escritura en un almacén longevo aparte.
- Pon una alerta de espacio libre en disco del nodo y de retraso de envío al agente de recolección: si los logs no salen, se acumulan localmente.
- Una vez al trimestre, verifica que la eliminación realmente ocurre: cuenta el archivo más antiguo de cada nivel.
Método 4: política de plazos de retención
Tres fuerzas que determinan el plazo
El plazo de retención de logs es un compromiso entre tres fuerzas que tiran en direcciones distintas. Los ingenieros quieren conservar más tiempo: nunca se sabe cuándo hará falta analizar un incidente antiguo. Finanzas quiere conservar menos: cada gigabyte cuesta dinero. Seguridad y abogados son la parte más interesante: exigen a la vez conservar lo suficiente para las investigaciones y el tiempo suficientemente corto para no acumular datos por cuya fuga habrá que responder. Cada registro con datos personales que conservas más de lo necesario es una obligación, no un activo.
Principio: el plazo depende de la sensibilidad y la demanda
Distintos flujos y distintos campos viven tiempos distintos. Esta es la idea clave de la sección. No existe un único «plazo de retención de logs»: hay una matriz de plazos:
- Access log detallado: de catorce a noventa días. La demanda cae exponencialmente, la sensibilidad es media incluso tras la anonimización.
- Error log: de treinta a ciento ochenta días. El volumen es pequeño, el valor para analizar problemas recurrentes es alto.
- Audit log: de uno a tres años. Quién cambió la configuración y emitió accesos son datos que se requieren en investigaciones mucho después. El volumen es insignificante.
- Rotation log: lo mismo que el access log; sin uno, el otro no tiene sentido.
- Tabla de tokenización: más corta que los propios logs, de siete a treinta días. Pasado el plazo, los tokens en los logs se vuelven irreversibles.
- Agregados: de dos a cinco años. No contienen datos personales, ocupan poco espacio y son valiosos para la analítica a largo plazo.
Cómo calcular el plazo para tu situación
Proponemos un marco de trabajo de cinco preguntas:
- ¿Cuál es el escenario realista de investigación más largo? Un cliente se queja de un bloqueo de cuenta ocurrido hace tres semanas; por tanto, los logs detallados hacen falta al menos veintiún días más margen.
- ¿Hay obligaciones externas? Los contratos con clientes pueden exigir conservar los registros de acceso cierto plazo para resolver situaciones disputadas de facturación. Los requisitos de los reguladores para operadores de ciertas categorías de datos también pueden fijar mínimos.
- ¿Qué datos de los logs siguen siendo sensibles tras la anonimización? Si se aplicó hashing con rotación de sal, la sensibilidad tras la rotación cae casi a cero y el almacenamiento puede prolongarse.
- ¿Cuánto cuesta el almacenamiento en cada nivel? Calcula el costo de un mes de almacenamiento caliente, templado y frío con tu volumen. A menudo resulta que el almacenamiento frío de un año de logs cuesta menos que una semana en caliente.
- ¿Qué se pierde al eliminar? Si los agregados cubren la analítica a largo plazo, los registros detallados pueden eliminarse sin miedo.
Suspensión legal de la eliminación
Un elemento obligatorio de la política es el mecanismo de suspensión de la eliminación (legal hold). Si se inicia una investigación de incidente o se recibe una solicitud oficial, la eliminación automática del periodo afectado debe congelarse hasta que termine el proceso. Técnicamente es una marca en el archivo o el prefijo del almacenamiento de objetos que comprueba el proceso de eliminación. Organizativamente, un reglamento sobre quién tiene derecho a poner y quitar esa marca. Sin tal mecanismo, te encontrarás en la situación de que los datos necesarios se eliminaron según lo previsto justo el día en que hicieron falta.
Documentación de la política
La política de retención es un documento, no un ajuste en el archivo de configuración. Contenido mínimo: lista de flujos de logs y campos; para cada uno, finalidad de la recolección, plazo de retención en cada nivel, método de anonimización; responsables de la política y de su ejecución; procedimiento de suspensión de la eliminación; procedimiento de verificación de que la eliminación ocurre; periodicidad de revisión, normalmente una vez al año o al cambiar el esquema. Este documento es lo primero que pedirá un auditor y lo primero que te protegerá ante un incidente: demuestra que los datos se trataron con criterio.
Plantilla de matriz de retención
Rellena para tu caso una tabla con columnas: flujo, campos con sensibilidad, método de anonimización, nivel caliente (días), nivel templado (días), nivel frío (días), agregados (meses), fundamento del plazo, responsable. Una fila por flujo. La matriz lista cabe en una página y elimina el noventa por ciento de las discusiones entre equipos.
Errores típicos: qué no hay que hacer
Registrar todo «por si acaso»
El error más frecuente y más caro. El argumento «mejor tenerlo y no usarlo» no funciona con los logs: los datos no usados cuestan dinero, crean riesgo de fuga y convierten el almacén en un lugar donde lo necesario es imposible de encontrar entre lo innecesario. Cada campo debe responder a una pregunta concreta de la lista de escenarios.
Activar DEBUG en producción y olvidarse de desactivarlo
El modo DEBUG de un proxy casi siempre significa volcado de encabezados. Activado un viernes por la tarde para analizar un problema, el lunes habrá llenado el disco con tokens de autorización de todos los clientes. Regla: DEBUG se activa por filtro y con temporizador de desconexión automática.
Escribir secretos en los mensajes de error
El desarrollador forma un mensaje de error de conexión e inserta en él la cadena de conexión completa, con usuario y contraseña. El error log se conserva más tiempo que el access log y lo revisa más gente. Revisa todos los puntos de formación de mensajes de error en busca de interpolación de credenciales.
Mezclar flujos en un solo archivo
Access, error y audit en un mismo archivo significan que los registros de audit, que deben vivir tres años, se eliminan junto con los de access al mes, y que los registros de access, que deberían comprimirse, quedan mezclados con los escasos de error, que hay que leer con los ojos.
Guardar la hora en zona local
Nodos del pool en regiones distintas, cambio de horario de verano en algunas jurisdicciones, comparación con logs de sistemas externos: todo eso se rompe con la hora local. Solo UTC, solo ISO 8601.
Anonimizar en postprocesamiento
Un script que por la noche recorre los archivos y recorta tokens es un reconocimiento de que los tokens estuvieron todo el día en disco en texto plano y además llegaron a los búferes del agente de recolección, a las réplicas y, posiblemente, a las copias de seguridad. La anonimización se hace en la fase de formación del registro.
No comprobar que la eliminación funciona
La política está escrita, el plazo establecido, la automatización configurada y, dos años después, se descubre que por un cambio de permisos en el bucket la eliminación fallaba en silencio y el almacén contiene toda la historia. Comprobar el archivo más antiguo de cada nivel es un ritual trimestral.
Guardar la sal del hashing junto a los logs
La sal en el archivo de configuración del proxy, en el mismo repositorio o el mismo disco, equivale a no tener sal. Las IP hasheadas se recuperan entonces por fuerza bruta en minutos. La sal va en el gestor de secretos, con acceso restringido y rotación.
Registrar la URL completa
El query string es un concentrado de datos sensibles: correo en parámetros de búsqueda, tokens de enlaces de un solo uso, identificadores de usuario. Dominio más ruta plantillada basta para cualquier analítica de transporte.
Herramientas y recursos
Servidores proxy y sus capacidades de logging
La mayoría de los servidores proxy y reverse proxies maduros permiten configurar el formato del access log, incluida la salida en JSON, y permiten excluir o redefinir campos por configuración. Al elegir, presta atención a tres cosas: la posibilidad de emitir un log estructurado sin formato de texto intermedio; la posibilidad de añadir al registro el encabezado de correlación del cliente; la posibilidad de prohibir por completo el registro de encabezados concretos a nivel de configuración, no de código. Si la capa de proxy es hecha a medida, cosa nada rara en los sistemas de gestión de proxies móviles, usa la biblioteca de logging estructurado de tu lenguaje con soporte de procesadores de registro: precisamente en el procesador se implementan la redacción y el hashing.
Agentes de recolección
El agente de recolección es el proceso en el nodo que lee la salida del proxy, aplica filtros y envía los registros al almacén. Criterios clave de elección: soporte de reglas de sustitución por expresiones regulares para la segunda línea de defensa; búfer en disco cuando el almacén no está disponible, para no perder registros; bajo consumo de recursos, ya que el agente vive junto al proceso del proxy en el mismo nodo; soporte de enrutamiento de distintos flujos a destinos distintos.
Almacenes y motores de búsqueda
Para el nivel caliente sirven índices de búsqueda con búsqueda de texto completo por campos o bases analíticas columnares, que en los últimos años desplazan a los índices clásicos gracias a mejor compresión y velocidad de agregación. Para los niveles templado y frío, almacenamiento de objetos con formato de archivo columnar y un motor de consultas que los lee directamente. Elige un almacenamiento de objetos con políticas de ciclo de vida: el traslado automático entre clases de almacenamiento y la eliminación por edad se configuran sin código propio.
Herramientas de anonimización
Una clase aparte de herramientas son los escáneres de secretos, creados originalmente para buscar claves en repositorios de código. Sus motores de patrones son aplicables también a los logs: encuentran tokens, claves de proveedores en la nube, cadenas tipo JWT. Configurado para ejecutarse periódicamente sobre el almacén, ese escáner se convierte en la tercera línea de defensa. Para el plantillado de rutas y el hashing no hay herramientas especializadas: son unas decenas de líneas en el procesador del log.
Gestión de secretos
La sal para el hashing y la tabla de tokenización deben vivir en un gestor de secretos con registro de accesos. Puede ser tanto una solución de proveedor en la nube como un almacén de secretos desplegado por tu cuenta. El criterio es la posibilidad de dar al proceso del proxy acceso a la sal sin que una persona tenga acceso a su valor.
Qué leer y en qué orientarse
Como referentes sirven las guías sectoriales de logging seguro de comunidades de seguridad aplicada, donde hay listas exhaustivas de datos prohibidos en los logs; la documentación de los reguladores sobre minimización de datos personales; las recomendaciones de almacenamiento por niveles de los proveedores en la nube, donde hay cálculos de costos. Aparte, son útiles los materiales sobre especificaciones de trazabilidad distribuida: de ahí conviene tomar el formato de los identificadores de correlación.
Casos y resultados
Caso 1: equipo de automatización de marketing, reducción del volumen de logs a la sexta parte
Situación inicial: gateway para trabajar con paneles publicitarios a través de un pool de proxies móviles, unas cuatro millones de solicitudes al día. Los logs se escribían en formato de texto con URL completa, todos los encabezados de la solicitud y el primer kilobyte del cuerpo de la respuesta «para depurar». Registro medio: unos dos kilobytes; volumen diario: ocho gigabytes; todo en un índice de búsqueda en caliente con retención de noventa días. El costo del índice era una línea notable del presupuesto de infraestructura.
Qué se hizo: transición a un esquema JSON de veinte campos, el descrito arriba. Se descartaron los encabezados, el cuerpo y el query string. Las rutas se plantillaron. Se introdujeron niveles: tres días caliente, treinta templado, noventa frío. Se implementaron agregados por horas con retención de tres años.
Resultado: registro medio de trescientos veinte bytes; volumen diario de 1,3 gigabytes; tras la compresión en el nivel templado, unos cien megabytes al día. El costo de almacenamiento bajó aproximadamente un ochenta y cinco por ciento. Efecto secundario inesperado: la velocidad de análisis de incidentes aumentó, porque los analistas dejaron de ahogarse en encabezados y veían de inmediato los campos clave. Y dos meses después, el escáner de secretos, puesto como tercera línea, encontró en los archivos antiguos más de doce mil tokens activos de paneles publicitarios; se revocaron y se reemitieron.
Caso 2: servicio de parsing de marketplaces, investigación de bloqueos mediante el registro de rotación
Situación: el equipo hace parsing de fichas de producto públicas a través de proxies móviles y se enfrenta a una ola de bloqueos de parte de las sesiones. Las métricas muestran un aumento de errores, pero no la causa. El access log existe, el registro de rotación no.
Qué se hizo: se añadió un registro de rotación con el motivo del cambio de IP y la duración de la sesión, y se vinculó con el access log mediante session_id. Ya a los dos días de datos se vio: las sesiones bloqueadas en su gran mayoría tenían una duración inferior a tres minutos; la rotación se disparaba por un temporizador agresivo, y la plataforma de destino veía el mismo perfil con tres IP distintas en un intervalo corto. Las sesiones de más de veinte minutos se bloqueaban tres veces menos.
Resultado: tras reconfigurar la rotación, la proporción de sesiones bloqueadas bajó del once a menos del tres por ciento. Costo: unos cuarenta bytes por registro de rotación, diez mil registros al día, un volumen que ni se nota frente al access log. La conclusión que consideramos importante: para los proxies móviles, el registro de rotación no es una opción, sino un flujo obligatorio.
Caso 3: plataforma con clientes externos, adecuación de los logs a los requisitos sobre datos personales
Situación: el servicio da a sus clientes acceso de proxy, a través del cual pasan solicitudes de los usuarios finales de los clientes. En los logs hay IP de usuarios finales, User-Agent completos y URLs completas. La auditoría jurídica califica los logs como base de datos personales con un plazo de retención de un año.
Qué se hizo: las IP se sustituyeron por hashes con sal, rotada cada treinta días; el User-Agent, por un código de diccionario; la URL, por el dominio y la plantilla de ruta. Se elaboró una matriz de retención con justificación de los plazos. Se introdujo el mecanismo de suspensión de la eliminación. Los logs detallados se limitaron a cuarenta y cinco días; los agregados, a tres años.
Resultado: tras la rotación de la sal, los logs de más de treinta días dejaron de contener datos que permitieran identificar al usuario ni siquiera indirectamente, y se excluyeron del ámbito de aplicación como base de datos personales. El volumen de obligaciones de protección se redujo, y la capacidad de analizar incidentes del último mes se mantuvo por completo. La auditoría aceptó la matriz de retención como prueba suficiente de un tratamiento con criterio.
Caso 4: incidente de disco lleno
Breve, pero ilustrativo. Un gestor de proxies hecho a medida escribía los logs en un archivo sin rotación. En cuatro meses el archivo creció hasta cuarenta gigabytes, el disco del nodo se llenó, el proceso se cayó al intentar escribir y un pool de veinte módems estuvo parado tres horas de noche. Tras el incidente: salida a flujo estándar, agente de recolección con búfer, rotación por hora, alerta de espacio libre. No hubo repeticiones. El costo de la solución: un día de trabajo.
FAQ: preguntas complejas sobre los logs de la capa de proxy
¿Hay que registrar las solicitudes exitosas o basta con los errores?
Hay que registrarlas. Las solicitudes exitosas son la base de la facturación, del cálculo de proporciones de error (sin denominador, la proporción carece de sentido), del análisis del comportamiento de las plataformas frente a distintos operadores y de la prueba de que una solicitud concreta no pasó por nosotros. Hay que economizar en el tamaño del registro, no en su cantidad. Si el volumen es aun así inaceptable, aplica muestreo: registra todos los errores y cada décima solicitud exitosa con una marca de muestreo, para multiplicar por el coeficiente al agregar.
¿Cómo investigar un incidente si la IP está hasheada y la sal ya se rotó?
Es una frontera consciente. Tras la rotación de la sal, los datos se vuelven irreversibles: en eso está su valor protector. Las investigaciones que requieran recuperar la IP deben caber en el periodo de vigencia de la sal, que normalmente coincide con el plazo de retención detallada. Si los escenarios de investigación superan con regularidad ese periodo, amplía el periodo de rotación de la sal, pero asumiendo que con ello prolongas el plazo durante el cual los logs siguen siendo sensibles. Para investigaciones realmente largas, usa el mecanismo de suspensión de la eliminación y la sal a la vez.
¿En qué se diferencian los logs de la capa de proxy de la trazabilidad?
La trazabilidad describe el camino de una solicitud por varios servicios con intervalos de tiempo anidados. El log describe un evento en un componente. Se complementan mediante un identificador de correlación común: en la traza ves que la solicitud pasó ochocientos milisegundos en la capa de proxy; en el log, por qué exactamente: quinientos en la conexión con el nodo superior, doscientos en TLS, cien en la transferencia. No intentes sustituir uno por otro.
¿Conviene cifrar los logs al almacenarlos?
Sí, en todos los niveles. Incluso los logs anonimizados contienen información de negocio: qué dominios solicitas, con qué intensidad, a través de qué operadores. El cifrado del lado del almacén es un ajuste estándar de los almacenes de objetos, se activa con una marca. Además, limita el acceso al nivel caliente por roles: los analistas ven agregados y campos anonimizados; los responsables de seguridad, todo.
¿Cómo actuar con los logs al trabajar en varias regiones?
Registra la hora en UTC y la región del nodo en un campo aparte. El almacenamiento puede ser centralizado o regional en función de los requisitos de localización de datos: si por el proxy pasan datos de usuarios de una jurisdicción concreta, los logs con sus identificadores anonimizados pueden quedar sujetos al requisito de almacenamiento en esa jurisdicción. Consúltalo con los abogados antes de diseñar, no después.
¿Se pueden usar los logs de proxy para la facturación de clientes?
Se puede y se debe, pero con dos matices. Primero: la facturación se construye sobre agregados, no sobre registros detallados: sumas por client_id por periodo. Los agregados viven más tiempo y no contienen datos sensibles. Segundo: si el log es la base para las liquidaciones con clientes, se le exigen requisitos de inmutabilidad: los registros no se editan a posteriori, los archivos llevan sumas de control y solo el proceso de recolección tiene acceso de escritura.
¿Cómo asegurarse de que un campo nuevo añadido por un desarrollador no contiene un secreto?
Procesalmente: cualquier cambio del esquema del log pasa por una revisión con la pregunta obligatoria sobre la sensibilidad de cada campo nuevo, y la versión del esquema se incrementa. Técnicamente: la segunda línea de defensa en el agente de recolección captura patrones de secretos independientemente del nombre del campo; la tercera, el escáner del almacén, señala si algo se filtró. Además, es útil una prueba que pasa por el formador del log una solicitud con un token falso conocido y comprueba que el token no apareció en la salida.
¿Qué hacer con los logs al retirar un nodo del pool?
Los logs del nodo permanecen en el almacén hasta el final del plazo de retención: describen eventos que ocurrieron, y su eliminación junto con el nodo rompe la integridad de la historia. Los búferes locales del nodo deben enviarse al almacén antes de desconectarlo, para lo cual el procedimiento de retirada incluye la espera a que se vacíe el búfer del agente de recolección. El identificador del nodo no se reutiliza para nodos nuevos; de lo contrario, los registros de dos dispositivos distintos se mezclarían.
¿Cómo evaluar si la política de retención es adecuada?
Una vez al trimestre, haz tres comprobaciones. Primera: toma los cinco últimos incidentes y comprueba que para cada uno los datos necesarios estaban disponibles en el nivel adecuado. Segunda: cuenta cuántas consultas a los logs del trimestre correspondieron a datos de más de treinta días; si son cero, el nivel frío puede reducirse. Tercera: comprueba que el archivo más antiguo de cada nivel no supera el plazo establecido. Si las tres comprobaciones pasan, la política es adecuada.
Conclusión: los logs como sistema proyectado, no como producto secundario
Recojamos lo principal. Los logs de la capa de proxy no son algo que «se escribe solo», sino un sistema proyectado con esquema propio, fronteras propias y ciclo de vida propio. Responde a las preguntas «quién», «a través de qué» y «qué resultó», y por principio no responde a la pregunta «qué se transmitió»: eso es responsabilidad de la aplicación.
Qué escribir: marca temporal en UTC, identificadores de correlación, de cliente, de perfil y de sesión, código del nodo, IP anonimizada, operador y región, método, dominio y plantilla de ruta, códigos de respuesta y de estado interno, duraciones, volúmenes, número de intento. Para proxies móviles, registro de rotación obligatorio con el motivo del cambio de IP.
Qué no escribir: encabezados de autorización y cookies, credenciales del proxy, cuerpos de solicitudes y respuestas, URLs completas con parámetros, User-Agent completos junto con la IP, direcciones abiertas de usuarios finales. La anonimización, dentro del proceso, con dos líneas de defensa adicionales en el agente de recolección y el escáner del almacén.
Cómo almacenar: flujos separados, rotación por tiempo con límite de tamaño, compresión, niveles de caliente a frío con agregados a la salida, matriz de plazos por flujo, mecanismo de suspensión de la eliminación y verificación periódica de que la eliminación ocurre.
Siguientes pasos que recomendamos dar esta semana. Primero: descarga cien registros aleatorios de tu log actual y pásalos por el checklist de recorte de datos sensibles; el resultado probablemente te sorprenderá. Segundo: calcula el tamaño medio del registro y multiplícalo por el volumen diario y el plazo de retención; compáralo con lo que resultaría con el esquema de esta guía. Tercero: elabora una matriz de retención de una página y muéstrasela a los responsables de seguridad y a los abogados: es una conversación que conviene tener antes de un incidente, no después.
Los logs son la memoria de tu infraestructura. Una buena memoria recuerda lo importante, olvida lo superfluo y no guarda lo que puede perjudicar. Proyéctala exactamente así.