Введение: почему логи прокси-слоя заслуживают отдельного разговора

Представьте ситуацию. Ночью падает конверсия парсера на треть, утром служба безопасности спрашивает, кто и куда ходил через корпоративный прокси-шлюз позавчера, а к обеду юрист интересуется, почему в архивах лежат полные URL с токенами доступа клиентов за последние два года. Все три вопроса упираются в одну сущность — логи прокси-слоя. И почти всегда выясняется, что логи либо не содержат нужного, либо содержат лишнее, либо хранятся так, что найти в них что-то за разумное время невозможно.

Мы уже разбирали наблюдаемость пула прокси: метрики успешности, латентность по узлам, алерты на деградацию, дашборды. Это разговор о том, как система чувствует себя в целом. Сегодняшняя тема иная. Метрика скажет вам, что процент ошибок 429 вырос с двух до четырнадцати. Лог скажет, какой именно аккаунт, через какой именно IP мобильного оператора, с каким заголовком User-Agent и в какую секунду получил этот ответ. Метрики отвечают на вопрос «что происходит», логи — на вопрос «что именно произошло и с кем». Здесь мы говорим исключительно о содержимом записей, отсечении чувствительных данных, ротации файлов и политике сроков хранения.

Почему это критично именно сейчас? Во-первых, объёмы. Средний прокси-шлюз даже небольшой команды по автоматизации маркетинга генерирует от нескольких сотен тысяч до десятков миллионов запросов в сутки. Одна необдуманно добавленная строка в формате лога умножается на эти миллионы. Во-вторых, регуляторика. Требования законодательства о персональных данных ужесточаются, а прокси-слой — это место, где пользовательские идентификаторы, cookie и авторизационные заголовки проходят в открытом виде. В-третьих, экономика. Хранение терабайтов логов в горячем поисковом индексе стоит денег, и часто эти деньги уходят на данные, к которым никто никогда не обратится.

Из этого руководства вы узнаете: какие поля обязаны присутствовать в каждой записи прокси-лога и почему; какие данные категорически нельзя записывать даже «на всякий случай»; как устроить маскирование и хэширование так, чтобы логи остались полезными для расследований; как выстроить ротацию и ярусное хранение; как определить срок хранения, который устроит и инженеров, и безопасников, и юристов. Мы дадим готовые шаблоны, чек-листы и разберём реальные кейсы с цифрами. Устраивайтесь удобнее — материал получился объёмным, но каждая его часть проверена практикой.

Основы: что такое лог прокси-слоя и из чего он состоит

Определение и место в архитектуре

Прокси-слой — это компонент между вашим приложением (парсером, менеджером аккаунтов, системой автоматизации рекламных кабинетов) и внешним миром, который принимает запрос, выбирает выходной адрес из пула, отправляет запрос и возвращает ответ. Если вы работаете с мобильными прокси, этот слой ещё и управляет ротацией IP, привязкой сессий к аккаунтам и переключением между операторами.

Лог прокси-слоя — это последовательность записей, каждая из которых описывает одно событие в этом компоненте. Чаще всего событие — это обработанный HTTP-запрос, но событиями также являются смена IP, ошибка соединения с вышестоящим узлом, отклонение запроса по правилу доступа, старт и остановка процесса.

Полезная аналогия — бортовой журнал корабля. В него не переписывают содержимое трюма, но фиксируют каждое изменение курса, время, координаты, погодные условия и кто был на вахте. Точно так же хороший прокси-лог не хранит тело запроса, но фиксирует всё, что позволит восстановить маршрут события.

Типы логов внутри прокси-слоя

На практике выделяют четыре потока, и смешивать их в один файл — первая ошибка новичка:

  • Access log (журнал доступа) — одна запись на каждый обработанный запрос. Самый объёмный поток, основной источник для расследований и биллинга.
  • Error log (журнал ошибок) — события, требующие внимания: невозможность подключиться к вышестоящему узлу, таймауты, исчерпание пула, падение процесса. Объём в десятки и сотни раз меньше access log, ценность на единицу записи выше.
  • Audit log (журнал аудита) — кто изменил конфигурацию, кто выдал токен доступа, кто добавил или удалил узел из пула. Пишется редко, хранится дольше всего.
  • Rotation/session log (журнал ротации) — специфический для мобильных прокси поток: когда и по какой причине сменился IP, какой оператор, какая сессия к какому аккаунту привязана. Без него невозможно ответить на вопрос, почему аккаунт получил проверку безопасности.

Уровни логирования

Классические уровни — DEBUG, INFO, WARN, ERROR, FATAL — работают и здесь, но с нюансом. Для access log уровень почти бессмыслен: каждый запрос — это INFO. Уровни имеют смысл для error log и внутренних событий. Практическое правило: в продакшене прокси-слой работает на INFO, DEBUG включается точечно, по конкретному клиенту или узлу, и на ограниченное время. Почему? Потому что DEBUG-режим в прокси часто означает дамп заголовков целиком, а это прямой путь к утечке авторизационных данных в файлы.

Форматы: текст против структуры

Ещё десять лет назад стандартом был текстовый формат вроде Common Log Format, где поля разделены пробелами. Сегодня отраслевой консенсус однозначен: структурированные логи, обычно в JSON, где каждое поле именовано. Причины просты. Структурированную запись можно фильтровать по любому полю без регулярных выражений, её понимают все системы сбора, и — что важно для нашей темы — из неё легко выборочно удалять или маскировать конкретные поля. Попробуйте вырезать заголовок Authorization из текстовой строки, где он мог оказаться в любом месте, и вы поймёте, о чём речь.

Глубокое погружение: анатомия записи и природа рисков

Три вопроса, на которые должна отвечать каждая запись

Прежде чем обсуждать конкретные поля, договоримся о критерии. Запись в access log прокси-слоя полезна, если по ней можно ответить на три вопроса:

  1. Кто? Какой клиент, какой аккаунт или профиль, какой внутренний сервис инициировал запрос.
  2. Через что? Какой выходной узел, какой IP, какой оператор, какая сессия использовалась.
  3. Что получилось? Код ответа, длительность, объём переданных данных, была ли повторная попытка.

Обратите внимание: в этом списке нет вопроса «что именно передавалось». Содержимое запроса и ответа — это данные приложения, а не прокси-слоя. Прокси-слой — транспорт, и логировать он должен транспортные события. Это фундаментальный принцип разделения ответственности, и большинство проблем с чувствительными данными в логах возникает именно из его нарушения.

Идентификаторы и корреляция

Самое ценное поле в современном логе — идентификатор корреляции (request ID или trace ID). Это уникальная строка, которую приложение генерирует при создании запроса и передаёт в прокси-слой через служебный заголовок. Прокси записывает её в свой лог, а приложение — в свой. В результате вы можете за секунды связать событие в парсере, событие в прокси и событие в системе ротации IP. Без корреляции вы будете сопоставлять записи по времени с точностью до секунды, а при десятках тысяч запросов в секунду это безнадёжно.

Второй по важности идентификатор — идентификатор сессии. Для мобильных прокси сессия — это период, в течение которого запросы конкретного аккаунта идут через один и тот же IP. Именно сессия связывает access log с журналом ротации. Если аккаунт получил блокировку, вы смотрите его сессии, видите, что за час сменилось три IP из разных регионов, и понимаете причину.

Категории чувствительных данных в прокси-трафике

Разберём, что именно проходит через прокси-слой и представляет риск при попадании в логи:

  • Авторизационные данные: заголовки Authorization, Proxy-Authorization, Cookie, Set-Cookie, X-API-Key и аналоги. Токен в логе равен токену в открытом доступе для любого, кто имеет доступ к логам, — а это обычно куда более широкий круг людей, чем круг имеющих доступ к секретам.
  • Персональные данные в URL: адреса электронной почты в параметрах поиска, телефоны, идентификаторы пользователей внешних платформ, имена в путях. Здесь вступают в силу требования законодательства о персональных данных, и логи становятся хранилищем, подлежащим учёту.
  • Учётные данные самого прокси: логин и пароль для аутентификации на прокси, которые клиент передаёт в заголовке. Классический сценарий утечки — прокси пишет полную строку подключения вида user:pass@host в error log при неудачном соединении.
  • Тела запросов и ответов: формы авторизации, платёжные данные, содержимое личных сообщений. В нормальной конфигурации прокси-слой не должен их видеть вообще, но при отладке соблазн включить дамп велик.
  • Косвенные идентификаторы: комбинация User-Agent, IP клиента и точного времени позволяет деанонимизировать человека даже без явных персональных данных. Регуляторы во многих юрисдикциях относят такие комбинации к персональным данным.

Юридическое измерение

Здесь нужна аккуратность. Если через ваш прокси-слой проходят данные пользователей — клиентов вашего сервиса, подписчиков, покупателей, — логи, содержащие их идентификаторы, становятся обработкой персональных данных со всеми вытекающими обязанностями: определённая цель, ограниченный срок, защита при хранении, локализация. Логи — это не «технический мусор», как их часто воспринимают. Это база данных, просто с необычной структурой. Инженерное решение здесь простое: минимизировать персональные данные в логах до уровня, при котором они перестают быть персональными, — через хэширование и токенизацию, о которых ниже. Тогда юридическая нагрузка на логи снижается радикально.

Экономика записи

Ещё одно измерение — деньги. Возьмём условный шлюз на десять миллионов запросов в сутки. Запись в компактном JSON без лишних полей весит около трёхсот байт. Итого три гигабайта в день, около девяноста в месяц. Добавьте полный URL со всеми параметрами и все заголовки запроса — запись раздувается до полутора-двух килобайт. Это уже двадцать гигабайт в день и шестьсот в месяц. Если эти данные лежат в горячем поисковом индексе с репликацией, разница в стоимости составит порядок. Каждое поле в схеме лога — это финансовое решение, принимаемое на годы вперёд.

Метод 1: проектирование схемы записи — что писать обязательно

Принцип минимальной достаточности

Схему лога проектируют не от вопроса «что мы можем записать», а от вопроса «на какие вопросы мы должны уметь отвечать». Составьте список сценариев расследования и проверьте, что каждый из них закрывается имеющимися полями. Типичные сценарии для прокси-слоя: разбор блокировки аккаунта, поиск причины роста ошибок, биллинг по клиентам, проверка соблюдения лимитов, расследование инцидента безопасности, доказательство, что конкретный запрос через нас не проходил.

Обязательные поля access log

Ниже — ядро схемы, которое мы рекомендуем как минимум для любого прокси-слоя. Каждое поле снабжено пояснением, зачем оно нужно:

  • ts — временная метка в UTC с миллисекундами, формат ISO 8601. Никаких локальных зон: при распределённом пуле узлы стоят в разных регионах, и локальное время сделает корреляцию невозможной.
  • req_id — идентификатор корреляции, полученный от клиента или сгенерированный прокси, если клиент его не передал.
  • client_id — внутренний идентификатор клиента или сервиса, прошедшего аутентификацию на прокси. Не логин и не пароль, а именно внутренний ключ.
  • profile_id — идентификатор аккаунта или профиля, от имени которого идёт запрос, если ваша система оперирует такими сущностями. Именно это поле связывает лог с бизнес-логикой мультиаккаунтинга.
  • session_id — идентификатор прокси-сессии, связывающий запрос с конкретным периодом привязки к IP.
  • upstream_id — идентификатор выходного узла в пуле. Не сам IP, а его внутренний код: IP может повторно использоваться, код — нет.
  • upstream_ip_hash — хэш выходного IP с солью. Позволяет группировать запросы по адресу, не храня сам адрес в открытом виде на длительный срок.
  • carrier и region — оператор и регион выходного узла для мобильных прокси. Критично для анализа поведения платформ по отношению к разным операторам.
  • method — HTTP-метод.
  • host — целевой домен. Именно домен, не полный URL.
  • path_template — путь с заменёнными переменными частями, например /users/{id}/posts. Сохраняет аналитическую ценность без утечки идентификаторов.
  • status — код ответа от целевого сервера.
  • proxy_status — внутренний статус обработки: успех, таймаут к вышестоящему узлу, отклонено правилом, исчерпан пул. Отделяет ошибки целевого сервера от ошибок самого прокси.
  • duration_ms — общее время обработки; полезно также разбить на время соединения, время до первого байта и время передачи.
  • bytes_in и bytes_out — объём переданных данных. Основа биллинга и поиска аномалий.
  • retry — номер попытки, если прокси делает повторы.
  • tls — версия TLS и признак успешного рукопожатия.
  • ua_class — не сам User-Agent, а его класс: мобильный браузер, десктоп, приложение. Полный User-Agent при необходимости хранится в отдельном справочнике под коротким кодом.

Пример записи

Так выглядит запись, построенная по этой схеме:

{"ts":"2026-03-14T08:21:37.412Z","req_id":"01HRX7K9M2P4Q","client_id":"c_0412","profile_id":"p_88213","session_id":"s_7f3a91","upstream_id":"n_msk_017","upstream_ip_hash":"a91f...c2","carrier":"op_a","region":"ru-mow","method":"GET","host":"example-platform.com","path_template":"/api/v2/feed/{id}","status":200,"proxy_status":"ok","duration_ms":842,"ttfb_ms":611,"bytes_in":1204,"bytes_out":48211,"retry":0,"tls":"1.3","ua_class":"mobile_android"}

Триста с небольшим байт. Ни одного секрета, ни одного персонального идентификатора внешних пользователей, но полная картина события. По этой записи можно ответить на все шесть сценариев расследования из списка выше.

Обязательные поля журнала ротации

Для мобильных прокси журнал ротации не менее важен, чем access log. Минимальная схема: временная метка, session_id, upstream_id, причина ротации (по расписанию, по запросу клиента, по ошибке, по достижению лимита запросов), хэш старого и нового IP, оператор, длительность предыдущей сессии, количество запросов в предыдущей сессии. Именно по этому журналу вы поймёте, что аккаунт получил проверку не из-за содержимого действий, а потому что за десять минут IP сменился четыре раза.

Пошаговая инструкция по внедрению схемы

  1. Выпишите сценарии расследования, актуальные для вашей команды. Не меньше пяти.
  2. Для каждого сценария определите минимальный набор полей, по которым его можно закрыть.
  3. Объедините наборы, удалите дубликаты. Это черновик схемы.
  4. Пройдите по каждому полю с вопросом: содержит ли оно секрет, персональные данные или косвенный идентификатор? Если да — замените на хэш, класс или шаблон.
  5. Зафиксируйте схему в виде документа с версией. Каждая запись должна содержать поле schema_version.
  6. Реализуйте валидацию: запись, не соответствующая схеме, должна отклоняться на этапе сборки лога, а не обнаруживаться через полгода.
  7. Прогоните тестовую нагрузку и измерьте средний размер записи. Умножьте на суточный объём и сравните с бюджетом хранения.

Метод 2: отсечение чувствительных данных — что не писать никогда

Чёрный список полей

Начнём с безусловных запретов. Эти данные не должны попадать ни в один поток логов прокси-слоя ни на каком уровне, включая DEBUG:

  • Значения заголовков Authorization, Proxy-Authorization, Cookie, Set-Cookie, любых заголовков с подстроками key, token, secret, session в имени.
  • Учётные данные подключения к прокси в любом виде, включая строки формата user:pass@host.
  • Тела запросов и ответов. Полностью. Если для отладки нужно посмотреть тело, это делается на стороне приложения, во временном хранилище, с автоматическим удалением.
  • Полный query string с параметрами. Параметры регулярно содержат почту, телефоны, токены одноразовых ссылок.
  • Полный User-Agent в сочетании с IP клиента — это отпечаток, позволяющий идентифицировать человека.
  • Открытые IP-адреса конечных пользователей вашего сервиса, если прокси-слой обслуживает не только внутренние процессы.

Четыре техники обезличивания

Запретить — просто. Сложнее сохранить аналитическую ценность. Вот инструментарий, который позволяет это сделать:

Редактирование (redaction)

Полная замена значения на маркер вроде [REDACTED]. Применяется к тому, что не имеет аналитической ценности: авторизационным заголовкам, паролям. Важный нюанс — редактировать нужно на этапе формирования записи, внутри процесса прокси, а не постобработкой файлов. Постобработка означает, что секрет уже лёг на диск и попал в буферы, бэкапы, репликации.

Маскирование (masking)

Частичное сокрытие с сохранением формы. Электронная почта i***@d*****.ru, телефон +7 9** *** 12 34. Позволяет оператору поддержки узнать данные при сравнении, но не восстановить их из лога. Применяется там, где нужна визуальная проверка человеком, и, честно говоря, в прокси-слое это редкость. Чаще маскирование — компромисс, когда команда не готова к хэшированию.

Хэширование с солью

Значение заменяется на результат криптографической хэш-функции с секретной солью. Одинаковые значения дают одинаковые хэши, поэтому группировка и подсчёт уникальных сохраняются, а восстановление исходного значения без соли невозможно. Это основной инструмент для IP-адресов, идентификаторов пользователей внешних платформ, полных User-Agent. Ключевое требование: соль хранится отдельно от логов, в менеджере секретов, и периодически ротируется. При ротации соли теряется возможность сопоставить старые и новые хэши — это осознанная плата за безопасность, и период ротации соли обычно совпадает с сроком хранения детальных логов.

Токенизация

Значение заменяется на случайный токен, а соответствие токен-значение хранится в отдельном защищённом хранилище с жёстким контролем доступа. В отличие от хэширования, обратимо — но только для тех, у кого есть доступ к таблице соответствий. Применяется, когда расследование инцидента может потребовать восстановления исходного значения по решению офицера безопасности. Например, полный URL запроса при подозрении на злоупотребление. Таблица соответствий живёт по своему, короткому сроку хранения.

Шаблонизация путей

Отдельно остановимся на путях URL. Путь /users/88213/messages/4471 содержит два идентификатора. Записать его целиком — сохранить косвенные персональные данные. Записать только домен — потерять аналитику по эндпоинтам. Решение: шаблонизация. Числовые сегменты, UUID, длинные хэшеподобные строки заменяются на плейсхолдеры: /users/{id}/messages/{id}. Аналитика по типам запросов сохраняется полностью, идентификаторы исчезают. Реализуется набором правил замены, применяемых на этапе формирования записи.

Где именно происходит отсечение

Правильная архитектура предполагает три линии обороны:

  1. В процессе прокси: формирователь лога знает схему и просто не берёт запрещённые поля. Это основная линия.
  2. В агенте сбора: правила фильтрации, которые ищут паттерны секретов (строки вида Bearer с последующей длинной последовательностью, JWT-подобные конструкции, номера карт по формуле Луна) и заменяют их на маркеры. Это страховка от ошибок разработчика, добавившего новое поле.
  3. В хранилище: периодический сканер, который ищет в уже сохранённых данных паттерны секретов и поднимает тревогу. Это детектор, а не фильтр: если он что-то нашёл, значит первые две линии пробиты и нужно разбираться.

Чек-лист отсечения чувствительных данных

  • Авторизационные и cookie-заголовки редактируются внутри процесса, не постобработкой.
  • Учётные данные прокси никогда не попадают в error log, включая сообщения об ошибках соединения.
  • Тела запросов и ответов не логируются ни на одном уровне.
  • Query string отброшен или шаблонизирован.
  • IP-адреса хэшируются с солью; соль хранится отдельно и ротируется.
  • Пути URL шаблонизируются по правилам.
  • User-Agent заменён на класс или код справочника.
  • Агент сбора имеет правила поиска паттернов секретов.
  • Хранилище периодически сканируется на наличие секретов.
  • DEBUG-режим включается по конкретному client_id, на ограниченное время, с автоматическим отключением.

Метод 3: ротация и ярусное хранение

Зачем нужна ротация

Ротация логов — это регулярное закрытие текущего файла и начало нового, с последующим сжатием, перемещением или удалением старых. Без ротации файл растёт неограниченно, его невозможно ни прочитать, ни сжать, ни удалить выборочно, а переполненный диск роняет сам прокси-процесс. Звучит банально, но по нашему опыту не менее трети инцидентов с недоступностью самописных прокси-шлюзов связаны именно с переполнением диска логами.

Критерии ротации

Файл закрывается по одному из условий, наступившему первым:

  • По размеру — обычно от ста мегабайт до одного гигабайта. Меньше — слишком много файлов, больше — долго сжимать и неудобно передавать.
  • По времени — час для высоконагруженных шлюзов, сутки для небольших. Временная ротация делает имена файлов предсказуемыми и упрощает поиск.
  • По событию — перезапуск процесса, смена версии схемы. Файл не должен содержать записи двух разных схем.

Практика: ротировать по времени с ограничением по размеру. Например, каждый час, но не более пятисот мегабайт на файл. Имя файла включает узел, поток и временную метку начала: access-gw-msk-01-2026031408.jsonl.

Механика без потерь

Критическая деталь, которую часто упускают: ротация не должна приводить к потере записей. Классическая ошибка — переименовать файл и создать новый, пока процесс продолжает писать в старый дескриптор. Правильные подходы: процесс сам открывает новый файл при наступлении условия (встроенная ротация); либо внешний ротатор отправляет процессу сигнал переоткрыть файл после переименования; либо, что предпочтительнее в современных архитектурах, процесс пишет в стандартный вывод, а агент сбора подхватывает поток и сам управляет файлами. Третий вариант снимает с прокси-процесса всю ответственность за диск.

Сжатие

Структурированные JSON-логи сжимаются превосходно — типичный коэффициент от восьми до пятнадцати благодаря повторяющимся именам полей и ограниченному набору значений. Это означает, что гигабайт сырых логов превращается в семьдесят-сто мегабайт архива. Выбор алгоритма: для файлов, которые будут часто читаться, — быстрые алгоритмы с умеренной степенью сжатия; для архива — максимальное сжатие. Сжимайте не сразу после закрытия файла, а с отступом в один-два периода ротации: свежие файлы часто нужны для оперативного разбора.

Ярусная модель хранения

Здесь мы подходим к центральной идее экономичного хранения. Не все логи одинаково востребованы. Обращения к записям распределены крайне неравномерно: подавляющее большинство запросов к логам касается последних суток, заметная доля — последней недели, и лишь единичные обращения — данных старше месяца. Хранить всё в одинаково дорогом и быстром хранилище — расточительство. Отсюда ярусная модель:

Горячий ярус

Последние сутки — трое суток. Полноценный поисковый индекс, все поля индексированы, ответ на запрос за секунды. Самый дорогой ярус в пересчёте на гигабайт. Здесь живут оперативные расследования, отладка, разбор свежих инцидентов.

Тёплый ярус

От трёх до тридцати дней. Данные в сжатом колоночном формате в объектном хранилище, поиск через движок, который читает файлы напрямую. Ответ на запрос — десятки секунд, зато стоимость хранения на порядок ниже. Здесь — недельные отчёты, разбор жалоб клиентов, анализ трендов блокировок.

Холодный ярус

От тридцати дней до конца срока хранения. Сжатые архивы в самом дешёвом классе объектного хранилища, возможно, с задержкой доступа. Поиск — только по точному времени и узлу, дальше распаковка и ручной разбор. Здесь — юридические запросы, аудит, расследования давних инцидентов.

Агрегаты

Отдельный ярус, о котором забывают. Перед удалением детальных записей из них вычисляются агрегаты: количество запросов, распределение кодов ответов, средняя длительность — по клиенту, узлу, домену, часу. Агрегаты занимают доли процента от объёма детальных логов и хранятся годами. Именно они позволяют ответить на вопрос «а как было год назад», не храня год детальных записей.

Пошаговая настройка ротации и ярусов

  1. Определите поток вывода прокси-процесса: стандартный вывод в агент сбора предпочтительнее прямой записи в файл.
  2. Настройте ротацию по времени (час или сутки) с ограничением по размеру.
  3. Задайте сжатие с отступом в один-два периода после закрытия файла.
  4. Разделите потоки: access, error, audit, rotation — в разные файлы или разные индексы.
  5. Настройте перемещение в тёплый ярус по возрасту файла, с конверсией в колоночный формат.
  6. Настройте перемещение в холодный ярус и удаление по достижении срока хранения.
  7. Реализуйте ежесуточный расчёт агрегатов из горячего яруса и запись их в отдельное долгоживущее хранилище.
  8. Поставьте алерт на свободное место на диске узла и на задержку отправки в агент сбора: если логи не уходят, они копятся локально.
  9. Раз в квартал проверяйте, что удаление действительно происходит: посчитайте самый старый файл в каждом ярусе.

Метод 4: политика сроков хранения

Три силы, определяющие срок

Срок хранения логов — компромисс между тремя силами, которые тянут в разные стороны. Инженеры хотят хранить дольше: никогда не знаешь, когда понадобится разобрать давний инцидент. Финансы хотят хранить меньше: каждый гигабайт стоит денег. Безопасность и юристы — самая интересная сторона: они одновременно требуют хранить достаточно долго для расследований и достаточно коротко, чтобы не накапливать данные, за утечку которых придётся отвечать. Каждая запись с персональными данными, которую вы храните дольше необходимого, — это обязательство, а не актив.

Принцип: срок зависит от чувствительности и востребованности

Разные потоки и разные поля живут разное время. Это ключевая мысль раздела. Не существует единого «срока хранения логов» — есть матрица сроков:

  • Access log детальный: от четырнадцати до девяноста дней. Востребованность падает экспоненциально, чувствительность средняя даже после обезличивания.
  • Error log: от тридцати до ста восьмидесяти дней. Объём мал, ценность для анализа повторяющихся проблем высока.
  • Audit log: от одного до трёх лет. Кто менял конфигурацию и выдавал доступы — это данные, которые требуются при расследованиях спустя долгое время. Объём ничтожен.
  • Rotation log: столько же, сколько access log, — они бессмысленны друг без друга.
  • Таблица токенизации: короче, чем сами логи, — от семи до тридцати дней. По истечении токены в логах становятся необратимыми.
  • Агрегаты: от двух до пяти лет. Не содержат персональных данных, занимают мало места, ценны для долгосрочной аналитики.

Как рассчитать срок для своей ситуации

Предлагаем рабочий фреймворк из пяти вопросов:

  1. Какой самый длинный реалистичный сценарий расследования? Клиент жалуется на блокировку аккаунта, произошедшую три недели назад, — значит, детальные логи нужны минимум двадцать один день плюс запас.
  2. Есть ли внешние обязательства? Договоры с клиентами могут требовать хранить журналы доступа определённый срок для разбора спорных ситуаций по биллингу. Требования регуляторов к операторам определённых категорий данных также могут устанавливать минимумы.
  3. Какие данные в логах остаются чувствительными после обезличивания? Если применено хэширование с ротацией соли, чувствительность после ротации падает почти до нуля, и хранение можно продлить.
  4. Сколько стоит хранение на каждом ярусе? Посчитайте стоимость месяца горячего, тёплого и холодного хранения при вашем объёме. Часто выясняется, что холодное хранение года логов стоит меньше, чем неделя горячего.
  5. Что теряется при удалении? Если агрегаты покрывают долгосрочную аналитику, детальные записи можно удалять смело.

Юридическая приостановка удаления

Обязательный элемент политики — механизм приостановки удаления (legal hold). Если начато расследование инцидента или получен официальный запрос, автоматическое удаление затронутого периода должно быть заморожено до завершения разбирательства. Технически это флаг на файле или префиксе в объектном хранилище, который проверяет процесс удаления. Организационно — регламент, кто имеет право ставить и снимать этот флаг. Без такого механизма вы окажетесь в положении, когда нужные данные удалены по расписанию ровно в день, когда они понадобились.

Документирование политики

Политика хранения — это документ, а не настройка в конфигурационном файле. Минимальное содержание: перечень потоков логов и полей; для каждого — цель сбора, срок хранения на каждом ярусе, метод обезличивания; ответственные за политику и за её исполнение; процедура приостановки удаления; процедура проверки, что удаление происходит; периодичность пересмотра — обычно раз в год или при изменении схемы. Этот документ — первое, что попросит аудитор, и первое, что защитит вас при инциденте: он показывает, что данные обрабатывались осмысленно.

Шаблон матрицы хранения

Заполните для своего случая таблицу со столбцами: поток, поля с чувствительностью, метод обезличивания, горячий ярус (дней), тёплый ярус (дней), холодный ярус (дней), агрегаты (месяцев), основание срока, ответственный. Одна строка на поток. Готовая матрица помещается на одну страницу и снимает девяносто процентов споров между командами.

Типичные ошибки: что не нужно делать

Логировать всё «на всякий случай»

Самая распространённая и самая дорогая ошибка. Аргумент «лучше иметь и не использовать» не работает с логами: неиспользуемые данные стоят денег, создают риск утечки и превращают хранилище в место, где нужное невозможно найти среди ненужного. Каждое поле должно отвечать на конкретный вопрос из списка сценариев.

Включать DEBUG в продакшене и забывать выключить

DEBUG-режим прокси почти всегда означает дамп заголовков. Включённый в пятницу вечером для разбора одной проблемы, он к понедельнику наполняет диск авторизационными токенами всех клиентов. Правило: DEBUG включается по фильтру и с таймером автоматического отключения.

Писать секреты в сообщения об ошибках

Разработчик формирует сообщение об ошибке соединения и вставляет в него строку подключения целиком — с логином и паролем. Error log при этом хранится дольше access log и просматривается большим числом людей. Проверьте все места формирования сообщений об ошибках на наличие интерполяции учётных данных.

Смешивать потоки в один файл

Access, error и audit в одном файле означают, что audit-записи, которые должны жить три года, удаляются вместе с access-записями через месяц, а access-записи, которые должны сжиматься, лежат вперемешку с редкими error-записями, которые нужно читать глазами.

Хранить время в локальной зоне

Узлы пула в разных регионах, переход на летнее время в некоторых юрисдикциях, сравнение с логами внешних систем — всё это ломается о локальное время. Только UTC, только ISO 8601.

Обезличивать постобработкой

Скрипт, который ночью проходит по файлам и вырезает токены, — это признание, что токены весь день лежали на диске в открытом виде, а также попали в буферы агента сбора, в реплики и, возможно, в бэкапы. Обезличивание — на этапе формирования записи.

Не проверять, что удаление работает

Политика написана, срок установлен, автоматизация настроена — и через два года выясняется, что из-за смены прав на бакет удаление молча падало с ошибкой, а хранилище содержит всю историю. Проверка самого старого файла в каждом ярусе — ежеквартальный ритуал.

Хранить соль хэширования рядом с логами

Соль в конфигурационном файле прокси, лежащем в том же репозитории или на том же диске, — это отсутствие соли. Хэшированные IP при этом восстанавливаются перебором за минуты. Соль — в менеджере секретов, с ограниченным доступом и ротацией.

Логировать полный URL

Query string — концентрат чувствительных данных: почта в параметрах поиска, токены одноразовых ссылок, идентификаторы пользователей. Домен плюс шаблонизированный путь — достаточно для любой транспортной аналитики.

Инструменты и ресурсы

Прокси-серверы и их возможности логирования

Большинство зрелых прокси-серверов и обратных прокси поддерживают настраиваемый формат access log, включая вывод в JSON, и позволяют исключать или переопределять поля через конфигурацию. При выборе обращайте внимание на три вещи: возможность вывода структурированного лога без промежуточного текстового формата; возможность добавить в запись заголовок корреляции от клиента; возможность полностью запретить логирование конкретных заголовков на уровне конфигурации, а не кода. Если прокси-слой самописный, что для систем управления мобильными прокси не редкость, используйте библиотеку структурированного логирования вашего языка с поддержкой процессоров записей — именно в процессоре реализуются редактирование и хэширование.

Агенты сбора

Агент сбора — процесс на узле, который читает вывод прокси, применяет фильтры и отправляет записи в хранилище. Ключевые критерии выбора: поддержка правил замены по регулярным выражениям для второй линии обороны; буферизация на диск при недоступности хранилища, чтобы не терять записи; низкое потребление ресурсов, поскольку агент живёт рядом с прокси-процессом на том же узле; поддержка маршрутизации разных потоков в разные назначения.

Хранилища и поисковые движки

Для горячего яруса подходят поисковые индексы с полнотекстовым поиском по полям или колоночные аналитические базы, которые в последние годы вытесняют классические индексы благодаря лучшему сжатию и скорости агрегаций. Для тёплого и холодного ярусов — объектное хранилище с колоночным форматом файлов и движком запросов, читающим их напрямую. Выбирайте объектное хранилище с политиками жизненного цикла: автоматический перевод между классами хранения и удаление по возрасту реализуются настройкой, без собственного кода.

Инструменты обезличивания

Отдельный класс инструментов — сканеры секретов, изначально созданные для поиска ключей в репозиториях кода. Их движки паттернов применимы и к логам: они находят токены, ключи облачных провайдеров, JWT-подобные строки. Настроенный на периодический прогон по хранилищу, такой сканер становится третьей линией обороны. Для шаблонизации путей и хэширования специализированных инструментов нет — это несколько десятков строк в процессоре лога.

Управление секретами

Соль для хэширования и таблица токенизации должны жить в менеджере секретов с журналированием доступа. Это может быть как решение облачного провайдера, так и самостоятельно развёрнутое хранилище секретов. Критерий — возможность выдать прокси-процессу доступ к соли без доступа человека к её значению.

Что почитать и на что ориентироваться

Ориентирами служат отраслевые руководства по безопасному логированию от сообществ прикладной безопасности, где приведены исчерпывающие списки данных, запрещённых к записи в логи; документация регуляторов по минимизации персональных данных; рекомендации по ярусному хранению от облачных провайдеров, где приведены расчёты стоимости. Отдельно полезны материалы по спецификациям распределённой трассировки — именно оттуда стоит брать формат идентификаторов корреляции.

Кейсы и результаты

Кейс 1: команда автоматизации маркетинга, сокращение объёма логов в шесть раз

Исходная ситуация: шлюз для работы с рекламными кабинетами через пул мобильных прокси, около четырёх миллионов запросов в сутки. Логи писались в текстовом формате с полным URL, всеми заголовками запроса и первыми килобайтом тела ответа «для отладки». Средняя запись — около двух килобайт, суточный объём — восемь гигабайт, всё в горячем поисковом индексе с хранением девяносто дней. Стоимость индекса — заметная строка в бюджете инфраструктуры.

Что сделали: переход на JSON-схему из двадцати полей, описанную выше. Отброшены заголовки, тело, query string. Пути шаблонизированы. Введены ярусы: трое суток горячий, тридцать тёплый, девяносто холодный. Внедрены агрегаты по часам с хранением три года.

Результат: средняя запись — триста двадцать байт, суточный объём — 1,3 гигабайта, после сжатия в тёплом ярусе — около ста мегабайт в сутки. Стоимость хранения снизилась приблизительно на восемьдесят пять процентов. Неожиданный побочный эффект: скорость разбора инцидентов выросла, потому что аналитики перестали тонуть в заголовках и сразу видели ключевые поля. А через два месяца сканер секретов, поставленный третьей линией, нашёл в старых архивах более двенадцати тысяч действующих токенов рекламных кабинетов — они были отозваны и перевыпущены.

Кейс 2: сервис парсинга маркетплейсов, расследование блокировок через журнал ротации

Ситуация: команда парсит публичные карточки товаров через мобильные прокси и сталкивается с волной блокировок части сессий. Метрики показывают рост ошибок, но не причину. Access log существует, журнал ротации — нет.

Что сделали: добавили журнал ротации с причиной смены IP и длительностью сессии, связали его с access log через session_id. Уже через два дня данных стало видно: заблокированные сессии в подавляющем большинстве имели длительность менее трёх минут — ротация срабатывала по агрессивному таймеру, и целевая площадка видела один и тот же профиль с трёх разных IP за короткий интервал. Сессии длительностью более двадцати минут блокировались втрое реже.

Результат: после перенастройки ротации доля заблокированных сессий снизилась с одиннадцати до менее чем трёх процентов. Стоимость: примерно сорок байт на запись ротации, десять тысяч записей в сутки — объём, который даже не заметен на фоне access log. Вывод, который мы считаем важным: для мобильных прокси журнал ротации — не опция, а обязательный поток.

Кейс 3: платформа с внешними клиентами, приведение логов к требованиям по персональным данным

Ситуация: сервис предоставляет клиентам прокси-доступ, через который проходят запросы конечных пользователей клиентов. В логах — IP конечных пользователей, полные User-Agent, полные URL. Юридический аудит квалифицирует логи как базу персональных данных со сроком хранения год.

Что сделали: IP заменены на хэши с солью, ротируемой каждые тридцать дней; User-Agent — на код справочника; URL — на домен и шаблон пути. Составлена матрица хранения с обоснованием сроков. Введён механизм приостановки удаления. Детальные логи ограничены сорока пятью днями, агрегаты — тремя годами.

Результат: после ротации соли логи старше тридцати дней перестали содержать данные, позволяющие идентифицировать пользователя даже косвенно, и были выведены из-под учёта как база персональных данных. Объём обязательств по защите сократился, а способность разбирать инциденты за последний месяц сохранилась полностью. Аудит принял матрицу хранения как достаточное подтверждение осмысленной обработки.

Кейс 4: инцидент с переполнением диска

Коротко, но показательно. Самописный прокси-менеджер писал логи в файл без ротации. За четыре месяца файл вырос до сорока гигабайт, диск узла заполнился, процесс упал при попытке записи, пул из двадцати модемов встал на три часа ночью. После инцидента: вывод в стандартный поток, агент сбора с буфером, ротация по часу, алерт на свободное место. Повторений не было. Стоимость решения — один рабочий день.

FAQ: сложные вопросы о логах прокси-слоя

Нужно ли логировать успешные запросы или достаточно ошибок?

Нужно. Успешные запросы — это база для биллинга, для расчёта долей ошибок (без знаменателя доля бессмысленна), для анализа поведения платформ по отношению к разным операторам и для доказательства, что конкретный запрос через вас не проходил. Экономить нужно на размере записи, а не на их количестве. Если объём всё же неприемлем, применяйте выборку: логируйте все ошибки и каждый десятый успешный запрос с флагом выборки, чтобы при агрегации умножать на коэффициент.

Как расследовать инцидент, если IP хэширован и соль уже ротирована?

Это осознанная граница. После ротации соли данные становятся необратимыми — в этом их защитная ценность. Расследования, требующие восстановления IP, должны укладываться в период действия соли, обычно совпадающий с сроком детального хранения. Если сценарии расследования регулярно выходят за этот период, увеличьте период ротации соли, но осознавайте, что тем самым продлеваете срок, в течение которого логи остаются чувствительными. Для действительно долгих расследований используйте механизм приостановки удаления и соли одновременно.

Чем логи прокси-слоя отличаются от трассировки?

Трассировка описывает путь одного запроса через несколько сервисов с вложенными интервалами времени. Лог описывает событие в одном компоненте. Они дополняют друг друга через общий идентификатор корреляции: по трассе вы видите, что запрос провёл восемьсот миллисекунд в прокси-слое, по логу — почему именно: пятьсот на соединение с вышестоящим узлом, двести на TLS, сто на передачу. Не пытайтесь заменить одно другим.

Стоит ли шифровать логи при хранении?

Да, на всех ярусах. Даже обезличенные логи содержат бизнес-информацию: какие домены вы запрашиваете, с какой интенсивностью, через каких операторов. Шифрование на стороне хранилища — стандартная настройка объектных хранилищ, включается флагом. Дополнительно ограничьте доступ к горячему ярусу по ролям: аналитики видят агрегаты и обезличенные поля, офицеры безопасности — всё.

Как быть с логами при работе в нескольких регионах?

Записывайте время в UTC, а регион узла — отдельным полем. Хранение при этом может быть централизованным или региональным в зависимости от требований к локализации данных: если через прокси проходят данные пользователей из определённой юрисдикции, логи с их обезличенными идентификаторами могут подпадать под требование хранения в этой юрисдикции. Уточняйте у юристов до проектирования, а не после.

Можно ли использовать логи прокси для биллинга клиентов?

Можно и нужно, но с двумя оговорками. Первая: биллинг строится на агрегатах, а не на детальных записях, — суммы по client_id за период. Агрегаты живут дольше и не содержат чувствительного. Вторая: если лог является основанием для расчётов с клиентами, к нему предъявляются требования неизменяемости — записи не редактируются постфактум, файлы снабжаются контрольными суммами, доступ на запись есть только у процесса сбора.

Как убедиться, что новое поле, добавленное разработчиком, не содержит секрет?

Процессно: любое изменение схемы лога проходит ревью с обязательным вопросом о чувствительности каждого нового поля, и версия схемы инкрементируется. Технически: вторая линия обороны в агенте сбора ловит паттерны секретов независимо от имени поля, третья — сканер хранилища — сигнализирует, если что-то просочилось. Дополнительно полезен тест, который прогоняет через формирователь лога запрос с заведомо известным фейковым токеном и проверяет, что токен не появился в выводе.

Что делать с логами при выводе узла из пула?

Логи узла остаются в хранилище до конца срока хранения — они описывают события, которые произошли, и их удаление вместе с узлом нарушает целостность истории. Локальные буферы на узле должны быть отправлены в хранилище перед его отключением, для чего в процедуру вывода включается ожидание опустошения буфера агента сбора. Идентификатор узла не переиспользуется для новых узлов, иначе записи двух разных устройств перемешаются.

Как оценить, что политика хранения адекватна?

Раз в квартал проведите три проверки. Первая: возьмите пять последних инцидентов и убедитесь, что для каждого нужные данные были доступны в нужном ярусе. Вторая: посчитайте, сколько запросов к логам за квартал пришлось на данные старше тридцати дней; если ноль — холодный ярус можно сократить. Третья: убедитесь, что самый старый файл каждого яруса не старше установленного срока. Если все три проверки проходят, политика адекватна.

Заключение: логи как проектируемая система, а не побочный продукт

Давайте соберём главное. Логи прокси-слоя — это не то, что «само пишется», а спроектированная система с собственной схемой, собственными границами и собственным жизненным циклом. Она отвечает на вопросы «кто», «через что» и «что получилось», и принципиально не отвечает на вопрос «что передавалось» — это ответственность приложения.

Что писать: временную метку в UTC, идентификаторы корреляции, клиента, профиля и сессии, код узла, обезличенный IP, оператора и регион, метод, домен и шаблон пути, коды ответа и внутреннего статуса, длительности, объёмы, номер попытки. Для мобильных прокси — обязательный журнал ротации с причиной смены IP.

Что не писать: авторизационные заголовки и cookie, учётные данные прокси, тела запросов и ответов, полные URL с параметрами, полные User-Agent в связке с IP, открытые адреса конечных пользователей. Обезличивание — внутри процесса, с двумя дополнительными линиями обороны в агенте сбора и сканере хранилища.

Как хранить: раздельные потоки, ротация по времени с ограничением по размеру, сжатие, ярусы от горячего к холодному с агрегатами на выходе, матрица сроков по потокам, механизм приостановки удаления и регулярная проверка, что удаление происходит.

Следующие шаги, которые мы рекомендуем сделать на этой неделе. Первый: выгрузите сотню случайных записей из своего текущего лога и пройдите по ним чек-листом отсечения чувствительных данных — результат, скорее всего, вас удивит. Второй: посчитайте средний размер записи и умножьте на суточный объём и срок хранения; сравните с тем, что получилось бы при схеме из этого руководства. Третий: составьте матрицу хранения на одну страницу и покажите её безопасникам и юристам — это разговор, который лучше провести до инцидента, а не после.

Логи — это память вашей инфраструктуры. Хорошая память помнит важное, забывает лишнее и не хранит того, что может навредить. Спроектируйте её именно так.