Límite de ancho de banda y shaping en proxies: cómo medir el techo y escribir código bajo saturación
Contenido del artículo
- Introducción: por qué el ancho de banda en un proxy decide más de lo que parece
- Fundamentos: glosario de conceptos sin el cual no se avanza
- Inmersión profunda: qué pasa en el momento de la saturación
- Método 1: medición correcta del techo de ancho de banda
- Método 2: identificar el tipo de limitador y sus parámetros
- Método 3: escribimos un cliente que se comporte bien con el limitador
- Método 4: presupuesto de tráfico y arquitectura de la carga
- Errores típicos: lo que definitivamente no hay que hacer
- Herramientas y recursos
- Casos y resultados
- Faq: preguntas difíciles sobre ancho de banda y shaping
- Conclusión: de las conjeturas al ancho de banda gestionado
Introducción: por qué el ancho de banda en un proxy decide más de lo que parece
La mayoría de las conversaciones sobre proxies giran en torno al anonimato, la geolocalización y el «¿me banearán o no?». El ancho de banda, mientras tanto, queda en las sombras. Y sin embargo, es justamente lo que determina en cuántas horas terminará tu parser, cuántas cuentas aguanta un canal y por qué un script que funcionaba perfecto en el entorno de pruebas empezó a tirar timeouts cada diez minutos en producción.
Vamos a desarmar juntos un tema del que rara vez se escribe de forma sistemática: cómo está armado el límite de ancho de banda en un proxy, qué son el shaping y el policing, cómo se ve el techo del canal en cifras reales y, sobre todo, cómo se comporta tu código cliente cuando lo toca. No vamos a repasar metodologías generales de evaluación de calidad de proxies. Aquí hablamos solo del ancho de banda, de su límite y de lo que le pasa a la aplicación en el momento de la saturación.
¿Por qué es relevante justo ahora? Para 2026, el tamaño promedio de una página web con todos sus recursos superó los tres megabytes, las APIs devuelven respuestas JSON cada vez más pesadas y los canales móviles, sobre los que se montan los proxies móviles, comparten físicamente el recurso de radio de la celda con los abonados comunes. Al mismo tiempo, los operadores y los proveedores de proxies aplican con más frecuencia shaping a nivel de sesión para que un solo cliente no se «coma» el canal de los demás. El desarrollador que no entiende la mecánica del limitador está condenado a programar por prueba y error.
De esta guía vas a sacar: cómo distinguir un shaper de un policer por la forma del gráfico, cómo medir correctamente el techo de un flujo y del agregado, cómo estimar el tamaño del «balde» y la profundidad de la cola, por qué bajo saturación crece la latencia y cae la eficiencia, cómo escribir un cliente con backpressure y paralelismo adaptativo, y también cómo planificar el presupuesto de tráfico en lugar de la cantidad de peticiones. Al final te esperan checklists, herramientas, tres casos desglosados con cifras y un FAQ con las preguntas más capciosas.
Fundamentos: glosario de conceptos sin el cual no se avanza
Ancho de banda, capacidad y velocidad útil
Los términos se confunden a menudo, y la diferencia es fundamental. Ancho de banda (bandwidth) es el techo nominal del canal, cuántos bits por segundo es capaz de dejar pasar en condiciones ideales. Capacidad de transmisión (throughput) es cuántos bits pasaron realmente por unidad de tiempo, contando todos los gastos adicionales: cabeceras TCP e IP, retransmisiones, cifrado. Velocidad útil (goodput) son solo los bytes que llegaron a tu aplicación y fueron usados por ella. Si un archivo de 100 megabytes se descargó en 20 segundos, tu goodput es 5 megabytes por segundo, aunque el canal podría haber pasado entre 8 y 12 por ciento más solo por la información de servicio.
Para la práctica es importante recordar: los limitadores de un proxy casi siempre cuentan throughput a nivel de paquetes, y tú ves goodput. Entre ambos siempre habrá una brecha.
Techo del canal y niveles de limitación
El techo es la velocidad máxima que el limitador permite en un nivel de agregación dado. Los niveles suelen ser varios y se apilan como muñecas rusas:
- por conexión TCP: cada flujo individual no puede superar, digamos, 2 megabits por segundo, pero diez flujos darán veinte;
- por sesión o puerto del proxy: todas las conexiones a través de un mismo puerto comparten el límite común;
- por cuenta: la suma de todos los puertos del cliente;
- por nodo: el límite físico del módem, del servidor, del uplink;
- por canal del operador: lo que da la celda en un momento concreto, considerando la carga de la red de radio.
El techo real es el mínimo de todos los niveles. Y ese mínimo fluctúa a lo largo del día, porque el nivel inferior, el canal de radio, depende de cuántos abonados haya cerca del módem.
Token bucket: la mecánica de casi cualquier limitador
Imagina un balde al que le caen fichas a velocidad constante. Cada byte que pasa por el limitador retira una ficha. Si el balde está vacío, el byte o espera (shaping), o se descarta (policing). La velocidad a la que caen las fichas es el rate, la velocidad objetivo. El volumen del balde es el burst, el pico permitido. Mientras el balde está lleno, puedes enviar un lote de datos más rápido que el nominal. Después la velocidad se estabiliza al rate.
Este modelo explica muchísimo. ¿Por qué los primeros dos segundos de descarga van más rápido que el resto? Porque el balde estaba lleno. ¿Por qué las peticiones cortas casi nunca chocan con el límite? Porque entran dentro del volumen del balde. ¿Por qué una descarga larga de pronto «se desploma» justo a una cifra? El balde se vació, funciona el rate puro.
Shaper contra policer
El shaper pone en cola los paquetes sobrantes y los va soltando a la velocidad fijada. El tráfico se suaviza, hay pocas pérdidas, pero crece la latencia: el paquete espera su turno. El policer no mantiene cola, simplemente descarta todo lo que supera el límite. La latencia no crece, pero TCP ve pérdidas, reduce bruscamente la ventana, luego vuelve a acelerar, y el gráfico de velocidad se convierte en una sierra.
Analogía: el shaper es un semáforo con verde de duración regulable, todos pasan, pero más lento. El policer es una grúa que se lleva cada auto que exceda la norma. El flujo de autos, entonces, da tirones. Para tu código la diferencia es enorme, y a eso volveremos.
Particularidades de los canales móviles
Un proxy móvil está sobre un canal de operador celular. Aquí el techo lo fija no solo la configuración del servidor, sino también la física: la categoría del módem, la banda de frecuencias, el número de abonados en la celda, la calidad de la señal. Además, el propio operador aplica priorización de tráfico a nivel de clases de servicio. Resultado: el ancho de banda de un canal móvil es un orden de magnitud menos estable que el de un servidor, y cualquier metodología de medición debe tener en cuenta el factor temporal.
Inmersión profunda: qué pasa en el momento de la saturación
El momento de la verdad: la cola crece
Mientras tu tráfico está por debajo del techo, el limitador es prácticamente invisible. Los problemas empiezan cuando la suma de flujos supera el rate. En el shaper, la cola empieza a crecer. Cada paquete, antes de seguir viaje, espera en el búfer. Si el búfer es profundo, y esos búferes los suelen poner en equipos de red baratos y en limitadores de software con ajustes generosos, la latencia puede crecer de 60 milisegundos a un segundo y medio. Ese fenómeno se llama bufferbloat: un búfer inflado convierte un canal rápido en uno lento y pegajoso.
Para la aplicación se ve así: la velocidad de descarga parece normal, pero cada nueva petición arranca con una latencia brutal. Las llamadas ligeras a la API, que antes tardaban 100 milisegundos, ahora ocupan un segundo. Los timeouts configurados «con margen» empiezan a dispararse. Y lo más traicionero: no vas a ver pérdidas de paquetes, todo simplemente se pondrá lento.
Reacción de TCP: por qué importa el algoritmo de control de congestión
TCP intenta por su cuenta encontrar el techo del canal. El clásico algoritmo CUBIC acelera la ventana de transmisión hasta ver una pérdida, luego baja la velocidad y vuelve a acelerar. Con un policer, CUBIC funciona mal: las pérdidas son frecuentes y bruscas, y la velocidad promedio puede quedar 30–40 por ciento por debajo del techo. Con un shaper, CUBIC llena la cola hasta el tope, porque durante mucho tiempo no hay pérdidas, y es justamente él el principal culpable del bufferbloat.
El algoritmo BBR, cada vez más usado en servidores, se comporta distinto: estima la capacidad y el RTT mínimo e intenta no desbordar la cola. A través de un shaper, BBR da velocidad pareja y latencia moderada. Pero recuerda: el algoritmo del lado de tu cliente controla solo el flujo saliente. El flujo entrante, del proxy hacia ti, lo definen la configuración del servidor proxy y el sitio destino, y sobre ellos no influyes.
Un túnel, muchos flujos: head-of-line blocking
Cuando trabajas a través de un proxy HTTP con el método CONNECT o a través de SOCKS5, cada conexión TCP tuya al sitio destino se envuelve en una conexión aparte con el proxy. Si usas HTTP/2 hacia el sitio destino dentro de un mismo túnel, todas las peticiones se multiplexan en un solo flujo TCP. Bajo saturación, esto genera bloqueo de cabeza de cola: una respuesta pesada ocupa la ventana y las peticiones ligeras esperan detrás. A través de un limitador por conexión esto es especialmente doloroso: todo el multiplex comparte un solo límite.
Conclusión práctica que muchos sacan demasiado tarde: la paralelidad a través de un proxy hay que armarla sobre varias conexiones TCP, no sobre multiplexación dentro de una sola. Lo tendremos en cuenta en la sección de código.
Equidad entre flujos
¿Cómo reparte el limitador el ancho de banda entre tus diez conexiones? Si el límite es común y la cola una sola, se llevan más los flujos que tienen más datos en vuelo. Las peticiones chicas pierden sistemáticamente contra las grandes. Si el limitador tiene una cola justa, cada flujo recibe una porción más o menos igual. Saber cuál de los dos casos tienes delante solo se puede averiguar experimentalmente, y de eso depende si conviene separar descargas pesadas y llamadas ligeras a la API por conexiones distintas o incluso por puertos distintos.
Arranque lento y peticiones cortas
TCP empieza con una ventana pequeña y la duplica en cada RTT. A través de un canal móvil con RTT de unos 80 milisegundos, acelerar hasta, digamos, 20 megabits lleva varios cientos de milisegundos. Una petición de 50 kilobytes termina antes de que TCP alcance a acelerar. Por eso las peticiones cortas nunca chocan con el techo de ancho de banda, pero son extremadamente sensibles a la latencia. Esto divide tu tráfico en dos clases con reglas distintas: flujos pesados, donde importa el rate, y ligeros, donde importa el RTT. Una sola restricción ahoga a los primeros, y el bufferbloat de los primeros mata a los segundos.
Firmas en el gráfico
Si graficas la velocidad por segundos, los limitadores se delatan por su forma:
- meseta plana con salida suave y RTT creciente: shaper con cola profunda;
- meseta con joroba al inicio: shaper o policer con balde de burst notable;
- sierra con caídas de 30–50 por ciento, RTT estable, hay retransmisiones: policer;
- oscilaciones caóticas sin meseta clara: no chocaste con un limitador, sino con el canal de radio o un nodo congestionado.
Saber leer estas firmas ahorra horas de depuración. Ahora veamos cómo obtenerlas correctamente.
Método 1: medición correcta del techo de ancho de banda
Por qué hace falta una metodología y no una sola comprobación
Lanzar una descarga y mirar el número lo puede hacer cualquiera. El problema es que un solo número no dice nada: depende de la hora del día, de la fuente, de tu propio canal, de la fase de arranque lento. Necesitamos un protocolo reproducible cuyos resultados se puedan comparar entre canales y entre días.
Preparación de una fuente de referencia
Primera regla: para medir el ancho de banda hay que usar una fuente que de por sí sea más rápida que cualquier proxy. Si no, medirás la fuente, no el proxy. Lo ideal es un servidor propio en una ubicación con uplink garantizado de un gigabit, con archivos de prueba de 20, 100 y 500 megabytes generados con datos aleatorios. Los datos aleatorios importan: un archivo comprimible puede ser comprimido en algún punto del camino y obtendrás una cifra inflada.
Los archivos de prueba públicos de CDNs populares se pueden usar, pero con una advertencia: la CDN sirve desde el nodo más cercano al proxy, y en realidad estás midiendo el ancho de banda «proxy — CDN», no «proxy — sitio cualquiera». Para estimar el techo es aceptable; para estimar el goodput real hacia tus recursos objetivo, no.
Excluir tu propio cuello de botella
La máquina desde la que mides debe tener un canal al menos tres veces más ancho que el techo esperado del proxy. Compruébalo con una descarga directa del mismo archivo. Desactiva descargas en segundo plano, sincronización de nubes, actualizaciones. Si lanzas las mediciones desde un contenedor o una máquina virtual, asegúrate de que la red virtual no recorte el ancho de banda por su cuenta.
Protocolo de flujo único
- Lanzas la descarga de un archivo de 100 megabytes a través del proxy en una sola conexión, registrando la velocidad cada segundo. Con curl esto se hace con claves de progreso; es más cómodo escribir un script pequeño que lea el cuerpo en streaming y guarde los bytes por segundo.
- Descartas los primeros tres segundos: ahí están el arranque lento y el vaciado del balde.
- Cortas la medición a los 40–60 segundos o al terminar el archivo. Menos de 20 segundos no alcanza para ver el régimen establecido.
- Con los segundos restantes calculas la mediana, el percentil diez y el noventa, y el coeficiente de variación (desviación estándar dividida por la media).
- Repites tres veces con una pausa de un minuto.
La mediana es tu techo establecido de un flujo. La brecha entre el percentil diez y el noventa indica la estabilidad. Un coeficiente de variación por debajo de 0,15 es un canal parejo; por encima de 0,4 es un policer o una red de radio congestionada.
Protocolo del agregado
Ahora lo mismo, pero con 2, 4, 8 y 16 conexiones paralelas al mismo archivo o a varios. Sumas las velocidades por segundos. Obtienes la dependencia de la velocidad agregada respecto al número de flujos. Puede ser de tres tipos:
- crecimiento lineal hasta la meseta: límite por conexión, el techo del agregado es más alto; la meseta muestra el siguiente nivel de limitación;
- meseta desde el primer flujo: límite común por sesión, los flujos adicionales no aportan nada, solo aumentan la latencia;
- crecimiento y luego caída: con muchos flujos crecen las pérdidas y los gastos adicionales, el canal se degrada. El óptimo está donde se detuvo el crecimiento.
Un solo curl para orientarte rápido se ve así: curl -x http://user:pass@host:port -o /dev/null -w "%{speed_download} %{time_total}" https://your-server/100mb.bin. Da la velocidad promedio de todo el archivo, suficiente para una estimación inicial, pero para las firmas hace falta un registro por segundos.
Barrido temporal
Para un canal móvil es obligatorio medir en cuatro ventanas del día: noche, mañana, tarde, noche. El techo por la tarde en una zona residencial puede ser la mitad del nocturno. Si planeas una carga 24/7, tu código tendrá que vivir con el techo de la tarde, no con el de la noche.
Checklist de medición del techo
- Fuente de referencia garantizada más rápida que el proxy, archivos de datos aleatorios.
- Tu propio canal comprobado aparte y al menos tres veces más ancho.
- Registro de bytes por segundos, primeros tres segundos descartados.
- Duración del régimen establecido no menor a 20 segundos.
- Tres repeticiones, mediana y percentiles, coeficiente de variación.
- Serie por número de flujos: 1, 2, 4, 8, 16.
- Cuatro ventanas horarias del día para canales móviles.
- Resultados guardados en un formato único con hora, puerto y fuente.
Método 2: identificar el tipo de limitador y sus parámetros
Por qué saber qué tienes delante
Un mismo techo de 10 megabits exige código distinto según si es un shaper o un policer, si hay balde de ráfaga y de qué tamaño, y si la latencia crece bajo carga. Este método convierte el gráfico de velocidad en un conjunto de parámetros que después irán a la configuración de tu cliente.
Test de ráfaga: medimos el balde
- Dejas descansar el canal 30 segundos sin tráfico para que se llene el balde.
- Lanzas la descarga y registras la velocidad con resolución de 100–200 milisegundos los primeros cinco segundos.
- Encuentras el momento en que la velocidad cae al valor establecido del Método 1.
- Estimas el volumen del balde como los bytes totales transmitidos hasta ese momento menos lo que habría pasado en el mismo tiempo a la velocidad establecida.
Ejemplo: los primeros 1,5 segundos van a 40 megabits, luego exactamente a 10. El balde es aproximadamente 40 menos 10, multiplicado por 1,5 segundos, dividido por 8: unos 5,6 megabytes. Eso significa que las peticiones de hasta 5 megabytes, espaciadas con pausas, pasarán a la velocidad «rápida». Es una herramienta excelente para planificar si tu carga se compone de respuestas medianas.
Si no hay ráfaga y la velocidad sale directo a la meseta con un arranque suave, el balde es chico o inexistente, y el limitador probablemente sea un shaper con rate rígido.
Test de latencia bajo carga
Esta es la prueba principal para distinguir shaper de policer. En paralelo con una descarga larga lanzas una serie de peticiones ligeras por el mismo puerto del proxy: por ejemplo, HEAD a tu servidor cada 500 milisegundos. Registras el tiempo de respuesta antes de la carga, durante y después.
- La latencia creció varias veces, hasta cientos de milisegundos o segundos, mientras la velocidad es pareja: shaper con cola profunda. Anota la profundidad: el aumento de latencia multiplicado por el rate da el tamaño aproximado del búfer en bytes.
- La latencia casi no cambió, pero en las estadísticas de la conexión hay retransmisiones y la velocidad es de sierra: policer.
- La latencia creció moderadamente, entre 50 y 150 milisegundos, la velocidad es pareja: shaper con cola gestionada, la variante más cómoda.
Las estadísticas de retransmisiones en Linux se pueden ver con el comando ss -ti sobre la conexión en cuestión: allí están los contadores retrans y el RTT actual. Es una forma gratuita y precisa de ver si se pierden paquetes.
Test de agregación: por conexión o por sesión
Ya obtuviste la curva del Método 1. Afínala: lanza una conexión a fondo y una segunda con limitación del lado del cliente al 10 por ciento del techo. Si la primera casi no se frenó, los límites son separados por conexión. Si la primera perdió exactamente lo que tomó la segunda, el límite es común. Este test es más barato que una serie de 16 flujos y da una respuesta inequívoca.
Separar el limitador del canal de radio
¿Cómo saber si la meseta es una configuración y no la física de la celda? Tres señales de configuración: la meseta se mantiene con precisión de pocos puntos porcentuales a distintas horas del día, la cifra es «redonda» (5, 10, 20, 50 megabits) y la forma de llegar a la meseta es igual en cada repetición. El canal de radio da valores «no redondos» y fluctuantes que dependen de la hora. Además, puedes medir un segundo puerto del mismo nodo en el mismo momento: si dos puertos juntos dan más que uno solo, el límite está en el puerto, no en el módem.
Marco de clasificación
Reúne los resultados en una ficha del canal:
- Techo de un flujo: mediana, coeficiente de variación.
- Techo del agregado: valor y número de flujos con el que se alcanzó.
- Nivel del límite: conexión, sesión, nodo.
- Tipo: shaper o policer.
- Balde: volumen en megabytes o «no».
- Profundidad de cola: aumento de latencia bajo carga.
- Perfil diario: techos en las cuatro ventanas.
Una ficha así es la entrada directa a la configuración del cliente. Sin ella, ajustarás los parámetros a tientas.
Método 3: escribimos un cliente que se comporte bien con el limitador
Filosofía: no pelear, negociar
El gran hallazgo que llega después de una decena de sistemas depurados: al limitador no se lo «rompe» con más flujos. Solo se llena su cola y se obtiene bufferbloat, o se provoca al policer para que descarte en masa. Un cliente eficiente mantiene su velocidad un poco por debajo del techo, para que la cola del limitador quede casi vacía y la latencia baja. Paradoja que sorprende a los novatos: bajando la velocidad un 10 por ciento, a menudo aumentas el goodput, porque desaparecen los timeouts y las repeticiones.
Componente 1: token bucket del lado del cliente
Implementa en tu lado un balde igual al del limitador, pero con un rate del 85–90 por ciento del techo establecido medido, y con un volumen de balde no mayor a la mitad del balde medido en el proxy. El limitador se aplica a la lectura del cuerpo de la respuesta: antes de leer el siguiente chunk, le pides al balde tantas fichas como bytes vas a leer, y esperas si no las hay. La lógica paso a paso:
- Guardas dos números: la reserva actual de fichas y el momento de la última recarga.
- Al pedir N fichas, primero recargas la reserva:
tokens = min(burst, tokens + (now - last) * rate). - Si alcanzan las fichas, las descuentas y sigues. Si no, calculas el tiempo de espera
(N - tokens) / ratey duermes de forma asíncrona. - El balde es uno por puerto del proxy, común para todas las conexiones a través de ese puerto, si el límite es por sesión. Si el límite es por conexión, es un balde por conexión más uno común por nodo.
¿Por qué limitar la lectura y no las peticiones? Porque es justamente la lectura la que define a qué velocidad se extraen los datos de la cola del limitador. Si lees más despacio de lo que entrega el proxy, TCP mismo le avisará al emisor que reduzca la ventana, y los datos dejarán de acumularse en los búferes intermedios. Esto es el backpressure en estado puro.
Componente 2: semáforo de paralelismo
El número de conexiones simultáneas por puerto se limita con un semáforo. El valor inicial tómalo de la curva de agregación del Método 1: el número de flujos en el que se detuvo el crecimiento, menos uno. Para un canal móvil típico son 4–8. Más que eso solo hace crecer la latencia.
Componente 3: lectura en streaming y timeout de progreso
Nunca pongas un timeout único para toda la petición. Un archivo de 50 megabytes con un techo de 5 megabits tardará honestamente 80 segundos, y un timeout de 30 segundos lo matará a mitad de camino, desperdiciando la mitad del ancho de banda. El enfoque correcto: timeout de conexión (5–10 segundos), timeout del primer byte (10–20 segundos considerando el posible bufferbloat) y timeout de progreso, el intervalo máximo entre dos chunks leídos con éxito, normalmente 15–30 segundos. Lees el cuerpo en chunks de 32–64 kilobytes y después de cada chunk actualizas la marca de progreso.
Componente 4: paralelismo adaptativo con esquema AIMD
El techo de un canal móvil fluctúa, y un semáforo estático no lo sigue. La solución es gestionar el paralelismo dinámicamente según el principio de aumento aditivo y disminución multiplicativa, exactamente como hace TCP:
- Cada 10 segundos calculas el goodput de la ventana y la latencia mediana del primer byte.
- Si la latencia está por debajo de una vez y media la base y no hay errores, aumentas el límite del semáforo en uno, hasta el tope.
- Si la latencia creció más del doble respecto de la base o aparecieron timeouts de progreso, reduces el límite a la mitad, pero no por debajo de uno.
- La latencia base la mides al inicio con una sola conexión y la recalculas una vez por hora.
Un controlador así encuentra el punto cómodo en un par de minutos y se mantiene cerca de él, comprimiéndose solo por la tarde y expandiéndose de noche. Hemos visto cómo elevaba el goodput diario un 20–35 por ciento sin cambiar un ápice el techo.
Componente 5: reintentos con espera exponencial y jitter
Un timeout es una señal de congestión, no una invitación a repetir de inmediato. Repetir enseguida empeora la cola. Regla: el primer reintento a 1–2 segundos, cada siguiente al doble, máximo 5 intentos, y a cada espera se le suma un jitter aleatorio de hasta el 50 por ciento, para que diez flujos no se despierten al mismo tiempo. Ante un timeout de progreso en un archivo grande, tiene sentido continuar desde el punto de corte con una petición con cabecera Range, si el servidor lo soporta: el ancho de banda gastado en la primera mitad no se pierde.
Componente 6: colas de prioridad
Divide las tareas en clases: interactivas (llamadas ligeras a la API, donde importa la latencia) y de fondo (descargas pesadas). Las de fondo reciben una porción del balde, digamos el 70 por ciento; las interactivas, una reserva garantizada. Si el límite es por conexión y no por sesión, saca las clases a conexiones distintas. Si es posible, a puertos distintos del proxy. Así un archivo pesado no bloqueará cien peticiones pequeñas.
Componente 7: contar bytes, no peticiones
Cuenta cada byte leído por puerto, por clase y por dominio destino. Expórtalos a métricas. Justamente esas cifras mostrarán a dónde se va el ancho de banda y permitirán planificar el presupuesto, de lo que trata el siguiente método.
Mini esqueleto en Python
El esquema de implementación sobre asyncio y cualquier cliente HTTP asíncrono se ve así:
- Clase
TokenBucketcon métodoasync def take(n)según la lógica del Componente 1. - Clase
Channel: dirección del proxy, balde, semáforo, contadores, controlador AIMD. - Función
async def fetch(channel, url): bajo el semáforo abre la petición a través del proxy, espera las cabeceras con el timeout del primer byte, luego en un bucle leechunk = await resp.content.read(65536), antes de eso llama aawait channel.bucket.take(len(chunk)), actualiza la marca de progreso y los contadores de bytes. - Tarea de fondo
async def tune(channel): cada 10 segundos lee las métricas y corrige el tamaño del semáforo. - Envoltura de reintentos con espera exponencial y soporte de Range.
Detalle importante para Python: los clientes estándar por defecto bufferizan toda la respuesta en memoria. Asegúrate de usar el modo streaming, si no, no habrá backpressure y el limitador de lectura será inútil. En Go el equivalente se arma sobre io.Reader con una envoltura limitadora y golang.org/x/time/rate; en Node.js, con pausa y reanudación del stream de respuesta.
Checklist del cliente
- Balde del cliente con rate del 85–90 por ciento del techo.
- Lectura en streaming por chunks, limitador en la lectura.
- Tres timeouts separados: conexión, primer byte, progreso.
- Semáforo con gestión adaptativa por latencia.
- Reintentos con espera exponencial, jitter y Range.
- Separación de tareas interactivas y de fondo.
- Paralelismo sobre varias conexiones TCP, no sobre multiplex dentro de un túnel.
- Conteo de bytes por puerto, clase y dominio.
Método 4: presupuesto de tráfico y arquitectura de la carga
Piensa en bytes
La mayoría de los sistemas planifica la carga en peticiones por segundo. Pero el limitador de ancho de banda cuenta bytes. Una petición a la API de 4 kilobytes y una descarga de página de 3 megabytes son una diferencia de 750 veces. El primer paso del método es traducir tu plan a bytes: cuántas respuestas de qué tamaño recibes por hora, y si alcanza para eso el perfil diario del techo de la ficha del canal.
Fórmula simple: la capacidad diaria del canal en bytes es igual a la suma, por las cuatro ventanas, del producto del techo por la duración de la ventana, multiplicada por un coeficiente de 0,8 por gastos adicionales y margen. Para un canal con techo nocturno de 20 megabits y vespertino de 8 megabits, la capacidad diaria será del orden de 120–130 gigabytes. Si tu plan requiere 300, ninguna optimización de código ayudará: hacen falta más canales.
Reducir el volumen por cada petición
- Compresión: envía siempre la cabecera Accept-Encoding con gzip y br. Las respuestas de texto se comprimen 4–8 veces. Si tu cliente no descomprime automáticamente las respuestas, actívalo.
- Descartar recursos innecesarios: si trabajas con automatización de navegador, bloquea la carga de imágenes, fuentes y medios que no necesites para la tarea. Esto ahorra 60–80 por ciento del tráfico de la página.
- Peticiones condicionales: guarda ETag y Last-Modified, envía If-None-Match. Una respuesta 304 pesa cientos de bytes en lugar de megabytes.
- HEAD antes de GET: si necesitas comprobar la existencia o el tamaño de un recurso, no lo descargues.
- Peticiones Range: cuando solo necesitas una parte del archivo, por ejemplo los metadatos del inicio, pide el rango.
- Campos de la API: muchas APIs permiten elegir los campos de la respuesta. Pide solo los necesarios.
Distribución entre canales
Si hay varios canales, no repartas las tareas por igual. Reparte proporcionalmente al techo actual, que mides al vuelo a través del goodput de cada canal. El planificador mantiene una cola de tareas y le pasa la siguiente al canal que tenga el balde más libre y la latencia más baja. Un canal que entró en degradación recibe automáticamente menos trabajo, sin intervención manual.
Planificación en el tiempo
Las tareas de fondo voluminosas se pasan a las ventanas nocturnas, cuando el techo es más alto. Las interactivas y urgentes se reparten de forma pareja, pero con reserva de ancho de banda. Suena trivial, pero en la práctica son pocos los que construyen un planificador que tenga en cuenta el perfil diario del canal. La diferencia en el goodput diario con esa planificación llega al 40 por ciento sobre el mismo conjunto de canales.
Fusible de seguridad
Incluye en el cliente un fusible rígido: si el goodput de un canal durante los últimos dos minutos cayó por debajo del 20 por ciento de la mediana de la ficha y la latencia creció más de cuatro veces, el canal se excluye temporalmente de la rotación por 5 minutos. Esto protege de la situación en que una celda congestionada o un nodo problemático arrastran a todo el sistema a reintentos infinitos.
Checklist del presupuesto
- El plan está traducido a bytes por clase de tarea.
- La capacidad diaria de los canales está calculada según el perfil con un margen del 20 por ciento.
- Se aplican compresión, bloqueo de recursos innecesarios, peticiones condicionales, Range.
- El planificador distribuye según el goodput actual, no por igual.
- Las tareas voluminosas están desplazadas a las ventanas de techo alto.
- El fusible por goodput y latencia está configurado.
Errores típicos: lo que definitivamente no hay que hacer
Agregar flujos hasta que se vuelva más rápido
El error más común. Con un límite común por sesión, los flujos adicionales solo alargan la cola del shaper. La velocidad no crece, la latencia crece, los timeouts llueven. Con un policer crecen las pérdidas, y el agregado puede incluso caer. El aumento del paralelismo se justifica solo hasta el punto en que la curva del agregado llegó a la meseta.
Un solo timeout para toda la petición
Mata descargas grandes que iban honestamente a mitad de camino y desperdicia ancho de banda. Usa timeout de progreso.
Reintentos instantáneos
Bajo congestión, un reintento sin pausa duplica la carga sobre la cola. Diez flujos repitiendo a la vez arman una pequeña tormenta. La espera exponencial y el jitter son obligatorios.
Medir el techo con una sola toma
Un solo número de las 14:00 de un martes no dice nada sobre el comportamiento del canal a las 20:00 de un viernes. Sin perfil diario, o infrautilizas el canal, o construyes el sistema sobre un ancho de banda inexistente.
Medir contra una fuente lenta
Un servidor público con el uplink cargado te mostrará su techo, no el del proxy. Comprueba la fuente directamente.
Bufferizar la respuesta entera
Sin lectura en streaming no hay backpressure. El cliente «traga» todo lo que le da el proxy, y el limitador del cliente no funciona. Más la memoria para respuestas grandes.
Multiplexar todo en un solo túnel
HTTP/2 dentro de un mismo CONNECT con un límite por conexión reparte el ancho de banda entre todas las peticiones y genera bloqueo de cabeza de cola. Varias conexiones TCP casi siempre son más eficientes a través de un proxy.
Ignorar la compresión
Tener Accept-Encoding desactivado significa que pagas ancho de banda por texto sin comprimir. Una diferencia de cinco veces regalada.
Confundir ancho de banda con latencia
Un canal de 50 megabits con RTT de 400 milisegundos, para cien llamadas pequeñas a la API, es más lento que uno de 10 megabits con RTT de 60 milisegundos. Evalúa ambos parámetros según tu perfil de tráfico.
Contar peticiones, no bytes
Planificar en peticiones por segundo no tiene en cuenta el tamaño de las respuestas y lleva a chocar de golpe con el techo.
Herramientas y recursos
Para mediciones
- curl: herramienta universal para mediciones rápidas a través del proxy. La clave de salida de variables de tiempo da la velocidad promedio, el tiempo hasta el primer byte, el tiempo de conexión. Para el registro por segundos es más simple escribir diez líneas en Python.
- iperf3: para medir el ancho de banda limpio entre tu máquina y tu servidor directamente, para excluir tu propio cuello de botella. A través de un proxy HTTP no funciona, pero como control de la fuente es insustituible.
- ss con la clave -ti: estadísticas de las conexiones TCP en Linux: RTT, ventana de congestión, retransmisiones, algoritmo de control de congestión. El principal detector gratuito de policers.
- tcpdump y Wireshark: cuando hace falta ver qué pasa exactamente a nivel de paquetes: patrones de pérdidas, retardos de confirmaciones, comportamiento de la ventana.
- mtr: traza con pérdidas por nodo, ayuda a entender dónde exactamente se producen las pérdidas en el camino hasta el proxy.
Para emulación local
Antes de probar el código contra un proxy real, arma un banco de pruebas. En Linux, la utilidad tc con las disciplinas tbf (token bucket filter) y netem permite emular un shaper con rate y burst dados, un policer, latencia y pérdidas. Puedes reproducir la ficha del canal localmente y ejecutar el cliente contra ella todo lo que quieras, sin gastar tráfico y sin depender de la hora del día. Los desarrolladores que montan ese banco depuran el cliente varias veces más rápido.
Para el código
- Python: asyncio, aiohttp o httpx en modo streaming, token bucket propio en 20 líneas. Hay bibliotecas de limitadores listas, pero la mayoría limita peticiones, no bytes, así que la implementación propia es más confiable.
- Go: paquete rate de la biblioteca estándar extendida, envoltura sobre io.Reader para limitar la lectura, contexto con deadlines para los timeouts.
- Node.js: respuesta en streaming con control manual de pausa y reanudación, bibliotecas de semáforos y reintentos.
Para observabilidad
Exporta métricas de goodput, latencia del primer byte, número de conexiones activas, timeouts y reintentos por cada puerto del proxy a un sistema de recolección de métricas y arma paneles. Las firmas del limitador se ven en los gráficos en un minuto, y las anomalías del canal, mucho antes de que tumben la tarea. Sin observabilidad, el controlador adaptativo no se puede ni configurar ni comprobar.
Qué leer
Las especificaciones RFC sobre control de congestión de TCP y sobre algoritmos de gestión activa de colas dan una comprensión profunda de por qué los shapers se comportan así. La documentación de Linux sobre las disciplinas de colas de tc es un manual práctico de emulación. Los artículos sobre bufferbloat explican por qué los búferes profundos hacen daño y cómo se combaten a nivel de equipos de red.
Casos y resultados
Caso 1: parser de catálogo de un marketplace que «moría» por la tarde
Tarea: recorrido diario del catálogo, unas 400 mil páginas, a través de ocho canales móviles. Síntomas: de noche el sistema terminaba en cinco horas; por la tarde, timeouts en cada tercera petición, el plan diario no se cumplía.
La medición por el Método 1 mostró: techo nocturno del canal alrededor de 18 megabits, vespertino de 6–7. Método 2: shaper con cola profunda, la latencia bajo carga crecía de 90 a 1400 milisegundos, límite común por sesión. El cliente usaba 32 flujos por canal y un timeout único de 20 segundos.
Qué se hizo: se introdujo un balde del cliente al 85 por ciento del techo actual, se bajó el paralelismo inicial a 6 con controlador adaptativo, se reemplazó el timeout por uno de tres niveles, se activó compresión y bloqueo de imágenes (las páginas pasaron a pesar 180 kilobytes en lugar de 1,4 megabytes). Resultado: el porcentaje vespertino de timeouts cayó de 33 a 0,4, el goodput diario creció un 41 por ciento con el mismo conjunto de canales, el recorrido empezó a caber en 7 horas a cualquier hora del día. Lo más revelador: bajar el paralelismo de 32 a 6 aumentó la velocidad útil, no la redujo.
Caso 2: descarga de archivos multimedia y un policer
Tarea: descarga de videos de 40–200 megabytes desde un hosting público a través de un proxy, unos 2 terabytes al mes. Síntomas: velocidad a tirones, promedio a la mitad del declarado, cortes frecuentes a mitad de archivo.
La medición mostró la sierra clásica: caídas del 40–50 por ciento cada pocos segundos, RTT estable, el contador de retransmisiones crecía a decenas por segundo. Policer con límite por conexión de unos 12 megabits; el agregado hasta 4 flujos crecía casi linealmente.
Qué se hizo: se dividió cada archivo en cuatro partes por Range y se descargaron en paralelo con cuatro conexiones, cada una con balde del cliente a 10 megabits, un poco por debajo del límite del policer para no provocar pérdidas. Se agregó reanudación por Range ante timeout de progreso. Resultado: la velocidad promedio por archivo creció de 5,5 a 36 megabits, los cortes dejaron de implicar pérdida de lo descargado, el volumen mensual empezó a cubrirse en 12 días en lugar de 30. Al policer no se le puede engañar, pero sí se le puede quitar el motivo para descartar paquetes.
Caso 3: carga mixta de API y descargas
Tarea: trabajo simultáneo con la API de una plataforma social (miles de llamadas pequeñas) y descarga de contenido multimedia en segundo plano por los mismos canales. Síntomas: las llamadas a la API entraban periódicamente en latencias de 3–5 segundos, la plataforma empezaba a considerar al cliente lento.
Diagnóstico: shaper por sesión, las descargas de fondo llenaban la cola, las peticiones pequeñas hacían fila detrás. Bufferbloat clásico dentro de una misma sesión.
Qué se hizo: se separaron las clases por puertos distintos del proxy de un mismo nodo; en los puertos de descargas de fondo, balde al 70 por ciento de su techo; en los puertos de API, paralelismo no mayor a 3 y prioridad por latencia. Resultado: el percentil noventa de latencia de la API cayó de 3,8 segundos a 210 milisegundos; las descargas de fondo se ralentizaron un 12 por ciento, lo cual era aceptable. La eficiencia total del sistema, medida en operaciones exitosas por hora, creció un 27 por ciento.
FAQ: preguntas difíciles sobre ancho de banda y shaping
¿Por qué con un flujo la velocidad es de 8 megabits y con diez son los mismos 8, pero todo se volvió más lento?
El límite está puesto por sesión, no por conexión. Diez flujos comparten un mismo rate y llenan la cola del shaper. El ancho de banda no crece, pero la latencia crece en proporción a la profundidad de la cola. Lo óptimo es mantener 2–4 flujos y limitar la lectura del lado del cliente.
¿Cómo saber que choqué con el canal de radio y no con una configuración del proxy?
La configuración da una meseta estable con una cifra «redonda» a distintas horas del día y la misma forma de llegada. El canal de radio da valores fluctuantes no redondos y un coeficiente de variación alto, sobre todo por la tarde. Además, compara dos puertos de un mismo nodo al mismo tiempo: si la suma supera a un solo puerto, el límite está en el puerto, no en el módem.
¿Vale la pena poner BBR en mi servidor si trabajo a través de un proxy?
BBR influye en el flujo saliente de tu servidor. Si entregas datos a través de un proxy, ayudará a mantener vacía la cola del shaper y reducirá la latencia. Sobre el flujo entrante, de los sitios destino hacia ti, no influye: allí manda el emisor. Para el lado del cliente importa más el limitador de lectura.
¿Cuánto por debajo del techo conviene mantener el balde del cliente?
Para un shaper, 85–90 por ciento del techo establecido: la cola casi vacía, la latencia baja, la pérdida de ancho de banda mínima. Para un policer, 80–85 por ciento del límite por conexión, para no provocar descartes. Para un canal de radio inestable, mejor confiar el punto al controlador adaptativo y fijar el balde según el perfil vespertino.
¿Se puede usar HTTP/2 a través del proxy para acelerar?
A través de un túnel CONNECT, HTTP/2 hacia el sitio destino funciona, pero todos los flujos comparten una misma conexión TCP y un mismo límite, si es por conexión. Más el bloqueo de cabeza de cola bajo saturación. Para tareas pesadas, varias conexiones HTTP/1.1 a través del proxy suelen dar mejor goodput y una latencia predecible.
¿Cómo medir con más precisión el tamaño del balde de ráfaga?
Dale al canal una pausa de 30–60 segundos, registra los bytes con resolución de 100 milisegundos, encuentra el punto de quiebre hacia la velocidad establecida, calcula el exceso sobre la línea establecida. Repite cinco veces, toma la mediana. Una precisión de alrededor del 15 por ciento es suficiente para planificar.
¿Qué hacer si los timeouts aparecen solo en dominios concretos?
Lo más probable es que el cuello de botella no esté en el proxy, sino en el camino del proxy a ese dominio o en el propio dominio. Mide el techo contra tu fuente de referencia en ese mismo momento: si está en norma, la limitación es externa. En el código, dale a ese dominio una clase aparte con menor paralelismo y un timeout del primer byte más largo.
¿Cómo saber que el controlador adaptativo funciona bien?
En los gráficos, la paralelidad debe bajar suavemente por la tarde y subir de noche; la latencia del primer byte debe mantenerse dentro de una o dos veces la base, y la proporción de timeouts, por debajo del uno por ciento. Si la paralelidad salta entre el mínimo y el máximo cada minuto, la ventana de evaluación es demasiado corta o el umbral de reacción es demasiado sensible.
¿Hay que tener en cuenta el cifrado al calcular los bytes?
TLS agrega un 2–5 por ciento de gastos adicionales por cabeceras de registros y handshakes. Para planificar el presupuesto alcanza con un coeficiente de 0,8 por todo junto con TCP/IP. Para un conteo exacto, cuenta bytes a nivel de socket, no a nivel del cuerpo de la respuesta.
Conclusión: de las conjeturas al ancho de banda gestionado
Recorrimos el camino desde los conceptos básicos hasta la arquitectura de un cliente que no pelea con el limitador, sino que negocia con él. Resumamos lo esencial.
- El techo es el mínimo de varios niveles, y para los canales móviles fluctúa a lo largo del día. Un solo número no dice nada, hace falta un perfil.
- Shaper y policer exigen código distinto. El shaper castiga con latencia, el policer con pérdidas. Distinguirlos lleva diez minutos con un test de latencia bajo carga y las estadísticas de retransmisiones.
- La saturación no es cuestión de velocidad, sino de cola. El bufferbloat convierte un canal rápido en pegajoso y mata las peticiones pequeñas antes de que caiga la velocidad de las grandes.
- El cliente debe leer en streaming, limitar la lectura un poco por debajo del techo, usar tres timeouts separados, gestionar el paralelismo de forma adaptativa y reintentar con espera.
- Planifica bytes, no peticiones. La compresión, el descarte de recursos innecesarios y las peticiones condicionales a menudo aportan más que cualquier artilugio con flujos.
¿Qué hacer ahora? Hoy: levantar una fuente de referencia y tomar la ficha del canal por los Métodos 1 y 2, al menos para un puerto. Esta semana: armar un banco de pruebas local con tc, reproducir la ficha y reescribir el cliente según el checklist del Método 3. Durante el mes: activar el conteo de bytes, armar paneles y configurar el controlador adaptativo, y después recalcular el presupuesto de tráfico por el Método 4.
El ancho de banda deja de ser una fuente de sorpresas justo en el momento en que empiezas a medirlo y a respetarlo. El código escrito con comprensión del limitador no solo funciona más rápido. Funciona de forma predecible, y en las tareas de infraestructura la previsibilidad es la moneda principal.