Wstęp: dlaczego pasmo na proxy decyduje o więcej, niż się wydaje

Większość rozmów o proxy kręci się wokół anonimowości, geolokalizacji i „czy mnie nie zbanują”. Przepustowość przy tym zostaje w cieniu. A przecież to właśnie ona decyduje o tym, w ile godzin wyrobi się twój parser, ile kont wytrzyma jeden kanał i dlaczego skrypt, który idealnie działał na stanowisku testowym, w produkcji zaczął sypać timeoutami co dziesięć minut.

Przejdziemy razem przez temat, o którym rzadko pisze się systemowo: jak na proxy zbudowane jest ograniczanie pasma, czym jest shaping i policing, jak wygląda sufit kanału w realnych liczbach i, co najważniejsze, jak zachowuje się twój kod klienta, gdy ten sufit dotknie. Świadomie nie będziemy streszczać metod oceny jakości proxy w ogóle. Tutaj chodzi tylko o pasmo, jego granicę i o to, co dzieje się z aplikacją w momencie nasycenia.

Dlaczego to jest aktualne właśnie teraz? W 2026 roku średnia wielkość jednej strony z zasobami przekroczyła trzy megabajty, API zwracają coraz cięższe odpowiedzi JSON, a kanały mobilne, na których buduje się proxy mobilne, fizycznie dzielą zasoby radiowe komórki ze zwykłymi abonentami. Jednocześnie operatorzy i dostawcy proxy coraz chętniej stosują shaping na poziomie sesji, żeby jeden klient nie „zjadł” kanału innym. Programista, który nie rozumie mechaniki ogranicznika, jest skazany na pisanie kodu metodą prób i błędów.

Z tego przewodnika dowiesz się: jak odróżnić shaper od policera po kształcie wykresu, jak poprawnie zmierzyć sufit pojedynczego strumienia i agregatu, jak oszacować rozmiar „wiadra” i głębokość kolejki, dlaczego przy nasyceniu rośnie opóźnienie i spada efektywność, jak pisać klienta z backpressure i adaptacyjną równoległością, a także jak planować budżet ruchu, a nie liczbę zapytań. Na koniec czekają na ciebie listy kontrolne, narzędzia, trzy rozebrane przypadki z liczbami i FAQ na najtrudniejsze pytania.

Podstawy: słownik pojęć, bez którego dalej nie ruszysz

Pasmo, przepustowość i użyteczna prędkość

Te terminy często się myli, a różnica jest zasadnicza. Pasmo (bandwidth) to nominalny sufit kanału, ile bitów na sekundę jest w stanie przepuścić w idealnych warunkach. Przepustowość (throughput) to ile bitów faktycznie przeszło w jednostce czasu, z uwzględnieniem wszystkich narzutów: nagłówków TCP i IP, retransmisji, szyfrowania. Użyteczna prędkość (goodput) to tylko te bajty, które dotarły do twojej aplikacji i zostały przez nią użyte. Jeśli plik o rozmiarze 100 megabajtów pobrał się w 20 sekund, twój goodput to 5 megabajtów na sekundę, choć kanał mógł przepuścić o 8–12 procent więcej z powodu informacji sterującej.

W praktyce warto zapamiętać: ograniczniki na proxy prawie zawsze liczą właśnie throughput na poziomie pakietów, a ty widzisz goodput. Między nimi zawsze będzie luka.

Sufit kanału i poziomy ograniczenia

Sufit to maksymalna prędkość, jaką ogranicznik dopuszcza na danym poziomie agregacji. Poziomów bywa kilka i składają się jak matrioszka:

  • na połączenie TCP — każdy osobny strumień nie może przekroczyć, powiedzmy, 2 megabitów na sekundę, ale dziesięć strumieni da dwadzieścia;
  • na sesję lub port proxy — wszystkie połączenia przez jeden port dzielą wspólny limit;
  • na konto — suma po wszystkich portach klienta;
  • na węzeł — fizyczna granica modemu, serwera, uplinku;
  • na kanał operatora — to, co daje komórka w danym momencie z uwzględnieniem obciążenia sieci radiowej.

Realny sufit to minimum po wszystkich poziomach. I to minimum pływa w ciągu dnia, bo najniższy poziom, kanał radiowy, zależy od liczby abonentów obok modemu.

Token bucket: mechanika prawie każdego ogranicznika

Wyobraź sobie wiadro, do którego ze stałą prędkością kapie żeton. Każdy bajt przechodzący przez ogranicznik zabiera jeden żeton. Jeśli wiadro jest puste, bajt albo czeka (shaping), albo jest odrzucany (policing). Prędkość kapania to rate, docelowa prędkość. Pojemność wiadra to burst, dopuszczalny skok. Dopóki wiadro jest pełne, możesz wysłać paczkę danych szybciej niż nominalnie. Potem prędkość wyrównuje się do rate.

Ten model wyjaśnia zaskakująco wiele. Dlaczego pierwsze dwie sekundy pobierania idą szybciej niż reszta? Wiadro było pełne. Dlaczego krótkie zapytania prawie nigdy nie trafiają w limit? Mieszczą się w pojemności wiadra. Dlaczego długie pobieranie nagle „siada” dokładnie do jednej liczby? Wiadro się opróżniło, działa czysty rate.

Shaping kontra policing

Shaper stawia nadmiarowe pakiety w kolejce i wypuszcza je z zadaną prędkością. Ruch się wygładza, strat jest mało, ale rośnie opóźnienie: pakiet czeka na swoją kolej. Policer kolejki nie trzyma, po prostu odrzuca wszystko, co przekracza limit. Opóźnienie nie rośnie, za to TCP widzi straty, gwałtownie zmniejsza okno, potem znów się rozpędza, a wykres prędkości zamienia się w piłę.

Analogia: shaper to sygnalizacja z regulowaną długością zielonego, wszyscy przejeżdżają, ale wolniej. Policer to laweta, która zabiera każde auto ponad normę. Strumień samochodów przy tym szarpie. Dla twojego kodu różnica jest ogromna i jeszcze do niej wrócimy.

Specyfika kanałów mobilnych

Proxy mobilne stoi na kanale operatora komórkowego. Tutaj sufit wyznaczają nie tylko ustawienia serwera, ale i fizyka: kategoria modemu, pasmo częstotliwości, liczba abonentów w komórce, jakość sygnału. Do tego operator sam stosuje priorytetyzację ruchu na poziomie klas obsługi. Efekt: pasmo kanału mobilnego jest o rząd wielkości mniej stabilne niż serwerowego, a każda metodyka pomiaru musi uwzględniać czynnik czasu.

Głębokie zanurzenie: co dzieje się w momencie nasycenia

Moment prawdy: kolejka rośnie

Dopóki twój ruch jest poniżej sufitu, ogranicznik jest praktycznie niewidoczny. Problemy zaczynają się, gdy suma strumieni przekracza rate. U shapera zaczyna rosnąć kolejka. Każdy pakiet, zanim pójdzie dalej, czeka w buforze. Jeśli bufor jest głęboki, a takie bufory lubią trafiać do taniego sprzętu sieciowego i do programowych ograniczników z hojnymi ustawieniami, opóźnienie może wzrosnąć z 60 milisekund do półtorej sekundy. To zjawisko nazywa się bufferbloat: rozdmuchany bufor zamienia szybki kanał w wolny i lepki.

Dla aplikacji wygląda to tak: prędkość pobierania niby jest w porządku, a każde nowe zapytanie startuje z potwornym opóźnieniem. Drobne wywołania API, które wcześniej zajmowały 100 milisekund, teraz trwają sekundę. Timeouty ustawione „z zapasem” zaczynają się odpalać. I co najbardziej zdradliwe: nie zobaczysz strat pakietów, wszystko po prostu stanie się wolne.

Reakcja TCP: dlaczego algorytm kontroli przeciążenia ma znaczenie

TCP sam próbuje wyczuć sufit kanału. Klasyczny algorytm CUBIC rozpędza okno transmisji, dopóki nie zobaczy straty, potem resetuje prędkość i rozpędza się od nowa. Z policerem CUBIC działa źle: straty są częste i gwałtowne, średnia prędkość może okazać się o 30–40 procent niższa od sufitu. Z shaperem CUBIC wypełnia kolejkę do oporu, bo strat długo nie ma, i to właśnie on staje się głównym winowajcą bufferbloat.

Algorytm BBR, który jest coraz szerzej używany na serwerach, zachowuje się inaczej: szacuje przepustowość i minimalny RTT i stara się nie przepełniać kolejki. Przez shaper BBR daje równą prędkość i umiarkowane opóźnienie. Pamiętaj jednak: algorytm po stronie twojego klienta steruje tylko strumieniem wychodzącym. Strumień przychodzący od proxy do ciebie zależy od ustawień serwera proxy i docelowej strony, a na nie nie masz wpływu.

Jeden tunel, wiele strumieni: blokowanie głowy kolejki

Gdy pracujesz przez proxy HTTP metodą CONNECT lub przez SOCKS5, każde twoje połączenie TCP do docelowej strony jest opakowane w osobne połączenie z proxy. Jeśli używasz HTTP/2 do docelowej strony w jednym tunelu, wszystkie zapytania multipleksują się w jeden strumień TCP. Przy nasyceniu tworzy to blokowanie głowy kolejki: jedna ciężka odpowiedź zajmuje okno i lekkie zapytania czekają za nią. Przez ogranicznik na połączenie jest to szczególnie bolesne: cały multipleks dzieli jeden limit.

Wniosek praktyczny, który wielu wyciąga zbyt późno: równoległość przez proxy trzeba budować na kilku połączeniach TCP, a nie na multipleksowaniu w jednym. Uwzględnimy to w sekcji o kodzie.

Sprawiedliwość między strumieniami

Jak ogranicznik dzieli pasmo między twoje dziesięć połączeń? Jeśli limit jest wspólny i kolejka jedna, pasmo rozbierają agresywniej te strumienie, które mają więcej danych w locie. Drobne zapytania systematycznie przegrywają z dużymi. Jeśli na ograniczniku stoi sprawiedliwa kolejka, każdy strumień dostaje mniej więcej równy udział. Który to wariant, można poznać tylko eksperymentalnie, i od tego zależy, czy warto rozdzielać ciężkie pobierania i lekkie wywołania API na różne połączenia, a nawet porty.

Wolny start i krótkie zapytania

TCP zaczyna od małego okna i podwaja je co RTT. Przez kanał mobilny z RTT około 80 milisekund rozpęd do, powiedzmy, 20 megabitów zajmuje kilkaset milisekund. Zapytanie na 50 kilobajtów kończy się szybciej, niż TCP zdąży się rozpędzić. Dlatego krótkie zapytania nigdy nie trafiają w sufit pasma, za to są wyjątkowo wrażliwe na opóźnienie. To dzieli twój ruch na dwie klasy o różnych zasadach: ciężkie strumienie, gdzie liczy się rate, i lekkie, gdzie liczy się RTT. Jedno ograniczenie dusi te pierwsze, a bufferbloat od pierwszych zabija drugie.

Sygnatury na wykresie

Jeśli narysujesz prędkość po sekundach, ograniczniki zdradzą się kształtem:

  • równy płaskowyż z łagodnym wyjściem i rosnącym RTT — shaper z głęboką kolejką;
  • płaskowyż z garbem na początku — shaper lub policer z wyraźnym wiadrem burst;
  • piła z zapadnięciami na 30–50 procent, stabilny RTT, są retransmisje — policer;
  • chaotyczne wahania bez wyraźnego płaskowyżu — trafiłeś nie w ogranicznik, ale w kanał radiowy lub przeciążony węzeł.

Umiejętność czytania tych sygnatur oszczędza godziny debugowania. Dalej — jak je uzyskać poprawnie.

Metoda 1: poprawny pomiar sufitu pasma

Po co metodyka, a nie jedno sprawdzenie

Uruchomić pobieranie pliku i spojrzeć na liczbę może każdy. Problem w tym, że jedna liczba nic nie znaczy: zależy od pory dnia, od źródła, od twojego własnego kanału, od fazy wolnego startu. Potrzebny jest powtarzalny protokół, którego wyniki można porównywać między kanałami i dniami.

Przygotowanie źródła referencyjnego

Pierwsza zasada: pasmo trzeba mierzyć przeciw źródłu, które samo jest z pewnością szybsze niż jakiekolwiek proxy. Inaczej zmierzysz nie proxy, a źródło. Idealny wariant to własny serwer na platformie z gwarantowanym gigabitowym uplinkiem, na którym leżą pliki testowe o rozmiarach 20, 100 i 500 megabajtów wygenerowane z losowych danych. Losowe dane są ważne: plik poddający się kompresji może zostać gdzieś po drodze skompresowany i dostaniesz zawyżoną liczbę.

Publiczne pliki testowe popularnych CDN można używać, ale z zastrzeżeniem: CDN oddaje z węzła najbliższego proxy i faktycznie mierzysz pasmo „proxy — CDN”, a nie „proxy — dowolna strona”. Do oceny sufitu to wystarczy, do oceny realnego goodput do twoich docelowych zasobów — nie.

Wykluczenie własnego wąskiego gardła

Maszyna, z której mierzysz, musi mieć kanał co najmniej trzy razy szerszy od oczekiwanego sufitu proxy. Sprawdź to osobnym pobieraniem tego samego pliku bezpośrednio. Wyłącz pobierania w tle, synchronizację chmury, aktualizacje. Jeśli uruchamiasz pomiary z kontenera lub maszyny wirtualnej, upewnij się, że wirtualna sieć sama nie tnie pasma.

Protokół pojedynczego strumienia

  1. Uruchamiasz pobieranie pliku na 100 megabajtów przez proxy jednym połączeniem z zapisem prędkości co sekundę. Przez curl robi się to kluczami do postępu; wygodniej napisać mały skrypt, który czyta ciało strumieniowo i zapisuje bajty po sekundach.
  2. Odrzucasz pierwsze trzy sekundy — tam jest wolny start i opróżnianie wiadra.
  3. Przerywasz pomiar po 40–60 sekundach lub po zakończeniu pliku. Mniej niż 20 sekund to za mało, żeby zobaczyć ustalony tryb.
  4. Liczyc po pozostałych sekundach medianę, dziesiąty i dziewięćdziesiąty percentyl, współczynnik zmienności (odchylenie standardowe podzielone przez średnią).
  5. Powtarzasz trzy razy z pauzą minutę.

Mediana to twój ustalony sufit jednego strumienia. Rozstęp między dziesiątym a dziewięćdziesiątym percentylem mówi o stabilności. Współczynnik zmienności poniżej 0,15 — równy kanał, powyżej 0,4 — albo policer, albo przeciążona sieć radiowa.

Protokół agregatu

Teraz to samo, ale z 2, 4, 8 i 16 równoległymi połączeniami do tego samego pliku lub do kilku plików. Sumujesz prędkości po sekundach. Dostajesz zależność zagregowanej prędkości od liczby strumieni. Bywa trzech typów:

  • liniowy wzrost do płaskowyżu — limit na połączenie, sufit agregatu wyżej; płaskowyż pokazuje następny poziom ograniczenia;
  • płaskowyż od pierwszego strumienia — limit wspólny na sesję, dodatkowe strumienie nic nie dają, tylko zwiększają opóźnienie;
  • wzrost, a potem spadek — przy dużej liczbie strumieni rosną straty i narzuty, kanał degraduje. Optimum jest tam, gdzie wzrost się zatrzymał.

Pojedynczy curl do szybkiej orientacji wygląda tak: curl -x http://user:pass@host:port -o /dev/null -w "%{speed_download} %{time_total}" https://your-server/100mb.bin. Da średnią prędkość za cały plik, co do wstępnej oceny wystarczy, ale do sygnatur potrzebny jest zapis sekundowy.

Rozkład czasowy

Dla kanału mobilnego obowiązkowy jest pomiar w czterech oknach dobowych: noc, rano, dzień, wieczór. Sufit wieczorem w dzielnicy mieszkalnej może być o połowę niższy niż nocą. Jeśli planujesz obciążenie całodobowe, twój kod będzie musiał żyć według sufitu wieczornego, a nie nocnego.

Lista kontrolna pomiaru sufitu

  • Źródło referencyjne z pewnością szybsze niż proxy, pliki z losowych danych.
  • Własny kanał sprawdzony osobno i co najmniej trzy razy szerszy.
  • Zapis bajtów co sekundę, pierwsze trzy sekundy odrzucone.
  • Czas trwania ustalonego trybu nie krótszy niż 20 sekund.
  • Trzy powtórzenia, mediana i percentyle, współczynnik zmienności.
  • Seria po liczbie strumieni: 1, 2, 4, 8, 16.
  • Cztery okna dobowe dla kanałów mobilnych.
  • Wyniki zapisane w jednym formacie z podaniem czasu, portu, źródła.

Metoda 2: rozpoznajemy typ ogranicznika i jego parametry

Po co wiedzieć, co jest przed tobą

Ten sam sufit 10 megabitów wymaga innego kodu w zależności od tego, czy to shaper, czy policer, czy jest wiadro burst i jakiej wielkości, czy rośnie opóźnienie pod obciążeniem. Ta metoda zamienia wykres prędkości w zestaw parametrów, które potem trafią do configu twojego klienta.

Test burst: mierzymy wiadro

  1. Dajesz kanałowi odpocząć 30 sekund bez ruchu, żeby wiadro się napełniło.
  2. Uruchamiasz pobieranie i zapisujesz prędkość z rozdzielczością 100–200 milisekund przez pierwsze pięć sekund.
  3. Znajdujesz moment, w którym prędkość spada do ustalonej wartości z Metody 1.
  4. Pojemność wiadra szacujesz jako sumę bajtów przesłanych do tego momentu minus to, co przeszłoby w tym samym czasie przy ustalonej prędkości.

Przykład: pierwsze 1,5 sekundy idą na 40 megabitach, potem równo 10. Wiadro to około 40 minus 10, razy 1,5 sekundy, podzielić przez 8 — jakieś 5,6 megabajta. To oznacza, że zapytania o objętości do 5 megabajtów, rozłożone pauzami, będą przechodzić na „szybkiej” prędkości. Świetne narzędzie do planowania, jeśli twoje obciążenie składa się ze średnich odpowiedzi.

Jeśli burstu nie ma i prędkość od razu wychodzi na płaskowyż z łagodnym rozpędem, wiadro jest małe lub go nie ma, a ogranicznik to prawdopodobnie shaper z twardym rate.

Test opóźnienia pod obciążeniem

To główny test na rozróżnienie shapera i policera. Równolegle z długim pobieraniem uruchamiasz serię lekkich zapytań przez ten sam port proxy: na przykład HEAD do twojego serwera co 500 milisekund. Zapisujesz czas odpowiedzi przed obciążeniem, w trakcie i po.

  • Opóźnienie wzrosło kilkukrotnie, do setek milisekund lub sekund, przy czym prędkość jest równa — shaper z głęboką kolejką. Zapisz głębokość: przyrost opóźnienia pomnożony przez rate daje przybliżony rozmiar bufora w bajtach.
  • Opóźnienie prawie się nie zmieniło, ale w statystykach połączenia są retransmisje, a prędkość jest piłokształtna — policer.
  • Opóźnienie wzrosło umiarkowanie, o 50–150 milisekund, prędkość równa — shaper z zarządzaną kolejką, najwygodniejszy wariant.

Statystyki retransmisji na Linuksie można zobaczyć komendą ss -ti dla danego połączenia: są tam liczniki retrans i bieżący RTT. To darmowy i dokładny sposób, żeby zobaczyć, czy pakiety giną.

Test agregacji: na połączenie czy na sesję

Krzywą z Metody 1 już masz. Doprecyzuj ją: uruchom jedno połączenie na pełną moc i drugie z ograniczeniem po stronie klienta do 10 procent sufitu. Jeśli pierwsze prawie się nie zwolniło — limity są rozdzielne na połączenie. Jeśli pierwsze straciło dokładnie tyle, ile wzięło drugie — limit jest wspólny. Ten test jest tańszy niż seria z 16 strumieni i daje jednoznaczną odpowiedź.

Oddzielamy ogranicznik od kanału radiowego

Jak rozpoznać, że płaskowyż to ustawienie, a nie fizyka komórki? Trzy oznaki ustawienia: płaskowyż trzyma się z dokładnością do kilku procent o różnych porach dnia, liczba jest „okrągła” (5, 10, 20, 50 megabitów), a kształt wyjścia na płaskowyż jest identyczny w każdym powtórzeniu. Kanał radiowy daje wartości „nieokrągłe” i pływające, zależne od czasu. Dodatkowo można zmierzyć drugi port tego samego węzła w tym samym momencie: jeśli dwa porty w sumie dają więcej niż jeden, limit stoi na port, a nie na modem.

Framework klasyfikacji

Zbierz wyniki w kartę kanału:

  • Sufit jednego strumienia: mediana, współczynnik zmienności.
  • Sufit agregatu: wartość i liczba strumieni, przy której osiągnięty.
  • Poziom limitu: połączenie, sesja, węzeł.
  • Typ: shaper czy policer.
  • Wiadro: objętość w megabajtach lub „brak”.
  • Głębokość kolejki: przyrost opóźnienia pod obciążeniem.
  • Profil dobowy: sufity w czterech oknach.

Taka karta to bezpośrednie wejście do konfiguracji klienta. Bez niej będziesz dobierać parametry na wyczucie.

Metoda 3: piszemy klienta, który dogaduje się z ogranicznikiem

Filozofia: nie walczyć, a się dogadać

Główny insight, który przychodzi po dziesiątce dopracowanych systemów: ogranicznika nie da się „przebić” większą liczbą strumieni. Można tylko zapełnić jego kolejkę i dostać bufferbloat albo sprowokować policer do masowych strat. Efektywny klient sam trzyma prędkość nieco poniżej sufitu, żeby kolejka ogranicznika pozostawała prawie pusta, a opóźnienie — niskie. Paradoks, który dziwi nowicjuszy: obniżając prędkość o 10 procent, często zwiększasz goodput, bo znikają timeouty i powtórzenia.

Komponent 1: token bucket po stronie klienta

Zaimplementuj u siebie takie samo wiadro jak u ogranicznika, ale z rate na 85–90 procent zmierzonego ustalonego sufitu i z pojemnością wiadra nie większą niż połowa zmierzonego wiadra proxy. Ogranicznik stosuje się do czytania ciała odpowiedzi: przed odczytem kolejnego chunka pytasz wiadro o tyle żetonów, ile bajtów zamierzasz odczytać, i czekasz, jeśli ich nie ma. Logika krok po kroku:

  1. Trzymaj dwie liczby: bieżący zapas żetonów i czas ostatniego uzupełnienia.
  2. Przy żądaniu N żetonów najpierw uzupełniasz zapas: tokens = min(burst, tokens + (now - last) * rate).
  3. Jeśli żetonów wystarczy, odejmujesz i kontynuujesz. Jeśli nie, obliczasz czas oczekiwania (N - tokens) / rate i zasypiasz asynchronicznie.
  4. Wiadro jedno na port proxy, wspólne dla wszystkich połączeń przez ten port, jeśli limit jest na sesję. Jeśli limit jest na połączenie — wiadro na połączenie plus wspólne na węzeł.

Dlaczego ograniczać czytanie, a nie zapytania? Bo to właśnie czytanie wyznacza, z jaką prędkością dane są wyciągane z kolejki ogranicznika. Jeśli czytasz wolniej, niż oddaje proxy, TCP sam powiadomi nadawcę, żeby zmniejszył okno, i dane przestaną się gromadzić w pośrednich buforach. To jest właśnie backpressure w czystej postaci.

Komponent 2: semafor równoległości

Liczbę jednoczesnych połączeń na port ograniczaj semaforem. Wartość startową bierz z krzywej agregatu Metody 1: ta liczba strumieni, przy której wzrost się zatrzymał, minus jeden. Dla typowego kanału mobilnego to 4–8. Więcej — tylko opóźnienie rośnie.

Komponent 3: czytanie strumieniowe i timeout postępu

Nigdy nie ustawiaj jednego timeoutu na całe zapytanie. Plik na 50 megabajtów przy sufcie 5 megabitów będzie się pobierał uczciwie 80 sekund, a timeout 30 sekund zabije go w połowie, marnując połowę pasma. Właściwe podejście: timeout na połączenie (5–10 sekund), timeout na pierwszy bajt (10–20 sekund z uwzględnieniem możliwego bufferbloat) i timeout postępu — maksymalny odstęp między dwoma pomyślnie odczytanymi chunkami, zwykle 15–30 sekund. Czytasz ciało chunkami po 32–64 kilobajty, po każdym chunku aktualizujesz znacznik postępu.

Komponent 4: adaptacyjna równoległość według schematu AIMD

Sufit kanału mobilnego pływa, a statyczny semafor tego nie śledzi. Rozwiązanie — zarządzać równoległością dynamicznie na zasadzie addytywnego zwiększania i multiplikatywnego zmniejszania, dokładnie tak, jak robi to TCP:

  1. Co 10 sekund liczysz goodput za okno i medianę opóźnienia pierwszego bajtu.
  2. Jeśli opóźnienie jest poniżej półtora raza bazowego i nie ma błędów — zwiększasz limit semafora o jeden, do górnej granicy.
  3. Jeśli opóźnienie wzrosło ponad dwukrotność bazowego lub pojawiły się timeouty postępu — zmniejszasz limit o połowę, ale nie poniżej jednego.
  4. Opóźnienie bazowe mierzysz na początku pracy przy jednym połączeniu i przeliczasz raz na godzinę.

Taki kontroler w ciągu kilku minut znajduje komfortowy punkt i trzyma się go, automatycznie zacieśniając wieczorem i rozszerzając nocą. Widzieliśmy, jak podnosił dobowy goodput o 20–35 procent bez jednej zmiany sufitu.

Komponent 5: powtórzenia z wykładniczym opóźnieniem i jitterem

Timeout to sygnał przeciążenia, a nie zaproszenie do natychmiastowego powtórzenia. Powtórzenie od razu pogłębia kolejkę. Zasada: pierwsze powtórzenie po 1–2 sekundach, każde kolejne dwa razy dłużej, maksymalnie 5 prób, do każdego opóźnienia dodawany losowy jitter do 50 procent, żeby dziesięć strumieni nie obudziło się jednocześnie. Przy timeoutcie postępu na dużym pliku warto kontynuować od miejsca przerwania zapytaniem z nagłówkiem Range, jeśli serwer go obsługuje: pasmo wydane na pierwszą połowę nie przepadnie.

Komponent 6: kolejki priorytetowe

Podziel zadania na klasy: interaktywne (lekkie wywołania API, gdzie liczy się opóźnienie) i tła (ciężkie pobierania). Tła dostają udział wiadra, powiedzmy 70 procent, interaktywne — gwarantowany zapas. Jeśli limit jest na połączenie, a nie na sesję, wynoś klasy na różne połączenia. Jeśli to możliwe — na różne porty proxy. Wtedy jeden ciężki plik nie zablokuje setki drobnych zapytań.

Komponent 7: liczenie bajtów, a nie zapytań

Licz każdy odczytany bajt po porcie, po klasie i po docelowej domenie. Eksportuj do metryk. To właśnie te liczby pokażą, gdzie ucieka pasmo, i pozwolą planować budżet, o czym następna metoda.

Mini-szkielet w Pythonie

Schemat implementacji na asyncio i dowolnym asynchronicznym kliencie HTTP wygląda tak:

  1. Klasa TokenBucket z metodą async def take(n) według logiki z Komponentu 1.
  2. Klasa Channel: adres proxy, wiadro, semafor, liczniki, kontroler AIMD.
  3. Funkcja async def fetch(channel, url): pod semaforem otwiera zapytanie przez proxy, czeka na nagłówki z timeoutem pierwszego bajtu, potem w pętli czyta chunk = await resp.content.read(65536), przed tym wywołując await channel.bucket.take(len(chunk)), aktualizuje znacznik postępu i liczniki bajtów.
  4. Zadanie w tle async def tune(channel): raz na 10 sekund czyta metryki i koryguje rozmiar semafora.
  5. Otoczka powtórzeń z wykładniczym opóźnieniem i obsługą Range.

Ważny szczegół dla Pythona: standardowe klienty domyślnie buforują całą odpowiedź w pamięci. Upewnij się, że używasz trybu strumieniowego, inaczej backpressure nie będzie, a ogranicznik na czytaniu okaże się bezużyteczny. W Go analog zbudujesz na io.Reader z otoczką-limiterem i golang.org/x/time/rate; w Node.js — na pauzie i wznowieniu strumienia odpowiedzi.

Lista kontrolna klienta

  • Wiadro po stronie klienta z rate 85–90 procent sufitu.
  • Czytanie strumieniowe chunkami, limiter na czytaniu.
  • Trzy rozdzielne timeouty: połączenie, pierwszy bajt, postęp.
  • Semafor z adaptacyjnym sterowaniem po opóźnieniu.
  • Powtórzenia z wykładniczym opóźnieniem, jitterem i Range.
  • Rozdzielenie zadań interaktywnych i tła.
  • Równoległość na kilku połączeniach TCP, nie na multipleksie w jednym tunelu.
  • Liczenie bajtów po porcie, klasie i domenie.

Metoda 4: budżet ruchu i architektura obciążenia

Myśl w bajtach

Większość systemów planuje obciążenie w zapytaniach na sekundę. Ale ogranicznik pasma liczy bajty. Zapytanie do API na 4 kilobajty i pobranie strony na 3 megabajty to różnica 750 razy. Pierwszy krok metody — przelicz swój plan na bajty: ile odpowiedzi jakiego rozmiaru dostajesz na godzinę i czy wystarczy na to dobowy profil sufitu z karty kanału.

Prosta formuła: dobowa pojemność kanału w bajtach równa się sumie po czterech oknach iloczynu sufitu przez długość okna, pomnożonej przez współczynnik 0,8 na narzuty i zapas. Dla kanału z nocnym sufitem 20 megabitów i wieczornym 8 megabitów dobowa pojemność wyniesie około 120–130 gigabajtów. Jeśli twój plan wymaga 300, żadna optymalizacja kodu nie pomoże, potrzebne są kolejne kanały.

Zmniejszamy objętość na każde zapytanie

  • Kompresja: zawsze wysyłaj nagłówek Accept-Encoding z gzip i br. Odpowiedzi tekstowe zmniejszają się 4–8 razy. Jeśli twój klient nie rozpakowuje odpowiedzi automatycznie, włącz to.
  • Rezygnacja ze zbędnych zasobów: przy automatyzacji przeglądarki blokuj pobieranie obrazów, czcionek i mediów, jeśli nie są potrzebne do zadania. To oszczędza 60–80 procent ruchu strony.
  • Zapytania warunkowe: przechowuj ETag i Last-Modified, wysyłaj If-None-Match. Odpowiedź 304 waży setki bajtów zamiast megabajtów.
  • HEAD przed GET: jeśli chcesz sprawdzić istnienie lub rozmiar zasobu, nie pobieraj go.
  • Zapytania Range: gdy potrzebna jest tylko część pliku, na przykład metadane na początku, żądaj zakresu.
  • Pola API: wiele API obsługuje wybór pól odpowiedzi. Żądaj tylko potrzebnych.

Rozkład po kanałach

Jeśli kanałów jest kilka, nie dziel zadań po równo. Dziel proporcjonalnie do bieżącego sufitu, który mierzysz na bieżąco przez goodput każdego kanału. Scheduler trzyma kolejkę zadań i oddaje następne temu kanałowi, u którego wiadro jest luźniejsze, a opóźnienie niższe. Kanał, który popadł w degradację, automatycznie dostaje mniej pracy, bez ręcznej interwencji.

Planowanie w czasie

Objętościowe zadania tła przenoś do okien nocnych, kiedy sufit jest wyższy. Interaktywne i pilne — rozkładaj równomiernie, ale z zapasem pasma. Brzmi banalnie, ale w praktyce mało kto buduje scheduler z uwzględnieniem dobowego profilu kanału. Różnica w dobowym goodput przy takim planowaniu — do 40 procent na tym samym zestawie kanałów.

Bezpiecznik

Zaprogramuj w kliencie twardy bezpiecznik: jeśli goodput kanału za ostatnie dwie minuty spadnie poniżej 20 procent mediany z karty, a opóźnienie wzrosło ponad czterokrotnie, kanał zostaje tymczasowo wyłączony z rotacji na 5 minut. To chroni przed sytuacją, gdy przeciążona komórka lub problematyczny węzeł wciąga cały system w nieskończone powtórzenia.

Lista kontrolna budżetu

  • Plan przeliczony na bajty według klas zadań.
  • Dobowa pojemność kanałów policzona według profilu z zapasem 20 procent.
  • Kompresja, blokowanie zbędnych zasobów, zapytania warunkowe, Range zastosowane.
  • Scheduler rozdziela według bieżącego goodput, nie po równo.
  • Objętościowe zadania przesunięte w okna wysokiego sufitu.
  • Bezpiecznik po goodput i opóźnieniu skonfigurowany.

Typowe błędy: czego na pewno nie robić

Dodawać strumienie, aż zrobi się szybciej

Najczęstszy błąd. Przy wspólnym limicie na sesję dodatkowe strumienie tylko wydłużają kolejkę shapera. Prędkość nie rośnie, opóźnienie rośnie, timeouty sypią się. Przy policerze — rosną straty i agregat może wręcz spaść. Wzrost równoległości jest uzasadniony tylko do punktu, gdzie krzywa agregatu wyszła na płaskowyż.

Jeden timeout na całe zapytanie

Zabija uczciwie idące duże pobierania w połowie i marnuje pasmo. Używaj timeoutu postępu.

Natychmiastowe powtórzenia

Przy przeciążeniu powtórzenie bez pauzy podwaja obciążenie kolejki. Dziesięć strumieni powtarzających jednocześnie urządza mały sztorm. Wykładnicze opóźnienie i jitter są obowiązkowe.

Mierzyć sufit jednym pomiarem

Jedna liczba o 14:00 we wtorek nic nie mówi o zachowaniu kanału o 20:00 w piątek. Bez profilu dobowego albo niedociążysz kanał, albo zbudujesz system na nieistniejącym paśmie.

Mierzyć przeciw wolnemu źródłu

Publiczny serwer z obciążonym uplinkiem pokaże ci swój sufit, a nie sufit proxy. Sprawdzaj źródło bezpośrednio.

Buforować odpowiedź w całości

Bez czytania strumieniowego nie ma backpressure. Klient „połyka” wszystko, co daje proxy, a limiter na kliencie nie działa. Plus pamięć na duże odpowiedzi.

Multipleksować wszystko w jednym tunelu

HTTP/2 w jednym CONNECT przy limicie na połączenie dzieli pasmo między wszystkie zapytania i tworzy blokowanie głowy kolejki. Kilka połączeń TCP jest przez proxy prawie zawsze efektywniejsze.

Ignorować kompresję

Wyłączone Accept-Encoding oznacza, że płacisz pasmem za tekst w formie nieskompresowanej. Pięciokrotna różnica na pustym miejscu.

Mylić pasmo z opóźnieniem

Kanał na 50 megabitów z RTT 400 milisekund dla setki drobnych wywołań API jest wolniejszy niż kanał na 10 megabitów z RTT 60 milisekund. Oceniaj oba parametry pod swój profil ruchu.

Liczyć zapytania, a nie bajty

Planowanie w zapytaniach na sekundę nie uwzględnia rozmiaru odpowiedzi i prowadzi do niespodziewanego trafienia w sufit.

Narzędzia i zasoby

Do pomiarów

  • curl — uniwersalne narzędzie do szybkich pomiarów przez proxy. Klucz wyjścia zmiennych czasu daje średnią prędkość, czas do pierwszego bajtu, czas połączenia. Do zapisu sekundowego wygodniej napisać dziesięć linijek w Pythonie.
  • iperf3 — do pomiaru czystego pasma między twoją maszyną a twoim serwerem bezpośrednio, żeby wykluczyć własne wąskie gardło. Przez proxy HTTP nie działa, ale jako kontrola źródła jest niezastąpiony.
  • ss z kluczem -ti — statystyki połączeń TCP na Linuksie: RTT, okno przeciążenia, retransmisje, algorytm kontroli przeciążenia. Główny darmowy detektor policera.
  • tcpdump i Wireshark — gdy trzeba zobaczyć, co dokładnie dzieje się na poziomie pakietów: wzorce strat, opóźnienia potwierdzeń, zachowanie okna.
  • mtr — traceroute ze stratami po węzłach, pomaga zrozumieć, gdzie dokładnie powstają straty na drodze do proxy.

Do lokalnej emulacji

Zanim przetestujesz kod na prawdziwym proxy, zbuduj stanowisko. Na Linuksie narzędzie tc z dyscyplinami tbf (token bucket filter) i netem pozwala emulować shaper z zadanym rate i burst, policer, opóźnienie i straty. Możesz odtworzyć kartę kanału lokalnie i ganiać klienta przeciw niej ile chcesz, nie tracąc ruchu i nie zależąc od pory dnia. Programiści, którzy zakładają takie stanowisko, debugują klienta o rzędy wielkości szybciej.

Do kodu

  • Python: asyncio, aiohttp lub httpx w trybie strumieniowym, własny token bucket w 20 linijkach. Gotowe biblioteki limiterów są, ale większość ogranicza zapytania, a nie bajty, więc własna implementacja jest pewniejsza.
  • Go: pakiet rate z rozszerzonej biblioteki standardowej, otoczka nad io.Reader do limitowania czytania, kontekst z deadline'ami dla timeoutów.
  • Node.js: strumień odpowiedzi z ręcznym sterowaniem pauzą i wznowieniem, biblioteki do semaforów i powtórzeń.

Do obserwowalności

Eksportuj metryki goodput, opóźnienia pierwszego bajtu, liczby aktywnych połączeń, timeoutów i powtórzeń po każdym porcie proxy do systemu zbierania metryk i buduj panele. Sygnatury ogranicznika widać na wykresach w minutę, a anomalie kanału — długo przed tym, jak przewrócą zadanie. Bez obserwowalności adaptacyjnego kontrolera nie da się ani skonfigurować, ani sprawdzić.

Co poczytać

Specyfikacje RFC dotyczące kontroli przeciążenia TCP i algorytmów aktywnego zarządzania kolejką dają głębokie zrozumienie, dlaczego shapery zachowują się właśnie tak. Dokumentacja Linuksa o dyscyplinach kolejek tc — praktyczny podręcznik do emulacji. Artykuły o bufferbloat wyjaśniają, dlaczego głębokie bufory szkodzą i jak się z tym walczy na poziomie sprzętu sieciowego.

Przypadki i wyniki

Przypadek 1: parser katalogu marketplace, który „umierał” wieczorem

Zadanie: codzienne obejście katalogu, około 400 tysięcy stron, przez osiem kanałów mobilnych. Objawy: nocą system wyrabiał się w pięć godzin, wieczorem — timeouty na co trzecim zapytaniu, dobowy plan nie był wykonywany.

Pomiar według Metody 1 pokazał: nocny sufit kanału około 18 megabitów, wieczorny — 6–7. Metoda 2: shaper z głęboką kolejką, opóźnienie pod obciążeniem rosło z 90 do 1400 milisekund, limit wspólny na sesję. Klient używał 32 strumieni na kanał i jednego timeoutu 20 sekund.

Co zrobiliśmy: wprowadziliśmy wiadro po stronie klienta na 85 procent bieżącego sufitu, zmniejszyliśmy startową równoległość do 6 z adaptacyjnym kontrolerem, zastąpiliśmy timeout trójpoziomowym, włączyliśmy kompresję i blokowanie obrazów (strony zaczęły ważyć 180 kilobajtów zamiast 1,4 megabajta). Wynik: wieczorny odsetek timeoutów spadł z 33 do 0,4, dobowy goodput wzrósł o 41 procent przy tym samym zestawie kanałów, obejście zaczęło się mieścić w 7 godzinach o każdej porze. Najbardziej wymowne: zmniejszenie równoległości z 32 do 6 zwiększyło użyteczną prędkość, a nie zmniejszyło.

Przypadek 2: eksport plików mediów i policer

Zadanie: pobieranie wideo po 40–200 megabajtów z publicznego hostingu przez proxy, około 2 terabajtów miesięcznie. Objawy: poszarpana prędkość, średnia o połowę niższa od deklarowanej, częste przerwania w połowie pliku.

Pomiar pokazał klasyczną piłę: zapadnięcia na 40–50 procent co kilka sekund, stabilny RTT, licznik retransmisji rósł o dziesiątki na sekundę. Policer z limitem na połączenie około 12 megabitów, agregat do 4 strumieni rósł prawie liniowo.

Co zrobiliśmy: rozbiliśmy każdy plik na cztery części po Range i pobieraliśmy równolegle czterema połączeniami, każde z wiadrem po stronie klienta na 10 megabitów, tuż poniżej limitu policera, żeby nie prowokować strat. Dodaliśmy dociąganie po Range przy timeoutcie postępu. Wynik: średnia prędkość na plik wzrosła z 5,5 do 36 megabitów, przerwania przestały powodować utratę pobranego, miesięczna objętość zaczęła przechodzić w 12 dni zamiast 30. Policera nie da się oszukać, ale można nie dawać mu powodu do odrzucania pakietów.

Przypadek 3: mieszane obciążenie API i pobieraniami

Zadanie: jednoczesna praca z API platformy społecznościowej (tysiące drobnych zapytań) i eksport mediów w tle przez te same kanały. Objawy: wywołania API okresowo wpadały w opóźnienie 3–5 sekund, platforma zaczynała uznawać klienta za wolnego.

Diagnoza: shaper na sesję, pobierania w tle zapełniały kolejkę, drobne zapytania stawały za nimi. Klasyczny bufferbloat w jednej sesji.

Co zrobiliśmy: rozdzieliliśmy klasy na różne porty proxy jednego węzła; na portach pobierań w tle wiadro na 70 procent ich sufitu, na portach API — równoległość nie wyższa niż 3 i priorytet po opóźnieniu. Wynik: dziewięćdziesiąty percentyl opóźnienia API spadł z 3,8 sekundy do 210 milisekund, pobierania w tle zwolniły o 12 procent, co było do przyjęcia. Ogólna efektywność systemu, mierzona w udanych operacjach na godzinę, wzrosła o 27 procent.

FAQ: trudne pytania o pasmo i shaping

Dlaczego przy jednym strumieniu prędkość to 8 megabitów, a przy dziesięciu — te same 8, ale wszystko stało się wolniejsze?

Limit stoi na sesję, a nie na połączenie. Dziesięć strumieni dzieli jeden rate i zapełnia kolejkę shapera. Pasmo nie rośnie, a opóźnienie rośnie proporcjonalnie do głębokości kolejki. Optymalnie trzymać 2–4 strumienie i limitować czytanie po stronie klienta.

Jak rozpoznać, że trafiłem w kanał radiowy, a nie w ustawienie proxy?

Ustawienie daje stabilny płaskowyż z „okrągłą” liczbą o różnych porach dnia i identyczny kształt wyjścia. Kanał radiowy daje pływające nieokrągłe wartości i wysoki współczynnik zmienności, zwłaszcza wieczorem. Dodatkowo porównaj dwa porty jednego węzła jednocześnie: jeśli suma jest wyższa niż jeden port, limit stoi na port, a nie na modem.

Czy warto stawiać BBR na swoim serwerze, jeśli pracuję przez proxy?

BBR wpływa na strumień wychodzący z twojego serwera. Jeśli oddajesz dane przez proxy, pomoże trzymać kolejkę shapera pustą i zmniejszy opóźnienie. Na strumień przychodzący od docelowych stron do ciebie nie wpływa: tam steruje nadawca. Dla strony klienta ważniejszy jest limiter na czytaniu.

Jak dużo poniżej sufitu trzymać wiadro po stronie klienta?

Dla shapera — 85–90 procent ustalonego sufitu: kolejka prawie pusta, opóźnienie niskie, strata pasma minimalna. Dla policera — 80–85 procent limitu na połączenie, żeby nie prowokować odrzucania. Dla niestabilnego kanału radiowego lepiej powierzyć punkt adaptacyjnemu kontrolerowi, a wiadro ustawić według profilu wieczornego.

Czy można używać HTTP/2 przez proxy do przyspieszenia?

Przez tunel CONNECT HTTP/2 do docelowej strony działa, ale wszystkie strumienie dzielą jedno połączenie TCP i jeden limit, jeśli jest na połączenie. Plus blokowanie głowy kolejki przy nasyceniu. Do ciężkich zadań kilka połączeń HTTP/1.1 przez proxy zwykle daje lepszy goodput i przewidywalne opóźnienie.

Jak dokładniej zmierzyć rozmiar wiadra burst?

Daj kanałowi pauzę 30–60 sekund, zapisz bajty z rozdzielczością 100 milisekund, znajdź punkt załamania do ustalonej prędkości, policz nadwyżkę nad ustaloną linią. Powtórz pięć razy, weź medianę. Dokładność około 15 procent wystarczy do planowania.

Co robić, jeśli timeouty pojawiają się tylko na konkretnych domenach?

Najprawdopodobniej wąskie gardło nie jest w proxy, ale na drodze od proxy do tej domeny lub na samej domenie. Zmierz sufit przeciw swojemu źródłu referencyjnemu w tym samym momencie: jeśli jest w normie, ograniczenie jest zewnętrzne. W kodzie wydziel takiej domenie osobną klasę z mniejszą równoległością i dłuższym timeoutem pierwszego bajtu.

Jak poznać, że adaptacyjny kontroler działa poprawnie?

Na wykresach równoległość powinna płynnie spadać wieczorem i rosnąć nocą, opóźnienie pierwszego bajtu — trzymać się w granicach półtora-dwóch wartości bazowych, udział timeoutów — poniżej jednego procenta. Jeśli równoległość szarpie między minimum a maksimum co minutę, okno oceny jest za krótkie lub próg reakcji za czuły.

Czy trzeba uwzględniać szyfrowanie przy liczeniu bajtów?

TLS dodaje 2–5 procent narzutów na nagłówki rekordów i uzgodnienia. Do planowania budżetu wystarczy współczynnik 0,8 na wszystko razem z TCP/IP. Do dokładnego liczenia licz bajty na poziomie gniazda, a nie na poziomie ciała odpowiedzi.

Zakończenie: od domysłów do zarządzanego pasma

Przeszliśmy drogę od podstawowych pojęć do architektury klienta, który nie walczy z ogranicznikiem, a dogaduje się z nim. Podsumujmy najważniejsze.

  • Sufit to minimum po kilku poziomach, a dla kanałów mobilnych pływa w ciągu doby. Jedna liczba nic nie znaczy, potrzebny jest profil.
  • Shaper i policer wymagają różnego kodu. Shaper karze opóźnieniem, policer — stratami. Można je rozróżnić w dziesięć minut testem opóźnienia pod obciążeniem i statystyką retransmisji.
  • Nasycenie to nie kwestia prędkości, a kolejki. Bufferbloat zamienia szybki kanał w lepki i zabija drobne zapytania, zanim spadnie prędkość dużych.
  • Klient powinien czytać strumieniowo, limitować czytanie nieco poniżej sufitu, używać trzech rozdzielnych timeoutów, adaptacyjnie zarządzać równoległością i powtarzać z opóźnieniem.
  • Planuj bajty, a nie zapytania. Kompresja, rezygnacja ze zbędnych zasobów i zapytania warunkowe często dają więcej niż jakiekolwiek sztuczki ze strumieniami.

Co dalej? Dziś: postaw źródło referencyjne i zdejmij kartę kanału według Metod 1 i 2 przynajmniej dla jednego portu. W tym tygodniu: zbuduj lokalne stanowisko na tc, odtwórz kartę i przepisz klienta według listy kontrolnej Metody 3. W ciągu miesiąca: włącz liczenie bajtów, zbuduj panele i skonfiguruj adaptacyjny kontroler, potem przelicz budżet ruchu według Metody 4.

Pasmo przestaje być źródłem niespodzianek dokładnie w tym momencie, gdy zaczynasz je mierzyć i szanować. Kod napisany ze zrozumieniem ogranicznika działa nie tylko szybciej. Działa przewidywalnie, a w zadaniach infrastrukturalnych przewidywalność jest główną walutą.