Timeouty klienta HTTP przez proxy: connect, read, write i ogólny budżet żądania
Spis treści
- Wprowadzenie: dlaczego timeouty przez proxy zasługują na osobną rozmowę
- Podstawy: czym jest timeout i z jakich faz składa się żądanie
- Głębokie zanurzenie: co fizycznie się dzieje przy przekroczeniu każdego timeoutu
- Metoda 1: konfiguracja connect timeout z uwzględnieniem dwóch przeskoków
- Metoda 2: read timeout jako interwał bezczynności i ochrona pierwszego bajtu
- Metoda 3: write timeout i praca z dużymi ciałami żądania
- Metoda 4: ogólny budżet żądania i propagacja deadlinu
- Metoda 5: obserwowalność timeoutów i adaptacyjna konfiguracja
- Typowe błędy: czego nie robić
- Narzędzia i zasoby
- Przypadki i wyniki
- Faq: trudne pytania o timeouty przez proxy
- Zakończenie: timeouty jako dyscyplina inżynierska
Wprowadzenie: dlaczego timeouty przez proxy zasługują na osobną rozmowę
Wyobraź sobie: twój scraper działa już trzecią dobę, zużywa transfer mobilnych proxy, a na wyjściu — połowa pustych rekordów i logi zapełnione słowami timeout, connection reset i remote end closed connection. Znajome? Widzieliśmy dziesiątki takich systemów i prawie zawsze źródło problemu jest jedno: timeouty ustawione „na oko” — jedna magiczna liczba, np. 30 sekund na wszystko naraz. Przez bezpośrednie połączenie to jeszcze jakoś działa. Przez proxy, szczególnie mobilne — już nie.
Rzecz w tym, że proxy dodaje do łańcucha jeszcze jeden odcinek sieci, jeszcze jeden zestaw kolejek i jeszcze jeden węzeł, który ma własne timeouty. Żądanie przechodzi nie przez jedną fazę oczekiwania, a przez pięć-sześć, i na każdej można „zawiesić się” z różnych powodów. Jeden wspólny limit nie rozróżnia, gdzie dokładnie utknąłeś: na uzgadnianiu TCP z proxy, na ustanawianiu tunelu do docelowej witryny, na wolnym pierwszym bajcie odpowiedzi czy na transmisji dużego ciała.
Ten artykuł traktuje o architekturze oczekiwania. Przeanalizujemy, z jakich faz składa się żądanie HTTP przez proxy, jaki timeout odpowiada za każdą fazę, co fizycznie się dzieje, gdy zostanie przekroczony, i jak złożyć z osobnych limitów spójny, ogólny budżet. Ważne, by od razu odciąć się od pokrewnego tematu: tutaj nie omawiamy kodów odpowiedzi 429 czy 503 ani strategii ponowień z wykładniczym opóźnieniem. To osobna warstwa — reakcja na to, że serwer już odpowiedział. Tu mowa o sytuacjach, gdy odpowiedzi nie ma wcale, i o tym, jak długo jesteśmy gotowi na nią czekać na każdym poziomie.
Po lekturze będziesz umiał: rozłożyć dowolne żądanie na fazy i przypisać każdej własny limit; wyjaśnić, dlaczego klient pokazał timeout, a serwer jednak wykonał akcję; prawidłowo uzgodnić timeouty klienta, puli połączeń i samego proxy; i, co najważniejsze, przestać tracić dane i pieniądze na bezcelowe oczekiwanie.
Podstawy: czym jest timeout i z jakich faz składa się żądanie
Timeout jako kontrakt na oczekiwanie
Timeout to maksymalny czas, przez jaki klient zgadza się czekać na wystąpienie określonego zdarzenia, zanim uzna próbę za nieudaną i zwolni zasoby. Kluczowe słowo: określonego. Nie istnieje coś takiego jak „timeout żądania w ogóle”. Jest timeout na nawiązanie połączenia TCP, timeout na uzgadnianie TLS, timeout na oczekiwanie danych z gniazda, timeout na zapis do gniazda, timeout na oczekiwanie wolnego połączenia w puli i wreszcie ogólny deadline całej operacji.
Dobra analogia — podróż z przesiadkami. Masz czas na dojazd na dworzec, czas oczekiwania na pociąg, czas w drodze, czas na przesiadkę. I jest ogólny limit: o dziewiątej rano musisz być na spotkaniu. Jeśli kontrolujesz tylko ogólny limit, o problemie dowiesz się, gdy już się spóźnisz. Jeśli kontrolujesz każdy etap, możesz podjąć decyzję wcześniej: na przykład wziąć taksówkę, bo autobus nie przyjechał przez dziesięć minut.
Fazy żądania HTTP przez bezpośrednie połączenie
Nawet bez proxy żądanie to sekwencja kroków:
- Rozwiązanie nazwy (DNS). Klient zamienia nazwę domenową na adres IP. Zwykle zajmuje od kilku do kilkuset milisekund, ale przy problemach z resolverem może wisieć sekundami.
- Połączenie TCP. Trójstronne uzgadnianie: SYN, SYN-ACK, ACK. Wymaga jednego pełnego obiegu (RTT) do serwera.
- Uzgadnianie TLS dla HTTPS. Jeszcze jeden-dwa obiegi w zależności od wersji protokołu.
- Wysłanie żądania (write). Nagłówki i ciało są zapisywane do gniazda. Dla małych żądań natychmiast, dla przesyłania plików — zauważalny czas.
- Oczekiwanie na pierwszy bajt odpowiedzi (TTFB). Serwer myśli: wykonuje zapytania do bazy, renderuje stronę, chodzi do swoich mikrousług.
- Odczyt ciała odpowiedzi (read). Dane przychodzą porcjami; między porcjami bywają pauzy.
Co dodaje proxy
Proxy rozrywa ten łańcuch na dwie części. Klient ustanawia połączenie z serwerem proxy, a proxy samo ustanawia połączenie z docelowym węzłem. Dla HTTPS przez proxy HTTP używa się metody CONNECT: klient prosi proxy o otwarcie tunelu TCP do hosta i portu, proxy odpowiada statusem 200, i dopiero wtedy klient rozpoczyna uzgadnianie TLS już z docelowym serwerem przez tunel. Dla SOCKS5 logika jest analogiczna: jest faza powitania i uwierzytelnienia z proxy, potem komenda ustanowienia połączenia z celem, potem oczekiwanie na potwierdzenie.
Powstaje rozszerzona lista faz:
- Rozwiązanie DNS adresu proxy (jeśli jest podane domeną).
- Połączenie TCP z proxy.
- Uwierzytelnienie i komenda ustanowienia tunelu (CONNECT lub żądanie SOCKS).
- Oczekiwanie, aż proxy rozwiąże nazwę docelowego hosta i ustanowi z nim połączenie TCP — ta faza zachodzi po stronie proxy, ale klient na nią czeka.
- Uzgadnianie TLS z docelowym serwerem przez tunel.
- Wysłanie żądania HTTP.
- Oczekiwanie na pierwszy bajt odpowiedzi.
- Odczyt ciała.
Zwróć uwagę na czwarty punkt. Właśnie tu kryje się główna pułapka mobilnych proxy. Sam serwer proxy stoi zwykle w centrum danych, a połączenie TCP do niego ustanawia się w dziesiątkach milisekund. Ale dalej ruch wychodzi przez modem komórkowy, gdzie RTT wynosi 40–120 milisekund, a przy przeciążonej stacji bazowej skacze do pół sekundy i więcej. Rozwiązanie nazwy i uzgadnianie z celem na tym odcinku łatwo zajmują jedną-dwie sekundy. Klient, który traktuje „connect timeout” tylko do proxy, będzie pewien, że połączenie ustanowiono natychmiast, a potem utknie w niezrozumiałym oczekiwaniu na kolejnym kroku.
Głębokie zanurzenie: co fizycznie się dzieje przy przekroczeniu każdego timeoutu
Ustawienie liczby to połowa sukcesu. Znacznie ważniejsze jest zrozumienie, w jakim stanie pozostaje system po przekroczeniu limitu. Przeanalizujmy po fazach.
Przekroczenie connect timeout
Klient wysłał SYN i nie otrzymał SYN-ACK w wyznaczonym czasie. System operacyjny sam powtarza SYN według schematu wykładniczego: 1, 2, 4, 8 sekund i tak dalej, łącznie do 60–120 sekund domyślnie w popularnych jądrach. Twój connect timeout przerywa to oczekiwanie wcześniej. Gniazdo zostaje zamknięte, żadne dane nie poszły do serwera, stan po stronie zdalnej się nie zmienił. To najbezpieczniejszy rodzaj timeoutu: powtarzanie takiej próby nie zagraża idempotentności.
Przez proxy obraz jest nieco bardziej złożony. Jeśli TCP do proxy jest ustanowione, a zawiesiła się faza CONNECT, klient już wysłał proxy komendę i czeka na status. Przy przekroczeniu klient zamyka gniazdo do proxy. Proxy zauważy zamknięcie i z reguły przerwie swoją próbę połączenia z celem. Ale nie zawsze natychmiast: niektóre implementacje najpierw doczekują własnego timeoutu upstream i dopiero potem zwalniają zasoby. Dla klienta jest to niewidoczne, ale na serwerze proxy gromadzą się wpółotwarte połączenia, co przy masowym obciążeniu obniża jego przepustowość.
Ważny niuans: w różnych bibliotekach klienckich faza CONNECT jest uwzględniana różnie. W jednych podlega connect timeout, w innych — nie jest pokryta niczym poza ogólnym deadlinem żądania. Jeśli nie masz ogólnego deadlinu, a CONNECT się zawiesi, żądanie może wisieć nieograniczenie długo. Sprawdzić to nietrudno: skieruj klienta na proxy, które przyjmuje TCP, ale nie odpowiada na CONNECT (taką atrapą może być zwykły serwer TCP bez logiki), i zobacz, po ilu sekundach klient się podda.
Przekroczenie TLS handshake timeout
Tunel TCP przez proxy jest otwarty, klient wysłał ClientHello, a ServerHello nie przyszedł. Przyczyny: wolny kanał modemu, utrata pakietu na odcinku mobilnym, przeciążony docelowy serwer, który przyjmuje TCP, ale nie zdąża obsłużyć TLS. Przy przekroczeniu gniazdo zostaje zamknięte, żądanie HTTP jeszcze nie zostało wysłane, stan na serwerze się nie zmienił. Również bezpieczne dla ponowienia.
Praktyczna obserwacja: przez kanały mobilne uzgadnianie TLS jest częstym punktem opóźnień, bo wymaga kilku obiegów pod rząd, a każdy zgubiony pakiet dodaje sekundę na retransmisję. Przejście na TLS 1.3 zmniejszyło liczbę obiegów, co zauważalnie obniżyło udział takich timeoutów.
Przekroczenie write timeout
Klient pisze ciało żądania do gniazda, a bufor wysyłki jest zapełniony i się nie zwalnia: zdalna strona nie czyta lub nie potwierdza odbioru. Przy przekroczeniu część danych mogła już dotrzeć do serwera. Jeśli to przesyłanie pliku lub wysyłka formularza — serwer mógł otrzymać fragment. Zwykle niepełne ciało prowadzi do błędu parsowania po stronie serwera, ale dla protokołów strumieniowych i wieloczęściowych przesyłów skutki zależą od implementacji. Ponowienie takiego żądania wymaga ostrożności.
Przekroczenie read timeout
Tu zaczyna się najciekawsze i najniebezpieczniejsze. Żądanie zostało wysłane w całości. Klient czeka na dane i nie przychodzą w wyznaczonym interwale. Klient zamyka gniazdo i wyrzuca wyjątek. Ale co dzieje się po drugiej stronie?
Proxy widzi, że klient zamknął połączenie. Dobre proxy w tym momencie zamknie także połączenie upstream do docelowego serwera. Ale docelowy serwer już otrzymał żądanie i już je przetwarza. Jeśli to POST, który tworzy zamówienie, obciąża saldo lub wysyła wiadomość — akcja z dużym prawdopodobieństwem zostanie wykonana. Serwer dowie się o rozłączeniu dopiero, gdy spróbuje zapisać odpowiedź i dostanie błąd. Do tego momentu transakcja w bazie dawno się zakończyła.
To fundamentalna cecha read timeout: mówi ci, że nie doczekałeś się odpowiedzi, ale nie mówi nic o tym, czy akcja się wykonała. Dlatego właśnie dla operacji nieidempotentnych read timeout powinien być obsługiwany inaczej niż connect timeout, i dlatego poważne API wymagają kluczy idempotentności.
Jeszcze jeden niuans — gdzie dokładnie utknąłeś. Read timeout przekracza się zarówno przy oczekiwaniu na pierwszy bajt (serwer myśli), jak i przy pauzie między porcjami ciała (serwer oddaje dane strumieniem z opóźnieniami). Wiele bibliotek traktuje read timeout jako interwał bezczynności między dwoma udanymi odczytami z gniazda, a nie jako całkowity czas czytania. To znaczy, że odpowiedź o rozmiarze setek megabajtów, przychodząca z prędkością jednego kilobajta na sekundę, nigdy nie wywoła read timeoutu 10 sekund — dane przecież przychodzą regularnie. Bez ogólnego deadlinu takie żądanie może wisieć godzinami.
Co widzi proxy i co zwraca
Proxy ma własne timeouty i one rodzą inne objawy. Jeśli proxy nie zdążyło połączyć się z celem w swoim limicie, zwróci klientowi odpowiedź na CONNECT ze statusem 502 lub 504 — i z punktu widzenia klienta to nie timeout, a błąd proxy. Jeśli proxy czekało na odpowiedź od celu i się nie doczekało, też może zwrócić 504 Gateway Timeout już wewnątrz odpowiedzi HTTP (dla zwykłego HTTP bez tunelu). A jeśli u proxy zadziałał limit bezczynności na tunelu, klient zobaczy nagłe zerwanie połączenia — connection reset lub pustą odpowiedź — bez żadnego timeoutu po swojej stronie.
Stąd zasada: timeout klienta musi być uzgodniony z timeoutami proxy. Jeśli proxy rwie tunel po 60 sekundach bezczynności, a twój read timeout to 90 sekund, nigdy nie zobaczysz timeoutu — będziesz widzieć zagadkowe zerwania. Jeśli proxy daje 30 sekund na połączenie z celem, a twój limit na tę fazę to 10 sekund, poddasz się wcześniej i nie dowiesz się, że proxy mogłoby zdążyć.
Metoda 1: konfiguracja connect timeout z uwzględnieniem dwóch przeskoków
Teoria: co pokrywa i co powinien pokrywać
Connect timeout ogranicza ustanowienie połączenia transportowego. Przez proxy rodzi to pytanie: połączenie z kim? Formalnie — z proxy. Praktycznie — ważne jest dla nas, kiedy otrzymamy gotowy tunel do celu. Dlatego zalecamy myślenie dwoma osobnymi limitami, nawet jeśli biblioteka daje jeden parametr.
Limit pierwszego przeskoku — TCP do serwera proxy. Proxy stoi w centrum danych, RTT do niego jest stabilne. Punkt odniesienia: 5–8 RTT, ale nie mniej niż 2 sekundy i nie więcej niż 5. Jeśli proxy nie odpowiada na SYN przez 3 sekundy — jest albo przeciążone, albo niedostępne, i dalsze czekanie nie ma sensu; lepiej przełączyć się na inny adres z puli.
Limit drugiego przeskoku — czas od wysłania CONNECT do otrzymania statusu 200. Tu działa kanał mobilny. Punkt odniesienia zależy od tego, gdzie znajduje się cel, i od jakości sieci komórkowej: typowo 3–10 sekund. Obserwowaliśmy, że 95. percentyl czasu ustanowienia tunelu przez LTE do popularnych witryn mieści się w 1,5–2,5 sekundy, a 99. — w 4–6 sekund. Ustawienie limitu poniżej 99. percentyla oznacza tracenie co setnego żądania z własnej inicjatywy.
Jak zmierzyć własne wartości
- Zbierz próbę co najmniej 500 żądań przez swoje proxy do docelowych hostów o różnych porach dnia.
- Loguj osobno czas do ustanowienia TCP z proxy, czas do odpowiedzi na CONNECT, czas uzgadniania TLS. Większość klientów potrafi zwracać takie metryki: w curl to zmienne time_connect i time_appconnect, w Go — hooki httptrace, w klientach Pythona — zdarzenia śledzenia lub pomiary wokół faz.
- Zbuduj rozkład. Interesują cię p50, p95, p99 i maksimum.
- Ustaw limit na poziomie p99 plus 30–50 procent zapasu. Nie na maksimum — wartości skrajne zawsze występują, a dostosowywanie się do nich oznacza trzymanie zasobów dla pojedynczych anomalii.
- Weryfikuj raz na kwartał lub przy zmianie operatora, regionu, taryfy proxy.
Praktyka w różnych klientach
W bibliotece Python requests timeout podaje się jako krotkę, gdzie pierwsza wartość to connect, druga to read. Przez proxy pierwsza wartość pokrywa TCP do proxy i z reguły oczekiwanie na odpowiedź na CONNECT, bo tunel ustanawia się na tym samym gnieździe z tym samym limitem. Przykład:
resp = session.get(url, proxies=proxies, timeout=(5, 20))W httpx jest osobny obiekt Timeout z czterema polami: connect, read, write i pool. To najbardziej przejrzysty model wśród klientów Pythona:
timeout = httpx.Timeout(connect=5.0, read=20.0, write=10.0, pool=3.0)W curl dwa kluczowe flagi: --connect-timeout ustawia limit ustanowienia połączenia, w tym CONNECT i TLS, a --max-time — ogólny pułap. W Go timeout na ustanowienie TCP ustawia się przez Dialer w Transport, TLS — przez TLSHandshakeTimeout, a fazę CONNECT ogranicza kontekst żądania. W Java HttpClient connectTimeout konfiguruje się na builderze klienta, a limit żądania — na samym żądaniu. W Node.js przez undici jest connectTimeout, headersTimeout i bodyTimeout, plus AbortSignal dla ogólnego deadlinu.
Lista kontrolna dla connect timeout
- Wartość nie mniejsza niż 2 i nie większa niż 10 sekund odpowiednio dla proxy datacenter i mobilnego.
- Dokładnie wiesz, czy twój klient pokrywa fazę CONNECT tym limitem.
- Przy przekroczeniu przełączasz się na inne proxy z puli, a nie dobijasz do tego samego.
- Uwzględniono, że system sam ponawia SYN — twój limit musi być krótszy niż systemowy.
- Dla hostów IPv6 włączony fallback na IPv4 (Happy Eyeballs), inaczej nieudana ścieżka IPv6 zje cały limit.
Metoda 2: read timeout jako interwał bezczynności i ochrona pierwszego bajtu
Dwa różne zadania pod jedną nazwą
Read timeout rozwiązuje dwa zadania i warto je rozdzielać myślowo, nawet jeśli biblioteka daje jeden parametr.
Oczekiwanie na pierwszy bajt. To czas pracy serwera nad twoim żądaniem. Dla stron statycznych — dziesiątki milisekund. Dla wyników wyszukiwania marketplace z filtrami — od pół sekundy do kilku sekund. Dla ciężkich API raportowych — dziesiątki sekund. Przez mobilne proxy dochodzi do tego opóźnienie kanału na drodze powrotnej.
Pauza między porcjami ciała. Serwer już oddaje dane, ale z przerwami: generuje stronę po kawałku, streamuje wynik lub po prostu opiera się o wąski kanał. Tu ważna jest nie sumaryczna wielkość, a maksymalna cisza.
Niektóre klienty mają osobne parametry. W Go to ResponseHeaderTimeout dla pierwszego bajtu nagłówków i osobne mechanizmy dla ciała. W undici — headersTimeout i bodyTimeout. W większości klientów Pythona jeden read timeout działa jako interwał bezczynności na każdym etapie czytania.
Jak wybierać wartość
- Określ charakter docelowych odpowiedzi. Strona HTML i strumieniowy JSON wymagają różnych limitów.
- Zmierz TTFB przez swoje proxy. Weź p99 i pomnóż przez 1,5. Dla typowego web scrapingu przez kanał mobilny wychodzi 8–15 sekund.
- Zmierz maksymalną pauzę między chunkami na próbie udanych odpowiedzi. Zwykle jest kilkukrotnie mniejsza niż TTFB: 1–3 sekundy. Jeśli klient pozwala — ustaw bodyTimeout osobno i ostrzej.
- Nigdy nie polegaj na read timeout jako ochronie przed wolnym oddawaniem. Do tego służy ogólny deadline (Metoda 4).
Co robić przy przekroczeniu
Tu pojawia się główne pytanie: można powtórzyć? Odpowiedź zależy od metody i semantyki:
- GET, HEAD, OPTIONS — można powtarzać, stan serwera się nie zmienił (o ile witryna nie łamie semantyki protokołu).
- PUT z pełnym ciałem, DELETE — formalnie idempotentne, ponowienie bezpieczne.
- POST bez klucza idempotentności — ponowienie może stworzyć duplikat. Prawidłowa reakcja: nie powtarzać na ślepo, tylko najpierw sprawdzić stan innym żądaniem lub oznaczyć operację jako „nieznany wynik” do późniejszej weryfikacji.
- POST z kluczem idempotentności — powtarzać bezpiecznie, serwer zwróci wynik pierwszego wykonania.
Zdecydowanie zalecamy w logach i metrykach rozróżniać read timeout do pierwszego bajtu i read timeout w środku ciała. Pierwszy częściej wskazuje na przeciążenie docelowego serwera lub proxy; drugi — na problemy z kanałem. Leczy się je różnie: w pierwszym przypadku pomaga obniżenie współbieżności, w drugim — zmiana proxy lub regionu.
Osobliwość kanałów mobilnych
Sieć komórkowa działa ze zmiennym opóźnieniem. Modem może na sekundę-dwie „zamrzeć” przy przełączaniu między sektorami stacji bazowej lub przy przechodzeniu z trybu oszczędzania energii. Z punktu widzenia klienta wygląda to jak cisza w gnieździe. Jeśli twój read timeout to 2 sekundy — będziesz łapać fałszywe przekroczenia kilka razy na godzinę na każdym modemie. Obserwowaliśmy, że podniesienie limitu z 3 do 6 sekund obniżyło udział timeoutów na mobilnych proxy 4–5-krotnie bez zauważalnego wzrostu średniego czasu żądania. Sekundy przestoju na rzadkich żądaniach kosztują mniej niż powtórne żądania i utracony transfer.
Lista kontrolna dla read timeout
- Wartość oparta na zmierzonym p99 TTFB przez twoje proxy, a nie na intuicji.
- Rozumiesz, że limit to interwał bezczynności, a nie całkowity czas czytania.
- Dla żądań nieidempotentnych przy przekroczeniu nie ma automatycznego ponowienia bez sprawdzenia.
- W metrykach rozdzielone są timeouty do pierwszego bajtu i wewnątrz ciała.
- Wartość mniejsza niż idle-timeout tunelu po stronie proxy.
Metoda 3: write timeout i praca z dużymi ciałami żądania
Kiedy zapis w ogóle może się zawiesić
Dla większości żądań ciało mieści się w jednym segmencie TCP i wychodzi natychmiast — zapis kończy się jeszcze zanim dane fizycznie opuściły maszynę. Write timeout staje się istotny w trzech przypadkach: przesyłanie plików, wysyłka dużych tablic JSON i każda transmisja przez wąski kanał. Mobilne proxy to właśnie taki kanał w kierunku wychodzącym: typowa prędkość wysyłki z modemu jest zauważalnie niższa niż prędkość odbioru, a bufory na węzłach pośrednich są ograniczone.
Mechanika jest taka: klient wywołuje zapis, dane trafiają do bufora wysyłki gniazda, jądro wysyła je porcjami w miarę otrzymywania potwierdzeń. Jeśli potwierdzenia nie przychodzą, bufor się zapełnia i następny zapis zostaje zablokowany. Write timeout ogranicza czas takiej blokady.
Trzy strategie dla dużych ciał
Strategia A: ogólny limit na zapis. Proste podejście: jeden write timeout na całe żądanie. Pasuje do ciał do kilku megabajtów. Wartość wybiera się z oszacowania: rozmiar ciała podzielony przez minimalnie akceptowalną prędkość plus zapas. Na przykład 5 megabajtów przy minimalnej prędkości 500 kilobajtów na sekundę — 10 sekund, z zapasem — 15.
Strategia B: limit na porcję. Klient pisze ciało chunkami i ogranicza czas każdego zapisu. Tak działa większość klientów asynchronicznych: write timeout oznacza tam maksymalną pauzę przy wysyłce jednej porcji. Wartość — 3–10 sekund, niezależnie od rozmiaru pliku. Ochrona przed wolnym oddawaniem w całości spada na ogólny deadline.
Strategia C: kontrola prędkości. Klient śledzi rzeczywistą prędkość wysyłki i przerywa żądanie, jeśli spadnie poniżej progu przez N sekund. W curl służy do tego para flag --speed-limit i --speed-time. To najprecyzyjniejsze narzędzie: rozróżnia „wolno, ale idzie” i „zawiesiło się”.
Co się dzieje przy przekroczeniu
Część ciała jest już na serwerze. Jeśli wysyłałeś plik w jednym żądaniu — serwer otrzyma obcięte ciało. Dla protokołu multipart to najczęściej doprowadzi do błędu parsowania i odrzucenia w całości, co jest bezpieczne. Dla API ze wsparciem wznawialnych przesyłów (tus, chunkowane protokoły chmur) prawidłowa reakcja to zapytać serwer o offset i kontynuować od niego. Właśnie wznawialne przesyły zalecamy dla każdego ciała powyżej 10 megabajtów przez mobilne proxy: pojedyncze długie żądanie przez kanał komórkowy jest zbyt podatne na zerwania.
Konfiguracja krok po kroku dla przesyłów przez proxy
- Oceń medianę i minimalną prędkość wysyłki przez swoje proxy. Wyślij plik testowy 5–10 megabajtów dwadzieścia razy o różnych porach.
- Jeśli rozrzut prędkości jest większy niż trzykrotny — używaj Strategii B lub C, a nie ogólnego limitu.
- Podziel duże pliki na części 1–5 megabajtów, jeśli docelowa usługa to obsługuje.
- Ustaw write timeout na porcję 5–10 sekund.
- Koniecznie uzupełnij ogólnym deadlinem na całe żądanie, obliczonym z rozmiaru i minimalnej prędkości.
- Przy przekroczeniu — ustal, co dokładnie serwer zdążył otrzymać, a nie powtarzaj wszystkiego od początku.
Metoda 4: ogólny budżet żądania i propagacja deadlinu
Dlaczego suma limitów cząstkowych to jeszcze nie budżet
Załóżmy, że ustawiłeś connect 5, TLS 5, write 10, read 15 sekund. Wydaje się, że żądanie nie może trwać dłużej niż 35 sekund. Ale read timeout to interwał bezczynności. Odpowiedź przychodząca po jednym kilobajcie co 14 sekund nigdy go nie naruszy. Żądanie 10 megabajtów przy takim tempie zajmie prawie dobę. Bez ogólnego limitu twoje workery będą zajęte bez końca, pula połączeń się wyczerpie i system stanie — mimo że żaden limit cząstkowy nie zadziałał.
Ogólny budżet (deadline, total timeout) to absolutny pułap dla całej operacji od pierwszego wywołania systemowego do ostatniego odczytanego bajtu. Nie zastępuje limitów cząstkowych, a je uzupełnia: limity cząstkowe dają szybką i precyzyjną diagnozę, ogólny — gwarancję zakończenia.
Jak obliczyć budżet
Idziemy z góry na dół, a nie odwrotnie. Zacznij od pytania: jaki maksymalny czas oczekiwania na jeden wynik jest akceptowalny dla zadania biznesowego? Dla scenariusza interaktywnego (użytkownik czeka) — 3–10 sekund. Dla scrapingu w tle — 30–60 sekund. Dla przesyłania dużych plików — oblicza się z rozmiaru.
Następnie ten budżet rozdziela się na fazy z uwzględnieniem zmierzonych rozkładów:
- Ustanowienie tunelu przez proxy (TCP plus CONNECT plus TLS): typowo 15–25 procent budżetu.
- Zapis żądania: 5–10 procent dla zwykłych żądań.
- Oczekiwanie na pierwszy bajt: 30–40 procent.
- Odczyt ciała: reszta.
Przykład: budżet 30 sekund dla scrapingu przez mobilne proxy. Connect (w tym CONNECT) 6 sekund, TLS 4 sekundy, write 3 sekundy, read jako interwał bezczynności 10 sekund, ogólny deadline 30 sekund. Suma limitów cząstkowych 23 sekundy jest mniejsza niż budżet — to normalne, działają osobno. Ogólny deadline łapie przypadki wolnego oddawania, których nie złapie żaden limit cząstkowy.
Propagacja deadlinu przez łańcuch
W systemach rozproszonych żądanie rzadko bywa pojedyncze. Twój serwis otrzymał zadanie z limitem 30 sekund, spędził 4 sekundy na przygotowaniu, potem idzie przez proxy do docelowej witryny. Ile czasu ma żądanie HTTP? Nie 30, a 26 sekund minus zapas na przetworzenie odpowiedzi. To właśnie jest propagacja deadlinu: każde kolejne wywołanie otrzymuje nie stały timeout, a resztę budżetu.
W Go realizuje się to kontekstem z deadlinem, który przekazuje się do żądania. W Pythonie — przez asyncio z jawnym przekazaniem pozostałego czasu. W Javie — przez obliczenie Duration przed każdym wywołaniem. Zasada jest jedna: timeout na żądanie HTTP oblicza się dynamicznie, jako minimum ze statycznego limitu i pozostałego budżetu.
Bez tego pojawia się klasyczny problem: wyższy poziom już odmówił czekania i zwrócił błąd, a niższy jeszcze przez dziesięć sekund trzyma połączenie przez proxy i zużywa transfer dla wyniku, którego nikt nie potrzebuje. Przy płatnym transferze mobilnych proxy to dosłownie palenie pieniędzy.
Pula połączeń i jej własne timeouty
Jeszcze dwa limity, o których często się zapomina. Pool timeout — jak długo czekać na wolne połączenie z puli, gdy wszystkie są zajęte. Jeśli nie jest ustawiony, przy skoku obciążenia żądania będą czekać nieograniczenie i z zewnątrz wygląda to jak zawieszenie klienta. Ustaw 1–3 sekundy: jeśli w tym czasie połączenie się nie zwolniło, system jest przeciążony i lepiej odmówić od razu.
Idle timeout połączenia w puli — jak długo nieużywane połączenie keep-alive jest przechowywane przed zamknięciem. Tu kluczowe jest uzgodnienie z proxy. Jeśli proxy zamyka bezczynne połączenie po 60 sekundach, a twoja pula trzyma je 90 sekund, to w 61. sekundzie weźmiesz z puli martwe gniazdo, wyślesz do niego żądanie i dostaniesz connection reset — nie timeout, a zerwanie. Wiele bibliotek przezroczyście powtarza żądanie w takiej sytuacji, ale tylko dla metod idempotentnych. Zasada: idle timeout klienta ściśle mniejszy niż idle timeout proxy, z zapasem co najmniej 10–20 procent.
Framework „budżet z góry na dół”
- Ustal ograniczenie biznesowe na czas oczekiwania na wynik.
- Odejmij czas na własne przetwarzanie i zapas na ponowienie, jeśli jest przewidziane.
- Otrzymana reszta — ogólny deadline żądania HTTP.
- Rozdziel go na fazy zgodnie ze zmierzonymi p99 każdej fazy przez twoje proxy.
- Sprawdź, że każdy limit cząstkowy jest mniejszy niż odpowiedni limit po stronie proxy.
- Ustaw pool timeout i idle timeout puli, uzgodnione z proxy.
- Zaimplementuj przekazywanie reszty budżetu do zagnieżdżonych wywołań.
- Loguj, który dokładnie limit zadziałał, i czas spędzony na każdej fazie.
Metoda 5: obserwowalność timeoutów i adaptacyjna konfiguracja
Bez pomiarów nie ma konfiguracji
Wszystkie poprzednie metody opierają się na jednym: musisz znać rzeczywiste rozkłady czasu po fazach przez swoje proxy. Jedyny sposób, by się dowiedzieć — mierzyć stale. Współczesne klienty udostępniają hooki śledzenia: moment rozpoczęcia DNS, ustanowienia TCP, otrzymania odpowiedzi na CONNECT, zakończenia TLS, wysłania żądania, pierwszego bajtu, ostatniego bajtu. Zbierz te zdarzenia w metryki z podziałem na proxy, docelowy host i typ błędu.
Jakie metryki zbierać
- Histogramy czasu trwania każdej fazy, osobno według endpointu proxy i operatora.
- Udział przekroczeń każdego typu timeoutu w ogólnej liczbie żądań.
- Udział timeoutów do pierwszego bajtu względem wewnątrz ciała.
- Udział zerwań połączenia bez timeoutu (oznaka nieuzgodnionych limitów idle).
- Średni czas spędzony na żądaniach zakończonych timeoutem — to twoja bezpośrednia strata w transferze i zasobach.
Adaptacyjne timeouty
Trend ostatnich lat, który do 2026 roku stał się standardem w dojrzałych systemach — limity adaptacyjne. Zamiast statycznej liczby klient utrzymuje ruchome okno obserwacji dla każdej pary proxy-cel i ustawia timeout jako p99 okna ze współczynnikiem zapasu, ograniczony z góry i z dołu rozsądnymi granicami. Gdy kanał się pogarsza, limit rośnie i fałszywych przekroczeń jest mniej. Gdy kanał się poprawia, limit spada i system szybciej reaguje na rzeczywiste problemy.
Implementacja jest prosta: bufor pierścieniowy na 200–500 ostatnich pomiarów na klucz, przeliczanie kwantyla co kilka sekund, granice w stylu „nie mniej niż 3 i nie więcej niż 20 sekund dla read”. Ważne, by zabezpieczyć się przed degradacją: jeśli wszystkie żądania zaczynają przekraczać timeout, okno zapełnia się wartościami na poziomie limitu i limit będzie tylko rósł. Dlatego do okna trafiają wyłącznie udane żądania, a wzrost limitu jest ograniczony górną granicą.
Żądania hedżowane
Dla odczytu przez pulę kilku proxy istnieje technika zmniejszająca wpływ wolnych ogonów bez zwiększania timeoutów: jeśli żądanie nie zakończyło się w czasie p95, wyślij duplikat przez inne proxy i weź pierwszą przychodzącą odpowiedź. Zwiększa to transfer o kilka procent, ale radykalnie zmniejsza p99 latencji. Pasuje tylko do żądań idempotentnych i wymaga starannego anulowania przegranego duplikatu, by nie zużywać transferu na darmo.
Typowe błędy: czego nie robić
Jedna liczba na wszystko
Najczęstszy błąd. Wspólny timeout 30 sekund oznacza, że martwe proxy będziesz wykrywać pół minuty, a wolnej odpowiedzi w środku ciała nie wykryjesz nigdy. Rozdzielaj fazy.
Brak timeoutów domyślnych
Kilka popularnych bibliotek nie ma timeoutów out of the box: żądanie może wisieć bez końca. W requests jest tak do dziś. Każde wywołanie bez jawnego timeoutu przez proxy to potencjalnie na zawsze zablokowany worker.
Read timeout większy niż idle-limit proxy
Nie zobaczysz timeoutów, zobaczysz zerwania połączeń i będziesz szukać problemu nie tam. Poznaj limity swojego dostawcy proxy i ustaw klienta ściśle poniżej.
Ślepe ponowienie po read timeout na POST
Prosta droga do duplikatów zamówień, podwójnych obciążeń i powtórnych wiadomości. Po read timeout na żądaniu nieidempotentnym wynik jest nieznany — trzeba go wyjaśnić, a nie zgadywać.
Ignorowanie fazy CONNECT
Zakładanie, że connect timeout pokrywa ustanowienie tunelu, bez sprawdzenia tego w dokumentacji konkretnej biblioteki. W niektórych klientach faza CONNECT wisi do ogólnego deadlinu, a jeśli go nie ma — bez końca.
Dopasowanie do maksimum
Zobaczyłeś jedno żądanie na 45 sekund — ustawiłeś limit 60. Teraz każdy rzeczywisty problem kosztuje cię minutę oczekiwania. Kieruj się p99 z zapasem, a wartości skrajne oddaj mechanizmowi ponowień lub hedżowania.
Timeout bez anulowania pracy niższego poziomu
Wyższy poziom rzucił wyjątek po swoim limicie, a żądanie HTTP żyje dalej w zadaniu w tle. Szczególnie częsty błąd w kodzie asynchronicznym: wrapper z oczekiwaniem się zakończył, a korutyna nie została anulowana. Upewnij się, że przekroczenie timeoutu prowadzi do rzeczywistego zamknięcia gniazda.
Identyczne limity dla proxy datacenter i mobilnych
Różnica w opóźnieniu i jitterze między nimi jest kilkukrotna. Profil działający na proxy serwerowym na mobilnym daje lawinę fałszywych timeoutów. Trzymaj osobne profile ustawień.
Brak pool timeout
Przy skoku obciążenia żądania czekają bez końca na wolne połączenie. Z zewnątrz — zawieszenie całego klienta przy zerowym ruchu sieciowym.
Narzędzia i zasoby
Diagnostyka z wiersza poleceń
curl pozostaje wzorcowym narzędziem do rozbioru faz. Flagi --connect-timeout, --max-time, --speed-limit, --speed-time pokrywają wszystkie poziomy, a format wyjścia -w ze zmiennymi czasu pokazuje, ile zajęła każda faza:
curl -x http://user:pass@proxy:port --connect-timeout 5 --max-time 30 -o /dev/null -s -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}" https://example.com/Uwaga: przez proxy zmienna time_connect pokazuje czas do proxy, a time_appconnect — do zakończenia TLS z celem, czyli obejmuje CONNECT. Różnica między nimi to twój drugi przeskok.
Biblioteki klienckie i ich modele timeoutów
- Python requests: krotka (connect, read). Brak write i ogólnego timeoutu; ogólny realizuje się zewnętrznym wrapperem lub anulowaniem na poziomie wątku.
- Python httpx: obiekt Timeout z connect, read, write, pool. Ogólnego nie ma, ale w trybie asynchronicznym łatwo dodać go przez oczekiwanie z limitem i anulowanie.
- Python aiohttp: ClientTimeout z polami total, connect, sock_connect, sock_read. Jedyny z popularnych klientów Pythona z wbudowanym ogólnym limitem.
- Go net/http: Dialer.Timeout, TLSHandshakeTimeout, ResponseHeaderTimeout, ExpectContinueTimeout, IdleConnTimeout na transporcie; Client.Timeout jako ogólny; kontekst żądania jako dynamiczny deadline.
- Java HttpClient: connectTimeout na kliencie, timeout na żądaniu (pokrywa do otrzymania nagłówków). Odczyt ciała ogranicza się na poziomie BodyHandler lub wrappera.
- Node.js undici: connectTimeout, headersTimeout, bodyTimeout, keepAliveTimeout; ogólny — przez AbortSignal.timeout.
Analiza ruchu
tcpdump i Wireshark pozwalają zobaczyć, co naprawdę działo się na kablu: czy SYN wyszedł, czy SYN-ACK przyszedł, kto pierwszy wysłał FIN lub RST. To jedyny sposób, by wiarygodnie odpowiedzieć na pytanie „kto zerwał połączenie — ja, proxy czy serwer”. Dla treści HTTPS widoczność jest ograniczona, ale fazy połączenia i tunelu są widoczne w pełni.
Stanowiska do odtwarzania
Do testowania zachowania klienta przy zawieszeniach warto mieć zestaw atrap: serwer TCP, który przyjmuje połączenie i milczy (test connect i CONNECT); serwer HTTP, który odpowiada nagłówkami, a potem milczy (test read do ciała); serwer oddający bajt na sekundę (test ogólnego deadlinu). Napisanie takich atrap to pół godziny pracy, a zaoszczędzony czas na debugowaniu w produkcji mierzy się dniami. Istnieją też narzędzia emulacji sieci, pozwalające dodać opóźnienie, jitter i straty na interfejsie, by imitować kanał mobilny w laboratorium.
Obserwowalność
Standardem stało się zbieranie metryk i śladów w formacie OpenTelemetry z automatyczną instrumentacją klientów HTTP. Histogramy po fazach, atrybuty z identyfikatorem proxy i typem zadziałanego limitu — minimalny zestaw, bez którego konfiguracja zamienia się w zgadywanie.
Przypadki i wyniki
Przypadek 1: scraping marketplace przez mobilne proxy
Zespół zbierał karty produktów przez pulę mobilnych proxy. Wyjściowa konfiguracja: wspólny timeout 15 sekund, bez ogólnego deadlinu, standardowa pula połączeń. Objawy: 11 procent żądań kończyło się błędami, z tego dwie trzecie — timeouty, jedna trzecia — zerwania połączeń. Średni czas nieudanego żądania — 14 sekund, czyli co dziesiąte żądanie zjadało czas i transfer na darmo.
Diagnostyka po fazach pokazała: p99 ustanowienia tunelu — 4,8 sekundy, p99 TTFB — 6,2 sekundy, maksymalna pauza między chunkami przy udanych odpowiedziach — 2,1 sekundy, idle-limit tunelu u dostawcy — 60 sekund, a pula klienta trzymała połączenia 120 sekund.
Zmiany: connect 7 sekund z pokryciem CONNECT, read 9 sekund, write 5 sekund, ogólny deadline 25 sekund, idle puli 45 sekund, pool timeout 2 sekundy. Rozdzielenie timeoutów do pierwszego bajtu i wewnątrz ciała w metrykach.
Wynik po tygodniu: ogólny udział błędów spadł do 3,4 procent, zerwania połączeń praktycznie zniknęły, średni czas nieudanego żądania spadł do 8 sekund. Zużycie transferu na jednostkę zebranych danych zmniejszyło się o 19 procent. W logice ponowień nie zmieniono nic — tylko timeouty.
Przypadek 2: integracja z API płatniczym i duplikaty
Serwis wysyłał żądania POST tworzące operacje płatnicze przez korporacyjne proxy. Read timeout 10 sekund i automatyczne ponowienie przy każdym wyjątku. Raz na kilka dni pojawiały się duplikaty operacji. Analiza pokazała: docelowe API w momentach obciążenia odpowiadało w 11–14 sekund, klient odpadał po read timeout, powtarzał żądanie i obie operacje wykonywały się pomyślnie.
Rozwiązanie składało się z trzech części: read timeout podniesiony do 20 sekund na podstawie zmierzonego p99 wynoszącego 15 sekund; ponowienie po read timeout na POST zastąpione żądaniem statusu operacji po identyfikatorze klienta; wprowadzony klucz idempotentności w nagłówku, który API obsługiwało. Duplikaty ustały całkowicie. Osobny wniosek zespołu: read timeout na żądaniu nieidempotentnym to nie błąd, a stan „wynik nieznany”, wymagający osobnej gałęzi obsługi.
Przypadek 3: przesyłanie plików multimedialnych przez kanał mobilny
Aplikacja wysyłała wideo o objętości 50–200 megabajtów przez mobilne proxy jednym żądaniem. Write timeout 30 sekund, ogólnego deadlinu brak. Objawy: około 8 procent przesyłów się rwało, każda porażka oznaczała powtórzenie od zera, dobowy nadmiar transferu sięgał dziesiątek gigabajtów.
Przejście na przesył chunkami po 4 megabajty ze wznawianiem, write timeout na chunk 8 sekund, kontrola minimalnej prędkości 100 kilobajtów na sekundę przez 10 sekund, ogólny deadline na chunk 60 sekund. Udział całkowicie nieudanych przesyłów spadł do 0,3 procent, nadmiar transferu na powtórzenia zmniejszył się 12-krotnie, bo powtarzał się tylko ostatni nieudany chunk.
Przypadek 4: zawieszenie CONNECT bez ogólnego deadlinu
Asynchroniczny kolektor na jednej z bibliotek Pythona okresowo „zamarzał”: workery żywe, sieć milczy, kolejka się nie rusza. Po godzinie-dwóch kolektor restartowano ręcznie. Analiza pokazała: część proxy w puli przyjmowała TCP, ale nie odpowiadała na CONNECT. W używanej konfiguracji ta faza nie była pokryta żadnym limitem. Dodanie ogólnego deadlinu na całe żądanie i jawnego limitu na ustanowienie tunelu usunęło zawieszenia. Dodatkowo dodano healthcheck proxy sprawdzający właśnie fazę CONNECT, a nie tylko dostępność TCP.
FAQ: trudne pytania o timeouty przez proxy
Czym różni się timeout klienta od odpowiedzi 504 od proxy?
Timeout klienta to twoja decyzja o zaprzestaniu czekania; proxy i serwer dowiedzą się o niej tylko po zamknięciu połączenia. Odpowiedź 504 to decyzja proxy: samo nie doczekało się docelowego serwera i poinformowało cię o tym pełnoprawną odpowiedzią HTTP. W pierwszym przypadku gniazdo zamyka się z wyjątkiem, w drugim otrzymujesz normalną odpowiedź z kodem błędu. Obsługiwać je trzeba różnie: 504 oznacza, że proxy na pewno żyje i problem jest dalej w łańcuchu; timeout klienta nie mówi nic o tym, gdzie dokładnie się zablokowało.
Dlaczego przez mobilne proxy potrzebne są dłuższe timeouty niż przez datacenter?
Z powodu jitteru. Średnie opóźnienie kanału komórkowego nie jest aż tak duże, ale jego rozrzut jest ogromny: przełączenia między sektorami, tryby oszczędzania energii modemu, konkurencja o zasób radiowy. Timeout ustawia się według ogona rozkładu, a ogon w kanale mobilnym jest kilkukrotnie dłuższy. Jednocześnie zbyt długie limity też szkodzą — spowalniają wykrywanie naprawdę martwych proxy. Równowagę osiąga się przez pomiar p99 i zapas 30–50 procent, a nie podwojenie wszystkich liczb.
Jak rozpoznać, który dokładnie timeout zadziałał, jeśli biblioteka rzuca jeden wspólny wyjątek?
Trzy sposoby. Pierwszy — po czasie: jeśli wyjątek przyszedł po czasie równym connect timeout, a nie read, znasz fazę. Drugi — przez hooki śledzenia: jeśli zdarzenie „TLS zakończony” było, a „pierwszy bajt” — nie, utknąłeś na TTFB. Trzeci — po tekście i typie wyjątku: wiele bibliotek rozróżnia ConnectTimeout i ReadTimeout jako osobne klasy. Zalecamy zawsze logować, które fazy zdążyły się zakończyć przed wyjątkiem — to zamienia zagadkowy timeout w precyzyjną diagnozę.
Czy można powtórzyć żądanie po przekroczeniu write timeout?
Dla GET bez ciała — tak, nic nie poszło. Dla POST z ciałem — tylko jeśli masz pewność, że serwer odrzuca niepełne ciała. Większość serwerów tak robi: niepełny JSON lub obcięty multipart wywołują błąd parsowania. Ale strumieniowe API, które zaczynają przetwarzanie w miarę otrzymywania danych, mogą częściowo zastosować zmiany. Jeśli masz wątpliwości — sprawdź stan przed ponowieniem.
Jak uzgodnić timeouty klienta z timeoutami dostawcy proxy?
Zapytaj dostawcę lub znajdź w dokumentacji trzy wartości: limit na połączenie z docelowym hostem, idle-limit tunelu i maksymalny czas życia połączenia. Twój limit na ustanowienie tunelu powinien być nie mniejszy niż dostawcy (inaczej poddajesz się wcześniej, niż proxy mogłoby zdążyć), a twój read timeout i idle puli — ściśle mniejsze niż limity idle dostawcy. Jeśli dokumentacji nie ma, zmierz empirycznie: otwórz połączenie, pomilcz N sekund, spróbuj wysłać żądanie, znajdź próg, po którym przychodzi zerwanie.
Czy ogólny deadline jest potrzebny, jeśli wszystkie limity cząstkowe są ustawione?
Tak, koniecznie. Limity cząstkowe nie ograniczają czasu sumarycznego: wolne oddawanie ciała po jednym kilobajcie z interwałem mniejszym niż read timeout może trwać nieograniczenie. Ogólny deadline to jedyna gwarancja, że worker się zwolni. Poza tym przy propagacji budżetu przez łańcuch wywołań właśnie ogólny deadline przekazuje się w dół, a limity cząstkowe pozostają lokalną konfiguracją.
Jak HTTP/2 i HTTP/3 wpływają na model timeoutów przez proxy?
HTTP/2 multipleksuje wiele żądań w jednym połączeniu, więc read timeout na poziomie gniazda przestaje być timeoutem jednego żądania: gniazdo otrzymuje dane innych strumieni i bezczynność konkretnego żądania nie jest zauważalna. Potrzebne są limity na poziomie strumienia — większość klientów HTTP/2 udostępnia je przez deadline żądania. HTTP/3 nad QUIC zmienia też fazę połączenia: uzgadnianie jest połączone z kryptograficznym, a connect timeout pokrywa oba. Przez klasyczne proxy CONNECT HTTP/3 do celu z reguły nie przechodzi — tunel jest zorientowany na TCP i klient cofa się do HTTP/2 lub HTTP/1.1. Rozszerzenia do tunelowania UDP przez proxy się rozwijają, ale w 2026 roku ich wsparcie w masowych klientach jest ograniczone.
Co robić, jeśli po timeoutcie połączenie wraca do puli i następne żądanie pada?
To oznaka, że klient nie zamknął gniazda prawidłowo lub pula nie oznaczyła połączenia jako uszkodzonego. Połączenia, na którym zadziałał read timeout, nie można ponownie użyć: mogą w nim znajdować się bajty spóźnionej odpowiedzi, które zostaną odczytane jako odpowiedź na następne żądanie. Upewnij się, że twój klient przy timeoutcie zamyka połączenie, a nie zwraca do puli. W dobrze zaprojektowanych klientach to zachowanie domyślne, ale przy własnych wrapperach i niskopoziomowej pracy z gniazdami błąd występuje regularnie.
Jak skonfigurować timeouty dla proxy SOCKS5 w odróżnieniu od HTTP?
Zasada ta sama, różnią się fazy: zamiast CONNECT — powitanie, uwierzytelnienie i komenda połączenia, to dwa-trzy obiegi do proxy plus czas połączenia proxy z celem. W większości klientów uzgadnianie SOCKS w całości wpada pod connect timeout. Upewnij się, że wartość uwzględnia nie tylko TCP do proxy, ale i czas ustanowienia połączenia proxy z celem przez kanał mobilny — te same 3–10 sekund.
Zakończenie: timeouty jako dyscyplina inżynierska
Podsumujmy. Żądanie HTTP przez proxy to nie jedna operacja, a łańcuch siedmiu-ośmiu faz oczekiwania, każda z własną naturą opóźnień i własnymi skutkami przy zerwaniu. Timeouty connect i TLS są bezpieczne: nic nie poszło do serwera, można próbować ponownie. Write timeout zostawia serwer z niepełnymi danymi. Read timeout — najzdradliwszy: żądanie dostarczone i być może wykonane, a ty o tym nie wiesz. Ogólny deadline nie zastępuje limitów cząstkowych, a chroni przed wolnym oddawaniem, którego one nie łapią.
Przez mobilne proxy wszystko to się wzmacnia: drugi przeskok przebiega kanałem o wysokim jitterze, a limity dopracowane na proxy serwerowych dają lawinę fałszywych przekroczeń. Jedyny sposób, by skonfigurować je prawidłowo — mierzyć rozkłady po fazach przez swoje konkretne proxy i ustawiać limity według p99 z zapasem, uzgadniając je z limitami samego proxy.
Twoje następne kroki:
- Znajdź w swoim kodzie każde wywołanie HTTP przez proxy i sprawdź, czy ma jawne timeouty na wszystkie fazy i ogólny deadline.
- Ustal, czy twój klient pokrywa fazę CONNECT i jak traktuje read timeout — jako bezczynność czy jako całkowity czas.
- Poznaj idle-limity i limity połączenia swojego dostawcy proxy i dostosuj ustawienia klienta.
- Włącz śledzenie faz i zbierz rozkłady za tydzień.
- Przelicz limity według p99, rozdziel profile dla proxy datacenter i mobilnych.
- Rozdziel obsługę timeoutów dla żądań idempotentnych i nieidempotentnych.
- Dodaj do metryk typ zadziałanego limitu i fazę, w której zadziałał.
Timeouty to nie parametr, który ustawia się raz i zapomina. To część kontraktu twojego systemu ze światem zewnętrznym i jak każdy kontrakt wymaga pomiarów, przeglądu i uzgodnienia stron. Zrób to raz systemowo — i zdziwisz się, o ile cichsze staną się twoje logi i o ile tańszy — twój transfer.