Giriş: proxy üzerinden zaman aşımları neden ayrı bir konuşmayı hak ediyor

Düşünün: scraper'ınız üç gündür çalışıyor, mobil proxy trafiği tüketiyor ve çıktıda kayıtların yarısı boş, loglar ise timeout, connection reset ve remote end closed connection kelimeleriyle dolu. Tanıdık geldi mi? Onlarca böyle sistem gördük ve neredeyse her zaman sorunun kökü aynı: zaman aşımları göz kararı ayarlanmış — her şey için 30 saniye gibi tek bir sihirli sayı. Doğrudan bağlantıda bu bir şekilde işe yarıyor. Proxy üzerinden, özellikle mobil proxy'de, artık yaramıyor.

İşin özü şu: proxy zincire bir ağ segmenti, bir kuyruk grubu ve kendi zaman aşımları olan bir düğüm daha ekliyor. İstek bir değil, beş-altı bekleme fazından geçiyor ve her birinde farklı nedenlerle "takılabilirsiniz". Tek bir genel limit nerede takıldığınızı ayırt etmez: proxy ile TCP el sıkışmasında mı, hedef siteye tünel kurulumunda mı, yavaş gelen ilk yanıt baytında mı yoksa büyük gövdenin iletiminde mi.

Bu makale bekleme mimarisi hakkında. Proxy üzerinden bir HTTP isteğinin hangi fazlardan oluştuğunu, her fazdan hangi zaman aşımının sorumlu olduğunu, tetiklendiğinde fiziksel olarak ne olduğunu ve ayrı limitlerden tutarlı bir toplam bütçenin nasıl oluşturulacağını inceleyeceğiz. Komşu konudan hemen ayrışmak önemli: burada 429 veya 503 yanıt kodlarını ve üstel gecikmeli yeniden deneme stratejilerini tartışmıyoruz. Bu ayrı bir katman — sunucunun zaten yanıt vermiş olmasına verilen tepki. Burada yanıtın hiç gelmediği durumlar ve her seviyede ne kadar beklemeye hazır olduğumuz söz konusu.

Okuduktan sonra şunları yapabileceksiniz: herhangi bir isteği fazlara ayırıp her birine kendi limitini atayabilmek; istemci neden zaman aşımı gösterdi ama sunucu yine de işlemi gerçekleştirdi diye açıklayabilmek; istemci, bağlantı havuzu ve proxy'nin kendi zaman aşımlarını doğru şekilde uyumlamak; ve en önemlisi, boşuna beklemekle veri ve para kaybetmeyi bırakmak.

Temeller: zaman aşımı nedir ve istek hangi fazlardan oluşur

Bekleme sözleşmesi olarak zaman aşımı

Zaman aşımı, istemcinin belirli bir olayın gerçekleşmesini beklemeye razı olduğu maksimum süredir; bu süre aşılırsa denemeyi başarısız sayıp kaynakları serbest bırakır. Buradaki anahtar kelime belirli. "Genel olarak istek zaman aşımı" diye bir kavram yok. TCP bağlantısı kurma zaman aşımı var, TLS el sıkışması zaman aşımı var, soketten veri bekleme zaman aşımı var, sokete yazma zaman aşımı var, havuzdan boş bağlantı bekleme zaman aşımı var ve son olarak tüm işlemin genel deadline'ı var.

Güzel bir benzetme aktarmalı bir yolculuk. İstasyona kadar yol süreniz, treni bekleme süreniz, yolculuk süresi, aktarma süresi var. Bir de genel limit var: sabah dokuzda toplantıda olmalısınız. Sadece genel limiti kontrol ederseniz, sorunu zaten geç kaldığınızda öğrenirsiniz. Her aşamayı kontrol ederseniz önceden karar verebilirsiniz: örneğin otobüs on dakika gelmediği için taksiye binmek gibi.

Doğrudan bağlantı üzerinden HTTP isteğinin fazları

Proxy olmadan bile istek bir dizi adımdan oluşur:

  1. İsim çözümleme (DNS). İstemci alan adını IP adresine dönüştürür. Genellikle birkaç milisaniyeden birkaç yüz milisaniyeye kadar sürer, ancak çözümleyici sorunlarında saniyelerce asılı kalabilir.
  2. TCP bağlantısı. Üçlü el sıkışma: SYN, SYN-ACK, ACK. Sunucuya bir tam gidiş-dönüş (RTT) gerektirir.
  3. HTTPS için TLS el sıkışması. Protokol sürümüne bağlı olarak bir-iki gidiş-dönüş daha.
  4. İsteği gönderme (write). Başlıklar ve gövde sokete yazılır. Küçük istekler için anlık, dosya yüklemeleri için kayda değer bir süre.
  5. İlk yanıt baytını bekleme (TTFB). Sunucu düşünüyor: veritabanı sorguları çalıştırıyor, sayfa render ediyor, kendi mikroservislerine gidiyor.
  6. Yanıt gövdesini okuma (read). Veriler parçalar halinde gelir; parçalar arasında duraklamalar olur.

Proxy'nin eklediği şey

Proxy bu zinciri ikiye böler. İstemci proxy sunucusuyla bağlantı kurar, proxy de hedef düğümle bağlantıyı kendisi kurar. HTTP proxy üzerinden HTTPS için CONNECT metodu kullanılır: istemci proxy'den host ve porta TCP tüneli açmasını ister, proxy 200 durumuyla yanıtlar ve ancak bundan sonra istemci tünel üzerinden hedef sunucuyla TLS el sıkışmasına başlar. SOCKS5 için mantık benzer: proxy ile karşılama ve kimlik doğrulama fazı, ardından hedefle bağlantı kurma komutu, ardından onay bekleme.

Sonuç genişletilmiş bir faz listesi:

  1. Proxy adresinin DNS çözümlemesi (eğer alan adıyla verilmişse).
  2. Proxy ile TCP bağlantısı.
  3. Kimlik doğrulama ve tünel kurma komutu (CONNECT veya SOCKS isteği).
  4. Proxy'nin hedef host'un adını çözümlemesi ve onunla TCP bağlantısı kurması için bekleme — bu faz proxy tarafında gerçekleşir ama istemci bekler.
  5. Tünel üzerinden hedef sunucuyla TLS el sıkışması.
  6. HTTP isteğini gönderme.
  7. İlk yanıt baytını bekleme.
  8. Gövdeyi okuma.

Dördüncü maddeye dikkat edin. Mobil proxy'lerin ana tuzağı tam burada. Proxy sunucusunun kendisi genellikle bir veri merkezinde durur ve ona TCP bağlantısı onlarca milisaniyede kurulur. Ancak sonrasında trafik hücresel modem üzerinden gider; burada RTT 40–120 milisaniyedir ve baz istasyonu yoğun olduğunda yarım saniyeye ve üzerine zıplar. Hedefle isim çözümleme ve el sıkışma bu segmentte kolayca bir-iki saniye sürer. "connect timeout"u yalnızca proxy'ye kadar sayan istemci bağlantının anında kurulduğundan emin olur, sonra bir sonraki adımda anlaşılmaz bir beklemeyle karşılaşır.

Derinlemesine: her zaman aşımı tetiklendiğinde fiziksel olarak ne olur

Bir sayı ayarlamak işin yarısı. Daha önemlisi, limit tetiklendikten sonra sistemin hangi durumda kaldığını anlamak. Fazlar halinde inceleyelim.

Connect timeout tetiklendiğinde

İstemci SYN gönderdi ve ayrılan sürede SYN-ACK almadı. Bu arada işletim sistemi SYN'i üstel bir şemayla kendisi yineler: 1, 2, 4, 8 saniye ve böyle devam eder, popüler çekirdeklerde varsayılan olarak toplamda 60–120 saniyeye kadar. Sizin connect timeout'unuz bu beklemeyi daha erken keser. Soket kapanır, sunucuya hiçbir veri gitmemiştir, uzak tarafta durum değişmemiştir. Bu en güvenli zaman aşımı türüdür: böyle bir denemeyi idempotentlik endişesi olmadan yineleyebilirsiniz.

Proxy üzerinden tablo biraz daha karmaşık. Proxy'ye TCP kurulmuş ama CONNECT fazı asılı kalmışsa, istemci proxy'ye komutu zaten göndermiştir ve durum bekler. Tetiklendiğinde istemci proxy'ye olan soketi kapatır. Proxy kapanmayı fark eder ve genellikle hedefe bağlanma denemesini iptal eder. Ancak her zaman anında değil: bazı uygulamalar önce kendi upstream zaman aşımını bekler ve ancak sonra kaynakları serbest bırakır. İstemci için görünmezdir, ancak proxy sunucusunda yarı açık bağlantılar birikir; yoğun yükte bu, proxy'nin verimini düşürür.

Önemli bir ayrıntı: farklı istemci kütüphanelerinde CONNECT fazı farklı şekilde hesaba katılır. Bazılarında connect timeout kapsamına girer, bazılarında ise istek deadline'ı dışında hiçbir şeyle kapsanmaz. Genel deadline'ınız yoksa ve CONNECT asılı kalırsa, istek süresiz asılı kalabilir. Bunu kontrol etmek zor değil: istemciyi TCP'yi kabul eden ama CONNECT'e yanıt vermeyen bir proxy'ye yönlendirin (mantıksız sıradan bir TCP sunucusu böyle bir sahte olabilir) ve istemcinin kaç saniyede pes ettiğine bakın.

TLS handshake timeout tetiklendiğinde

Proxy üzerinden TCP tüneli açık, istemci ClientHello gönderdi, ServerHello gelmedi. Nedenler: modemin yavaş kanalı, mobil segmentte paket kaybı, TCP'yi kabul eden ama TLS'i işlemeye yetişemeyen yüklenmiş hedef sunucu. Tetiklendiğinde soket kapanır, HTTP isteği henüz gönderilmemiştir, sunucudaki durum değişmemiştir. Yeniden deneme için de güvenlidir.

Pratik gözlem: mobil kanallar üzerinden TLS el sıkışması sık gecikme noktasıdır, çünkü üst üste birkaç gidiş-dönüş gerektirir ve her kayıp paket yeniden iletim için bir saniye ekler. TLS 1.3'e geçişle gidiş-dönüş sayısı azaldı, bu da bu tür zaman aşımlarının payını belirgin şekilde düşürdü.

Write timeout tetiklendiğinde

İstemci istek gövdesini sokete yazıyor ama gönderim tamponu dolu ve boşalmıyor: uzak taraf okumuyor veya alındığını onaylamıyor. Tetiklendiğinde verinin bir kısmı zaten sunucuya gitmiş olabilir. Bu bir dosya yükleme veya form gönderimi ise, sunucu bir parça almış olabilir. Genellikle eksik gövde sunucu tarafında ayrıştırma hatasına yol açar, ancak akış protokolleri ve çok parçalı yüklemeler için sonuçlar uygulamaya bağlıdır. Böyle bir isteği yinelemek dikkat gerektirir.

Read timeout tetiklendiğinde

İşin en ilginç ve en tehlikeli kısmı burada başlar. İstek tamamen gönderildi. İstemci veri bekliyor ve ayrılan sürede veri gelmiyor. İstemci soketi kapatır ve bir istisna fırlatır. Peki diğer uçta ne olur?

Proxy istemcinin bağlantıyı kapattığını görür. İyi bir proxy bu noktada hedef sunucuya olan upstream bağlantıyı da kapatır. Ancak hedef sunucu isteği çoktan almış ve işliyordur. Eğer bu bir sipariş oluşturan, bakiyeden düşen veya mesaj gönderen bir POST ise, işlem büyük olasılıkla gerçekleştirilmiştir. Sunucu bağlantı kopmasını ancak yanıtı yazmaya çalışıp hata aldığında öğrenir. O ana kadar veritabanı işlemi çoktan tamamlanmıştır.

Bu, read timeout'un temel özelliğidir: size yanıtı bekleyemediğinizi söyler, ancak işlemin gerçekleşip gerçekleşmediği hakkında hiçbir şey söylemez. Bu yüzden idempotent olmayan işlemler için read timeout, connect timeout'tan farklı şekilde ele alınmalıdır ve bu yüzden ciddi API'ler idempotentlik anahtarları ister.

Bir başka ayrıntı da tam olarak nerede takıldığınızdır. Read timeout hem ilk baytı beklerken (sunucu düşünüyor) hem de gövde parçaları arasında duraklamada (sunucu veriyi gecikmeli olarak akıtıyor) tetiklenir. Birçok kütüphane read timeout'u soketten iki başarılı okuma arasındaki etkinliksizlik aralığı olarak yorumlar, toplam okuma süresi olarak değil. Bu, saniyede bir kilobayt hızında gelen yüzlerce megabaytlık bir yanıtın 10 saniyelik read timeout'u asla tetiklemeyeceği anlamına gelir — veri düzenli geliyor ya. Genel deadline olmadan böyle bir istek saatlerce asılı kalabilir.

Proxy ne görür ve ne döndürür

Proxy'nin kendi zaman aşımları vardır ve bunlar başka belirtiler doğurur. Proxy kendi limiti içinde hedefe bağlanamazsa istemciye CONNECT'e 502 veya 504 durumuyla yanıt verir — ve istemci açısından bu bir zaman aşımı değil, proxy hatasıdır. Proxy hedeften yanıt bekleyip alamazsa, normal HTTP (tünel olmadan) için HTTP yanıtının içinde 504 Gateway Timeout döndürebilir. Proxy'nin tünelde etkinliksizlik limiti varsa ve tetiklenirse, istemci ani bir bağlantı kopması görür — connection reset veya boş yanıt — kendi tarafında hiçbir zaman aşımı olmadan.

Buradan çıkan kural: istemci zaman aşımı proxy zaman aşımlarıyla uyumlu olmalıdır. Proxy 60 saniye etkinliksizlikte tüneli koparıyor ama sizin read timeout'unuz 90 saniyeyse, asla zaman aşımı görmezsiniz — gizemli kopmalar görürsünüz. Proxy hedefe bağlanmak için 30 saniye veriyor ama bu fazdaki limitiniz 10 saniyeyse, proxy'nin başarabileceğini bilmeden erken pes edersiniz.

Yöntem 1: iki atlamayı hesaba katan connect timeout ayarı

Teori: neyi kapsar ve neyi kapsamalı

Connect timeout, taşıma bağlantısının kurulmasını sınırlar. Proxy üzerinden bu bize şu soruyu sordurur: kiminle bağlantı? Biçimsel olarak — proxy ile. Pratikte — bize hedefe giden tünelin hazır olduğu an önemli. Bu yüzden kütüphane tek parametre verse bile iki ayrı limit düşünmenizi öneririz.

İlk atlama limiti — proxy sunucusuna TCP. Proxy veri merkezinde durur, ona RTT sabittir. Referans: 5–8 RTT, ancak en az 2 ve en fazla 5 saniye. Proxy 3 saniyede SYN'e yanıt vermiyorsa ya aşırı yüklüdür ya da erişilemez durumdadır; daha fazla beklemek anlamsızdır, havuzdan başka bir adrese geçmek daha iyidir.

İkinci atlama limiti — CONNECT gönderiminden 200 durumu alınmasına kadar geçen süre. Burada mobil kanal işler. Referans, hedefin nerede olduğuna ve hücresel ağın kalitesine bağlıdır: genellikle 3–10 saniye. LTE üzerinden popüler sitelere tünel kurma süresinin 95. yüzdeliğinin 1,5–2,5 saniyeye denk geldiğini, 99. yüzdeliğinin ise 4–6 saniyeye çıktığını gözlemledik. Limiti 99. yüzdeliğin altına koymak, her yüzüncü isteği kendi inisiyatifinizle kaybetmek demektir.

Kendi değerlerinizi nasıl ölçersiniz

  1. Günün farklı saatlerinde proxy'niz üzerinden hedef hostlara en az 500 istekten oluşan bir örneklem toplayın.
  2. Proxy ile TCP kurulma süresini, CONNECT yanıtına kadar geçen süreyi, TLS el sıkışması süresini ayrı ayrı loglayın. Çoğu istemci böyle metrikler verebilir: curl'de time_connect ve time_appconnect değişkenleri, Go'da httptrace kancaları, Python istemcilerinde trace olayları veya fazlar etrafında ölçümler.
  3. Dağılımı çıkarın. İlgilendiğiniz değerler p50, p95, p99 ve maksimum.
  4. Limiti p99 seviyesinin yüzde 30–50 üzerinde bir tamponla ayarlayın. Maksimumda değil — aykırı değerler her zaman vardır ve onlara uyum sağlamak, tek tek anormallikler için kaynak tutmak demektir.
  5. Üç ayda bir veya operatör, bölge, proxy tarifesi değiştiğinde gözden geçirin.

Farklı istemcilerde pratik

Python'un requests kütüphanesinde zaman aşımı bir demetle verilir; birinci değer connect, ikinci değer read. Proxy üzerinden birinci değer proxy'ye TCP'yi ve kural olarak CONNECT yanıtı beklemesini kapsar, çünkü tünel aynı soket üzerinde aynı limit ile kurulur. Örnek:

resp = session.get(url, proxies=proxies, timeout=(5, 20))

httpx'te dört alanlı ayrı bir Timeout nesnesi vardır: connect, read, write ve pool. Bu, Python istemcileri arasında en açık modeldir:

timeout = httpx.Timeout(connect=5.0, read=20.0, write=10.0, pool=3.0)

curl'de iki anahtar bayrak vardır: --connect-timeout bağlantı kurma limitini (CONNECT ve TLS dahil) belirler, --max-time ise genel tavanı. Go'da TCP kurulumu için zaman aşımı Transport'taki Dialer üzerinden, TLS için TLSHandshakeTimeout üzerinden ayarlanır ve CONNECT fazı istek bağlamıyla sınırlanır. Java HttpClient'ta connectTimeout istemci oluşturucusunda, istek limiti ise isteğin kendisinde ayarlanır. Node.js'te undici üzerinden connectTimeout, headersTimeout ve bodyTimeout vardır, ayrıca genel deadline için AbortSignal.

Connect timeout kontrol listesi

  • Değer veri merkezi proxy için en az 2, mobil için en fazla 10 saniye.
  • İstemcinizin CONNECT fazını bu limit kapsamına alıp almadığını kesin olarak biliyorsunuz.
  • Tetiklendiğinde aynı proxy'ye vurmak yerine havuzdan başka bir proxy'ye geçiyorsunuz.
  • İşletim sisteminin SYN'i kendisi yeniden denediği hesaba katılmış — limitiniz sistem limitinden kısa olmalı.
  • IPv6 hostlar için IPv4'e düşme (Happy Eyeballs) açık, yoksa başarısız IPv6 yolu tüm limiti yer.

Yöntem 2: etkinliksizlik aralığı olarak read timeout ve ilk baytı koruma

Aynı ad altında iki farklı görev

Read timeout iki görevi çözer ve kütüphane tek parametre verse bile bunları zihinsel olarak ayırmakta fayda var.

İlk baytı bekleme. Bu, sunucunun isteğiniz üzerinde çalışma süresidir. Statik sayfalar için onlarca milisaniye. Filtreli bir pazar yeri arama sonuçları için yarım saniyeden birkaç saniyeye. Ağır raporlama API'leri için onlarca saniye. Mobil proxy üzerinden buna kanalın dönüş yolundaki gecikmesi eklenir.

Gövde parçaları arasındaki duraklama. Sunucu zaten veri döndürüyor ama aralıklarla: sayfayı parça parça üretiyor, sonucu akıtıyor ya da dar kanala takılıyor. Burada önemli olan toplam boyut değil, maksimum sessizlik.

Bazı istemcilerde ayrı parametreler vardır. Go'da ilk başlık baytı için ResponseHeaderTimeout ve gövde için ayrı mekanizmalar. undici'de headersTimeout ve bodyTimeout. Çoğu Python istemcisinde tek bir read timeout, okumanın her aşamasında etkinliksizlik aralığı olarak çalışır.

Değer nasıl seçilir

  1. Hedef yanıtların karakterini belirleyin. HTML sayfası ve akış JSON'u farklı limitler gerektirir.
  2. Proxy'niz üzerinden TTFB'yi ölçün. p99'u alın ve 1,5 ile çarpın. Tipik web scraping için mobil kanal üzerinden 8–15 saniye çıkar.
  3. Başarılı yanıtlarda parçalar arasındaki maksimum duraklamayı ölçün. Genellikle TTFB'den kat kat küçüktür: 1–3 saniye. İstemci izin veriyorsa bodyTimeout'u ayrı ve daha sıkı ayarlayın.
  4. Read timeout'a yavaş gönderime karşı koruma olarak asla güvenmeyin. Bunun için genel deadline vardır (Yöntem 4).

Tetiklendiğinde ne yapmalı

Burada ana soru ortaya çıkar: yinelemek uygun mu? Cevap metoda ve semantiğe bağlıdır:

  • GET, HEAD, OPTIONS — yinelemek mümkün, sunucu durumu değişmemiştir (site protokol semantiğini ihlal etmiyorsa).
  • Tam gövdeli PUT, DELETE — biçimsel olarak idempotenttir, yineleme güvenlidir.
  • İdempotentlik anahtarı olmayan POST — yineleme kopya oluşturabilir. Doğru tepki: körü körüne yinelemek değil, önce başka bir istekle durumu kontrol etmek ya da işlemi sonradan doğrulama için "sonuç bilinmiyor" olarak işaretlemek.
  • İdempotentlik anahtarı olan POST — yinelemek güvenli, sunucu ilk yürütmenin sonucunu döndürür.

Loglarda ve metriklerde ilk bayta kadar read timeout ile gövde ortasında read timeout'u ayırt etmenizi şiddetle öneririz. Birincisi genellikle hedef sunucu veya proxy aşırı yükünü işaret eder; ikincisi kanal sorununu. Tedavileri farklıdır: birincisinde eşzamanlılığı azaltmak yardımcı olur, ikincisinde proxy veya bölge değiştirmek.

Mobil kanalların özelliği

Hücresel ağ değişken gecikmeyle çalışır. Modem, baz istasyonları arasında geçiş yaparken veya enerji tasarrufu modundan çıkarken bir-iki saniye "donabilir". İstemci açısından bu sokette sessizlik olarak görünür. Read timeout'unuz 2 saniyeyse her modemde saatte birkaç kez yanlış tetikleme yakalarsınız. Limiti 3'ten 6 saniyeye çıkarmanın, mobil proxy'lerde zaman aşımı oranını ortalama istek süresinde belirgin artış olmadan 4–5 kat azalttığını gözlemledik. Nadir isteklerde birkaç saniyelik boşta durma, yeniden denemelerden ve kaybedilen trafikten daha ucuza gelir.

Read timeout kontrol listesi

  • Değer sezgiye değil, proxy'niz üzerinden ölçülen p99 TTFB'ye dayanır.
  • Limitin toplam okuma süresi değil etkinliksizlik aralığı olduğunu anlıyorsunuz.
  • İdempotent olmayan isteklerde tetiklendiğinde kontrolsüz otomatik yeniden deneme yok.
  • Metriklerde ilk bayt öncesi ve gövde içi zaman aşımları ayrılmış.
  • Değer, proxy tarafındaki tünel idle timeout'undan küçük.

Yöntem 3: write timeout ve büyük istek gövdeleriyle çalışma

Yazma ne zaman asılı kalabilir

Çoğu istekte gövde tek bir TCP segmentine sığar ve anında gider — yazma, veri fiziksel olarak makineden çıkmadan tamamlanır. Write timeout üç durumda anlamlı olur: dosya yükleme, büyük JSON dizileri gönderme ve dar kanal üzerinden her türlü iletim. Mobil proxy giden yönde tam da böyle bir kanaldır: modemden gönderim hızı tipik olarak alma hızından belirgin şekilde düşüktür ve ara düğümlerdeki tamponlar sınırlıdır.

Mekanik şudur: istemci yazma çağrısı yapar, veri soketin gönderim tamponuna girer, çekirdek onaylar geldikçe parçalar halinde gönderir. Onaylar gelmezse tampon dolar ve sonraki yazma bloke olur. Write timeout bu bloke süresini sınırlar.

Büyük gövdeler için üç strateji

Strateji A: yazma için genel limit. Basit yaklaşım: tüm istek için tek write timeout. Birkaç megabayta kadar gövdeler için uygundur. Değer şu tahminden seçilir: gövde boyutu, kabul edilebilir minimum hıza bölünür, üzerine tampon eklenir. Örneğin 5 megabayt, minimum 500 kilobayt/saniye hızda — 10 saniye, tamponla 15.

Strateji B: parça başına limit. İstemci gövdeyi parçalar halinde yazar ve her yazmanın süresini sınırlar. Çoğu asenkron istemci böyle çalışır: oradaki write timeout, bir parçanın gönderimindeki maksimum duraklamayı ifade eder. Değer 3–10 saniye, dosya boyutundan bağımsız. Yavaş gönderime karşı koruma tamamen genel deadline'a düşer.

Strateji C: hız kontrolü. İstemci gerçek gönderim hızını izler ve N saniye boyunca eşiğin altına düşerse isteği keser. curl'de bunun için --speed-limit ve --speed-time ikilisi vardır. Bu en hassas araçtır: "yavaş ama gidiyor" ile "takıldı"yı ayırt eder.

Tetiklendiğinde ne olur

Gövdenin bir kısmı zaten sunucudadır. Dosyayı tek istekte yüklediyseniz — sunucu kesilmiş gövde alır. Multipart protokol için bu çoğu zaman ayrıştırma hatasına ve tamamen reddetmeye yol açar, bu güvenlidir. Devam ettirilebilir yüklemeleri destekleyen API'ler için (tus, bulut depolamanın parçalı protokolleri) doğru tepki sunucudan ofseti isteyip oradan devam etmektir. Mobil proxy'ler üzerinden 10 megabaytı aşan her gövde için devam ettirilebilir yüklemeleri öneririz: hücresel kanal üzerinden tek uzun istek kopmalara fazla kırılgandır.

Proxy üzerinden yüklemeler için adım adım ayar

  1. Proxy'niz üzerinden medyan ve minimum gönderim hızını tahmin edin. 5–10 megabaytlık bir test dosyasını günün farklı saatlerinde yirmi kez yükleyin.
  2. Hız dağılımı üç kattan fazla ise toplam bir limit yerine Strateji B veya C kullanın.
  3. Hedef servis destekliyorsa büyük dosyaları 1–5 megabaytlık parçalara bölün.
  4. Parça başına write timeout'u 5–10 saniye olarak ayarlayın.
  5. Mutlaka tüm istek için, boyut ve minimum hızdan hesaplanan bir genel deadline ekleyin.
  6. Tetiklendiğinde sunucunun tam olarak neyi almayı başardığını belirleyin, işin başından yinelemeyin.

Yöntem 4: isteğin toplam bütçesi ve deadline yayılımı

Özel limitlerin toplamı neden bütçe değildir

Diyelim ki connect 5, TLS 5, write 10, read 15 saniye ayarladınız. İstek sanki 35 saniyeden fazla süremez gibi görünüyor. Ancak read timeout bir etkinliksizlik aralığıdır. Her 14 saniyede bir kilobayt hızında gelen yanıt onu asla ihlal etmez. Bu tempoda 10 megabaytlık istek neredeyse bir gün sürer. Genel limit olmadan worker'larınız sonsuza kadar meşgul olur, bağlantı havuzu tükenir ve sistem durur — hiçbir özel zaman aşımı tetiklenmediği halde.

Toplam bütçe (deadline, total timeout), ilk sistem çağrısından son okunan bayta kadar tüm işlem için mutlak tavandır. Özel limitlerin yerini almaz, onları tamamlar: özel limitler hızlı ve hassas tanılama sağlar, genel ise tamamlanma garantisi.

Bütçe nasıl hesaplanır

Aşağıdan yukarıya değil, yukarıdan aşağıya gidiyoruz. Şu soruyla başlayın: iş hedefi için tek bir sonucun maksimum bekleme süresi kabul edilebilir? Etkileşimli senaryo için (kullanıcı bekliyor) — 3–10 saniye. Arka plan scraping için — 30–60 saniye. Büyük dosya yüklemeleri için — boyuttan hesaplanır.

Sonra bu bütçe ölçülen dağılımlar da dikkate alınarak fazlara dağıtılır:

  • Proxy üzerinden tünel kurulumu (TCP + CONNECT + TLS): tipik olarak bütçenin yüzde 15–25'i.
  • İsteği yazma: normal istekler için yüzde 5–10.
  • İlk baytı bekleme: yüzde 30–40.
  • Gövdeyi okuma: geri kalan.

Örnek: mobil proxy üzerinden scraping için 30 saniyelik bütçe. Connect (CONNECT dahil) 6 saniye, TLS 4 saniye, write 3 saniye, read etkinliksizlik aralığı olarak 10 saniye, genel deadline 30 saniye. Özel limitlerin toplamı 23 saniye ve bütçeden küçük — bu normal, ayrı ayrı tetiklenirler. Genel deadline, hiçbir özel limitin yakalayamayacağı yavaş gönderim durumlarını yakalar.

Deadline'ı zincir boyunca yayma

Dağıtık sistemlerde istek nadiren tek başına olur. Servisiniz 30 saniyelik limitli bir görev aldı, hazırlığa 4 saniye harcadı, sonra proxy üzerinden hedef siteye gidiyor. HTTP isteği için ne kadar zaman var? 30 değil, yanıtı işlemek için tampon çıkarıldıktan sonra 26 saniye. Bu deadline yayılımı: sonraki her çağrı sabit bir zaman aşımı değil, bütçenin kalanını alır.

Go'da bu, isteğe iletilen deadline'lı bir bağlamla uygulanır. Python'da asyncio üzerinden kalan sürenin açıkça iletilmesiyle. Java'da her çağrıdan önce Duration hesaplanarak. Kural tek: HTTP isteği için zaman aşımı, statik limit ile kalan bütçenin minimumu olarak dinamik şekilde hesaplanır.

Bu olmadan klasik sorun ortaya çıkar: üst katman çoktan beklemeyi bırakıp hata döndürdü, alt katman hâlâ proxy üzerinden bağlantı tutuyor ve kimsenin ihtiyacı olmayan bir sonuç için trafik tüketiyor. Ücretli mobil proxy trafiğinde bu tam anlamıyla para yakmaktır.

Bağlantı havuzu ve kendi zaman aşımları

Sıklıkla unutulan iki limit daha. Pool timeout — havuzdaki tüm bağlantılar meşgulse boş bağlantı için ne kadar beklenir. Ayarlanmazsa, yük artışında istekler sınırsız bekler ve dışarıdan istemci asılı kalmış gibi görünür. 1–3 saniye ayarlayın: bu sürede bağlantı boşalmazsa sistem aşırı yüklüdür ve hemen reddetmek daha iyidir.

Havuzdaki bağlantının idle timeout'u — kullanılmayan keep-alive bağlantısının kapatılmadan önce ne kadar saklanacağı. Burada proxy ile uyum kritiktir. Proxy etkinliksiz bağlantıyı 60 saniyede kapatıyorsa ama havuzunuz 90 saniye tutuyorsa, 61. saniyede havuzdan ölü bir soket alır, ona istek gönderir ve connection reset alırsınız — zaman aşımı değil, kopma. Birçok kütüphane böyle durumlarda isteği şeffaf şekilde yineler, ancak yalnızca idempotent metotlar için. Kural: istemcinin idle timeout'u kesinlikle proxy'nin idle timeout'undan küçük olmalı, en az yüzde 10–20 tamponla.

"Yukarıdan aşağıya bütçe" çerçevesi

  1. Sonuç bekleme süresi için iş kısıtını sabitleyin.
  2. Kendi işleme sürenizi ve varsa yeniden deneme için tamponu çıkarın.
  3. Kalan miktar — HTTP isteğinin genel deadline'ı.
  4. Bunu, proxy'niz üzerinden her fazın ölçülen p99'una göre fazlara dağıtın.
  5. Her özel limitin, proxy tarafındaki ilgili limitin altında olduğunu kontrol edin.
  6. Proxy ile uyumlu pool timeout ve havuz idle timeout'u ayarlayın.
  7. Kalan bütçenin iç çağrılara iletilmesini uygulayın.
  8. Hangi limitin tetiklendiğini ve her fazda harcanan süreyi loglayın.

Yöntem 5: zaman aşımlarında gözlemlenebilirlik ve uyarlanabilir ayar

Ölçüm yoksa ayar da yok

Önceki tüm yöntemler tek bir şeye dayanır: proxy'niz üzerinden fazların gerçek zaman dağılımlarını bilmelisiniz. Bunu öğrenmenin tek yolu sürekli ölçmektir. Modern istemciler izleme kancaları sunar: DNS başlangıcı, TCP kurulumu, CONNECT yanıtı alınması, TLS tamamlanması, istek gönderimi, ilk bayt, son bayt anları. Bu olayları proxy, hedef host ve hata tipi kırılımıyla metriklere toplayın.

Hangi metrikler toplanmalı

  • Her fazın süre histogramları, proxy endpoint'i ve operatör bazında ayrı ayrı.
  • Her zaman aşımı tipinin toplam istek sayısına oranı.
  • İlk bayt öncesi ile gövde içi zaman aşımlarının oranı.
  • Zaman aşımı olmadan kopan bağlantıların oranı (uyumsuz idle limitlerinin işareti).
  • Zaman aşımıyla sonuçlanan isteklerde harcanan ortalama süre — trafik ve kaynak cinsinden doğrudan kaybınız.

Uyarlanabilir zaman aşımları

2026'ya girildiğinde olgun sistemlerde standart haline gelen son yılların trendi — uyarlanabilir limitler. Sabit bir sayı yerine istemci her proxy-hedef çifti için kayan bir gözlem penceresi tutar ve zaman aşımını pencerenin p99'u ile bir tampon katsayısından hesaplar, üstte ve altta makul sınırlarla çevrilidir. Kanal bozuldukça limit artar ve yanlış tetiklemeler azalır. Kanal düzelince limit düşer ve sistem gerçek sorunlara daha hızlı tepki verir.

Uygulaması karmaşık değil: anahtar başına son 200–500 ölçüm için halka tampon, birkaç saniyede bir nicelik yeniden hesaplama, sınırlar — "read için en az 3, en fazla 20 saniye" gibi. Bozulmaya karşı korunmak önemlidir: tüm istekler zaman aşımına uğramaya başlarsa pencere limit seviyesindeki değerlerle dolar ve limit yalnızca büyümeye devam eder. Bu yüzden pencereye yalnızca başarılı istekler girer ve limitin büyümesi üst sınırla kısıtlanır.

Hedge edilmiş istekler

Birkaç proxy'den oluşan havuz üzerinden okuma için, yavaş kuyrukların etkisini zaman aşımını artırmadan azaltan bir teknik var: istek p95 sürede tamamlanmadıysa başka bir proxy üzerinden bir kopyasını daha gönder ve ilk gelen yanıtı al. Bu trafiği birkaç yüzde artırır ama p99 gecikmesini radikalleştirir. Yalnızca idempotent istekler için uygundur ve kaybeden kopyayı dikkatlice iptal etmeyi gerektirir, yoksa trafik boşa harcanır.

Tipik hatalar: yapılmaması gerekenler

Her şey için tek sayı

En yaygın hata. 30 saniyelik tek zaman aşımı, ölü bir proxy'yi yarım dakika boyunca tespit edeceğiniz, gövde ortasındaki yavaş yanıtı ise asla yakalayamayacağınız anlamına gelir. Fazları ayırın.

Varsayılan olarak zaman aşımı olmaması

Birkaç popüler kütüphanede zaman aşımı kutudan çıkmaz: istek sonsuza kadar asılı kalabilir. requests'te bu hâlâ böyledir. Proxy üzerinden açık bir zaman aşımı olmayan her çağrı, potansiyel olarak sonsuza kadar bloke edilmiş bir worker demektir.

Read timeout'u proxy'nin idle limitinden büyük ayarlamak

Zaman aşımları görmeyeceksiniz, bağlantı kopmaları göreceksiniz ve sorunu yanlış yerde arayacaksınız. Proxy sağlayıcınızın limitlerini öğrenin ve istemciyi kesinlikle altında ayarlayın.

POST'ta read timeout sonrası körü körüne yinelemek

Kopya siparişlere, çift çekimlere ve yinelenen mesajlara giden doğrudan yol. İdempotent olmayan bir istekte read timeout sonrası sonuç bilinmez — bununla tahmin yürütmek değil, ilgilenmek gerekir.

CONNECT fazını görmezden gelmek

Belirli bir kütüphanenin dokümanlarını doğrulamadan connect timeout'un tünel kurulumunu kapsadığını varsaymak. Bazı istemcilerde CONNECT fazı genel deadline'a kadar asılı kalır, o da yoksa — süresiz.

Maksimuma göre ayar yapmak

Bir isteğin 45 saniye sürdüğünü gördünüz — limiti 60 yaptınız. Şimdi her gerçek sorun size bir dakika beklemeye mal oluyor. p99'u tamponla hedefleyin, aykırı değerleri yeniden deneme veya hedge mekanizmasına bırakın.

Alt katman işini iptal etmeyen zaman aşımı

Üst katman kendi limitiyle istisna fırlattı, HTTP isteği ise arka plan görevinde yaşamaya devam ediyor. Özellikle asenkron kodda sık görülen hata: bekleyen sarmalayıcı bitti ama coroutine iptal edilmedi. Zaman aşımının tetiklenmesinin gerçek soket kapatmaya yol açtığından emin olun.

Veri merkezi ve mobil proxy'ler için aynı limitler

Gecikme ve jitter arasındaki fark kat kat fazla. Sunucu proxy'sinde çalışan profil, mobilde sahte zaman aşımı yağmuru üretir. Ayrı ayar profilleri tutun.

Pool timeout'un olmaması

Yük artışında istekler boş bağlantı için sonsuza kadar bekler. Dışarıdan — sıfır ağ trafiğinde tüm istemcinin asılı kalması gibi görünür.

Araçlar ve kaynaklar

Komut satırından tanılama

curl fazları çözmek için referans araç olmaya devam ediyor. --connect-timeout, --max-time, --speed-limit, --speed-time bayrakları tüm seviyeleri kapsar ve zaman değişkenli -w çıkış formatı her fazın ne kadar sürdüğünü gösterir:

curl -x http://user:pass@proxy:port --connect-timeout 5 --max-time 30 -o /dev/null -s -w "dns=%{time_namelookup} tcp=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} total=%{time_total}" https://example.com/

Dikkat: proxy üzerinden time_connect değişkeni proxy'ye kadar süreyi, time_appconnect ise hedefle TLS tamamlanmasına kadarki süreyi gösterir yani CONNECT'i içerir. Aralarındaki fark — ikinci atlamanızdır.

İstemci kütüphaneleri ve zaman aşımı modelleri

  • Python requests: (connect, read) demeti. write ve genel zaman aşımı yoktur; genel, dış sarmalayıcıyla veya thread seviyesinde iptalle uygulanır.
  • Python httpx: connect, read, write, pool alanlı Timeout nesnesi. Genel yoktur ama asenkron modda limitli bekleyip iptal ederek kolayca eklenir.
  • Python aiohttp: total, connect, sock_connect, sock_read alanlı ClientTimeout. Popüler Python istemcileri arasında dahili genel limit olan tek istemci.
  • Go net/http: Transport'ta Dialer.Timeout, TLSHandshakeTimeout, ResponseHeaderTimeout, ExpectContinueTimeout, IdleConnTimeout; genel için Client.Timeout; dinamik deadline için istek bağlamı.
  • Java HttpClient: istemcide connectTimeout, istekte timeout (başlıklar gelene kadar kapsar). Gövde okuma BodyHandler veya sarmalayıcı seviyesinde sınırlanır.
  • Node.js undici: connectTimeout, headersTimeout, bodyTimeout, keepAliveTimeout; genel için AbortSignal.timeout.

Trafik analizi

tcpdump ve Wireshark, kabloda gerçekte ne olduğunu görmenizi sağlar: SYN gitti mi, SYN-ACK geldi mi, FIN veya RST'yi kim önce gönderdi. "Bağlantıyı ben mi, proxy mi yoksa sunucu mu kopardı" sorusuna güvenilir cevap vermenin tek yolu budur. HTTPS içeriği için görünürlük sınırlıdır ama bağlantı ve tünel fazları tamamen görünür.

Yeniden üretme ortamları

İstemcinin asılı kalma durumlarındaki davranışını test etmek için bir dizi sahte sunucu bulundurmak faydalıdır: bağlantıyı kabul edip susan TCP sunucusu (connect ve CONNECT kontrolü); başlıkları döndürüp sonra susan HTTP sunucusu (gövde öncesi read kontrolü); saniyede bir bayt gönderen sunucu (genel deadline kontrolü). Böyle sahteleri yazmak yarım saat sürer; prodüksiyonda hata ayıklamada kazanılan zaman ise günlerle ölçülür. Ayrıca laboratuvarda mobil kanalı taklit etmek için arabirime gecikme, jitter ve kayıp ekleyebilen ağ emülasyon araçları da vardır.

Gözlemlenebilirlik

HTTP istemcilerinin otomatik enstrümantasyonuyla OpenTelemetry formatında metrik ve iz toplamak standart haline geldi. Fazlara göre histogramlar, proxy kimliği ve hangi limitin tetiklendiği tipini taşıyan nitelikler — bu olmadan ayar tahmine dönüşür.

Vaka çalışmaları ve sonuçlar

Vaka 1: Mobil proxy'ler üzerinden pazar yeri scraping'i

Ekip mobil proxy havuzu üzerinden ürün kartları topluyordu. Başlangıç yapılandırması: tek 15 saniye zaman aşımı, genel deadline yok, standart bağlantı havuzu. Belirtiler: isteklerin yüzde 11'i hatalarla bitiyordu, bunların üçte ikisi zaman aşımı, üçte biri bağlantı kopmasıydı. Başarısız isteğin ortalama süresi 14 saniyeydi, yani her onuncu istek boşuna zaman ve trafik yiyordu.

Faz bazında tanılama gösterdi: tünel kurulumunun p99'u 4,8 saniye, TTFB p99'u 6,2 saniye, başarılı yanıtlarda parçalar arasındaki maksimum duraklama 2,1 saniye, sağlayıcının tünel idle limiti 60 saniye, istemci havuzu ise bağlantıları 120 saniye tutuyordu.

Değişiklikler: CONNECT'i kapsayan connect 7 saniye, read 9 saniye, write 5 saniye, genel deadline 25 saniye, havuz idle 45 saniye, pool timeout 2 saniye. Metriklerde ilk bayt öncesi ve gövde içi zaman aşımlarının ayrılması.

Bir hafta sonrasında sonuç: toplam hata oranı yüzde 3,4'e düştü, bağlantı kopmaları neredeyse tamamen ortadan kalktı, başarısız isteğin ortalama süresi 8 saniyeye indi. Toplanan veri başına trafik tüketimi yüzde 19 azaldı. Yeniden deneme mantığında hiçbir değişiklik yapılmadı — sadece zaman aşımları.

Vaka 2: Ödeme API'si entegrasyonu ve kopyalar

Servis, kurumsal proxy üzerinden ödeme işlemi oluşturmak için POST istekleri gönderiyordu. Read timeout 10 saniye ve her istisnada otomatik yeniden deneme. Birkaç günde bir işlem kopyaları ortaya çıkıyordu. Analiz gösterdi: hedef API yük anlarında 11–14 saniyede yanıtlıyordu, istemci read timeout'la düşüyor, isteği yineliyor ve her iki işlem başarıyla gerçekleşiyordu.

Çözüm üç parçadan oluşuyordu: read timeout ölçülen p99 15 saniye temelinde 20 saniyeye çıkarıldı; POST'ta read timeout sonrası yeniden deneme, istemci kimliğiyle işlem durumu sorgusuyla değiştirildi; API'nin desteklediği idempotentlik anahtarı başlığa eklendi. Kopyalar tamamen kesildi. Ekibin ayrı çıkarımı: idempotent olmayan bir istekte read timeout bir hata değil, ayrı bir işleme dalı gerektiren "sonuç bilinmiyor" durumudur.

Vaka 3: Mobil kanal üzerinden medya dosyası yükleme

Uygulama 50–200 megabaytlık videoları mobil proxy'ler üzerinden tek istekte yüklüyordu. Write timeout 30 saniye, genel deadline yok. Belirtiler: yüklemelerin yaklaşık yüzde 8'i kopuyordu, her başarısızlık sıfırdan yeniden deneme demekti, günlük trafik israfı onlarca gigabayta ulaşıyordu.

Devam ettirilebilir 4 megabaytlık parçalı yüklemeye geçiş, parça için write timeout 8 saniye, 10 saniye boyunca saniyede minimum 100 kilobayt hız kontrolü, parça için genel deadline 60 saniye. Tamamen başarısız yüklemelerin oranı yüzde 0,3'e düştü, yeniden denemelerdeki trafik israfı 12 kat azaldı çünkü yalnızca son başarısız parça yinelendi.

Vaka 4: Genel deadline olmadan CONNECT asılı kalması

Bir Python kütüphanesi üzerindeki asenkron toplayıcı periyodik olarak "donuyordu": worker'lar canlı, ağ sessiz, kuyruk ilerlemiyor. Bir-iki saat sonra toplayıcı elle yeniden başlatılıyordu. İnceleme gösterdi: havuzdaki proxy'lerin bir kısmı TCP'yi kabul ediyor ama CONNECT'e yanıt vermiyordu. Kullanılan yapılandırmada bu faz hiçbir limit tarafından kapsanmıyordu. Tüm istek için genel deadline ve tünel kurulumu için açık bir limit eklenmesi asılı kalmaları ortadan kaldırdı. Ayrıca proxy'ler için yalnızca TCP erişilebilirliğini değil CONNECT fazını da kontrol eden healthcheck eklendi.

SSS: proxy üzerinden zaman aşımlarıyla ilgili zor sorular

İstemci zaman aşımı ile proxy'den gelen 504 yanıtı arasındaki fark nedir?

İstemci zaman aşımı sizin beklemeyi bırakma kararınızdır; proxy ve sunucu bunu yalnızca bağlantı kapanışından öğrenir. 504 yanıtı ise proxy'nin kararıdır: kendisi hedef sunucuyu bekleyememiş ve bunu tam bir HTTP yanıtı olarak size bildirmiştir. Birinci durumda soket bir istisnayla kapanır, ikincisinde hata kodlu normal bir yanıt alırsınız. Bunları farklı ele almak gerekir: 504, proxy'nin kesinlikle canlı olduğunu ve sorunun zincirin aşağısında olduğunu söyler; istemci zaman aşımı tam olarak nerede takıldığı hakkında hiçbir şey söylemez.

Mobil proxy üzerinden neden veri merkezi proxy'sinden daha uzun zaman aşımlarına ihtiyaç var?

Jitter yüzünden. Hücresel kanalın ortalama gecikmesi o kadar büyük değildir ama saçılımı muazzamdır: baz istasyonları arası geçişler, modemin enerji tasarrufu modları, radyo kaynağı için rekabet. Zaman aşımı dağılımın kuyruğuna göre ayarlanır ve mobil kanalın kuyruğu kat kat uzundur. Aynı zamanda çok uzun limitler de zararlıdır — gerçekten ölü proxy'lerin tespitini yavaşlatır. Denge p99 ölçümü ve yüzde 30–50 tamponla sağlanır, tüm sayıları ikiye katlamakla değil.

Kütüphane tek bir genel istisna fırlatıyorsa hangi zaman aşımının tetiklendiğini nasıl anlarım?

Üç yol. Birincisi — süreye göre: istisna connect timeout süresine eşit bir zamanda geldiyse, read değil, fazı biliyorsunuz. İkincisi — trace kancalarıyla: "TLS tamamlandı" olayı gerçekleştiyse ama "ilk bayt" gerçekleşmediyse TTFB'de takılmışsınız. Üçüncüsü — istisna metni ve tipine göre: birçok kütüphane ConnectTimeout ve ReadTimeout'u ayrı sınıflar olarak ayırt eder. Her zaman istisnadan önce hangi fazların tamamlandığını loglamanızı öneririz — bu, gizemli bir zaman aşımını kesin bir tanıya dönüştürür.

Write timeout tetiklendikten sonra istek yinelenebilir mi?

Gövdesiz GET için — evet, hiçbir şey gitmedi. Gövdeli POST için — yalnızca sunucunun eksik gövdeleri reddettiğinden eminseniz. Çoğu sunucu böyle yapar: eksik JSON veya kesilmiş multipart ayrıştırma hatası verir. Ancak veri geldikçe işlemeye başlayan akış API'leri değişiklikleri kısmen uygulayabilir. Şüphedeyseniz — yinelemeden önce durumu kontrol edin.

İstemci zaman aşımları proxy sağlayıcısının zaman aşımlarıyla nasıl uyumlanır?

Sağlayıcıdan veya dokümantasyondan üç değer isteyin ya da bulun: hedef hostla bağlantı limiti, tünel idle limiti ve maksimum bağlantı ömrü. Tünel kurma limitiniz sağlayıcınınkinden küçük olmamalı (aksi halde proxy'nin başarabileceğinden önce pes edersiniz), read timeout'unuz ve havuz idle'ınız ise kesinlikle sağlayıcının idle limitlerinden küçük olmalı. Dokümantasyon yoksa ampirik olarak ölçün: bağlantıyı açın, N saniye susun, istek göndermeyi deneyin, kopmanın geldiği eşiği bulun.

Tüm özel limitler ayarlanmışsa genel deadline gerekli mi?

Evet, kesinlikle. Özel limitler toplam süreyi sınırlamaz: read timeout'tan kısa aralıklarla saniyede bir kilobayt hızında yavaş gönderim süresiz sürebilir. Genel deadline, worker'ın serbest kalacağının tek garantisidir. Ayrıca deadline bütçesini çağrı zinciri boyunca yayarken aşağıya iletilen şey genel deadline'dır, özel limitler yerel ayar olarak kalır.

HTTP/2 ve HTTP/3 proxy üzerinden zaman aşımı modelini nasıl etkiler?

HTTP/2 birçok isteği tek bağlantıda çoklar, bu yüzden soket seviyesindeki read timeout artık tek bir isteğin zaman aşımı olmaktan çıkar: soket diğer akışların verisini alır ve belirli bir isteğin etkinliksizliği fark edilmez. Akış seviyesinde limitler gerekir — çoğu HTTP/2 istemcisi bunları istek deadline'ı üzerinden sunar. QUIC üzerinden HTTP/3 bağlantı fazını da değiştirir: el sıkışma kriptografik olanla birleşmiştir ve connect timeout her ikisini kapsar. Klasik CONNECT proxy'si üzerinden hedefe HTTP/3 kural olarak geçmez — tünel TCP odaklıdır ve istemci HTTP/2 veya HTTP/1.1'e geri düşer. Proxy üzerinden UDP tünelleme uzantıları gelişiyor, ancak 2026 itibarıyla yaygın istemcilerdeki destekleri sınırlıdır.

Zaman aşımından sonra bağlantı havuza dönüyor ve sonraki istek düşüyorsa ne yapmalı?

Bu, istemcinin soketi doğru kapatmadığının veya havuzun bağlantıyı bozuk olarak işaretlemediğinin işaretidir. Read timeout'un tetiklendiği bağlantı yeniden kullanılamaz: içinde geç gelen yanıtın baytları olabilir ve bunlar sonraki isteğin yanıtı olarak okunur. İstemcinizin zaman aşımında bağlantıyı havuza döndürmek yerine kapattığından emin olun. İyi tasarlanmış istemcilerde bu varsayılan davranıştır, ancak kendi sarmalayıcılarınızda ve düşük seviyeli soket çalışmalarında bu hataya düzenli olarak rastlanır.

SOCKS5 proxy için zaman aşımları HTTP proxy'den farklı nasıl ayarlanır?

İlke aynıdır, fazlar farklıdır: CONNECT yerine — karşılama, kimlik doğrulama ve bağlantı komutu; bu proxy'ye iki-üç gidiş-dönüş artı proxy'nin hedefle bağlantı kurma süresidir. Çoğu istemcide SOCKS el sıkışması tamamen connect timeout kapsamına girer. Değerin yalnızca proxy'ye TCP'yi değil, proxy'nin hedefle mobil kanal üzerinden bağlantı kurma süresini de hesaba kattığından emin olun — aynı 3–10 saniye.

Sonuç: bir mühendislik disiplini olarak zaman aşımları

Özetleyelim. Proxy üzerinden bir HTTP isteği tek bir işlem değil, her biri kendi gecikme doğasına ve kopma durumunda kendi sonuçlarına sahip yedi-sekiz bekleme fazından oluşan bir zincirdir. Connect ve TLS zaman aşımları güvenlidir: sunucuya hiçbir şey gitmemiştir, yeniden deneyebilirsiniz. Write timeout sunucuyu eksik veriyle baş başa bırakır. Read timeout — en kurnazı: istek teslim edilmiştir ve belki de gerçekleştirilmiştir, siz bunu bilmezsiniz. Genel deadline özel limitlerin yerini almaz, onların yakalayamadığı yavaş gönderime karşı sigortadır.

Mobil proxy'ler üzerinden tüm bunlar daha da güçlenir: ikinci atlama yüksek jitter'lı bir kanaldan geçer ve sunucu proxy'lerinde rahatça çalışan limitler sahte tetikleme yağmuru üretir. Bunları doğru ayarlamanın tek yolu, kendi proxy'niz üzerinden fazların dağılımlarını ölçmek ve limitleri p99'a göre tamponla koyup proxy'nin kendi limitleriyle uyumlamaktır.

Sonraki adımlarınız:

  1. Kodunuzda proxy üzerinden her HTTP çağrısını bulun ve tüm fazlar için açık zaman aşımları ile genel deadline'ı olup olmadığını kontrol edin.
  2. İstemcinizin CONNECT fazını kapsayıp kapsamadığını ve read timeout'u etkinliksizlik mi yoksa toplam süre olarak mı yorumladığını öğrenin.
  3. Proxy sağlayıcınızın idle ve bağlantı limitlerini öğrenin ve istemci ayarlarını uyumlu hale getirin.
  4. Faz izlemeyi açın ve bir haftalık dağılım toplayın.
  5. Limitleri p99'a göre yeniden hesaplayın, veri merkezi ve mobil proxy'ler için profilleri ayırın.
  6. İdempotent ve idempotent olmayan istekler için zaman aşımı işlemesini ayırın.
  7. Metriklere tetiklenen limit tipini ve tetiklendiği fazı ekleyin.

Zaman aşımları bir kez ayarlanıp unutulan bir parametre değildir. Sisteminizin dış dünyayla kurduğu sözleşmenin bir parçasıdır ve her sözleşme gibi ölçüm, gözden geçirme ve taraflar arası uyum gerektirir. Bunu bir kez sistematik şekilde yapın — loglarınızın ne kadar sessizleştiğine ve trafiğinizin ne kadar ucuzladığına şaşıracaksınız.