Como a Open Web Ninja cresceu 10 vezes sem trocar de provedor

A Open Web Ninja opera mais de 30 APIs de dados em tempo real — comércio eletrônico, redes sociais, mercado imobiliário, mercado de trabalho e finanças. Seus clientes são desenvolvedores e empresas que precisam de dados estruturados fornecidos de forma confiável e sob demanda. A camada de proxy é o que torna isso possível em grande escala.
Ao longo de três anos, o volume de chamadas de API cresceu 10 vezes.Os proxiesrotativos do PrivateProxyem data centersassumiram a maior parte desse tráfego durante todo esse período.

O desafio: ampliar a escala das APIs de dados, mantendo uma latência previsível

Quando você comercializa APIs de dados, o tempo de inatividade não é um problema interno — é um problema dos seus clientes. A Open Web Ninja atende a mais de 50.000 clientes. Se a infraestrutura por trás das APIs ficar lenta ou parar de funcionar, esses clientes percebem isso imediatamente.

Três fatores tornaram a construção dessa infraestrutura mais difícil do que o esperado.

As fontes reagem rapidamente

Qualquer serviço que extraia dados em grande volume acabará atingindo limites de taxa e bloqueios. Isso não é uma falha no plano — é a premissa básica. A questão é saber com que confiabilidade a camada de proxy lida com isso sem intervenção manual sempre que surge um novo caso de exceção.

Alvos diferentes se comportam de maneiras diferentes

Um endpoint de API funciona bem com uma determinada configuração. Outro, não. Um provedor de proxy que lida com essa variedade de forma discreta — sem que a equipe de engenharia precise fazer ajustes constantes — vale mais do que um que seja rápido apenas no papel.

A latência média não é a métrica correta

Adam Ben-Ayoun, cofundador e diretor de tecnologia (CTO), é bem claro sobre isso: a variação é o que prejudica os produtos de API. Uma resposta que leva 50 ms em uma ocasião e 3 segundos na seguinte é pior do que uma que leva consistentemente 200 ms. Os clientes percebem os picos, não a média.

A solução: configuração de proxy rotativo no data center para entrega de API com alta taxa de transferência

O Open Web Ninja opera vários provedores de proxy ao mesmo tempo. Essa é uma decisão arquitetônica deliberada — maior cobertura de IPs e, caso um provedor tenha algum problema, os outros absorvem o tráfego automaticamente.

Nessa pilha, o PrivateProxy é responsável pelo maior volume

A equipe avalia novos provedores sempre da mesma maneira: começa aos poucos, testa com tráfego real e só amplia a escala se o serviço se mostrar confiável. A PrivateProxy passou por esse processo há três anos e, desde então, tem sido o principal provedor.

Sobre o motivo de terem escolhido especificamente um data center — nas palavras da equipe: “somos grandes fãs por questões de confiabilidade e velocidade”. Para um negócio de API de alto rendimento, em que a latência previsível é mais importante do que a diversidade de IPs, os proxies em data centers rotativos foram a escolha certa.

Implementação técnica

Os proxies estão localizados na camada de infraestrutura da API. Todas as solicitações de saída passam pelo pool; a rotação é executada a cada solicitação para distribuir a carga entre os intervalos de IP.

import requests

PROXY_HOST = "dc.privateproxy.me"
PROXY_PORT = 10000
PROXY_USER = "your_username"
PROXY_PASS = "your_password"

proxies = {
     "http": f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}",
     "https": f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}",
}

response = requests.get("https://target-source.com/data", proxies=proxies, timeout=10)

Em condições de alta simultaneidade, o uso de pool de conexões reduz a sobrecarga de TCP por solicitação. Quando há mais de 50.000 clientes realizando chamadas simultâneas à API, isso faz uma grande diferença.

Os resultados: crescimento de 10 vezes com uma infraestrutura de proxy que acompanhou o ritmo