Open Web Ninja gestiona más de 30 API de datos en tiempo real: comercio electrónico, redes sociales, sector inmobiliario, mercados laborales y finanzas. Sus clientes son desarrolladores y empresas que necesitan datos estructurados que se les faciliten de forma fiable y bajo demanda. La proxy es lo que lo hace posible a gran escala.
En tres años, el volumen de llamadas a las API se multiplicó por 10.Los proxiesrotativos de PrivateProxyen centros de datosasumieron la mayor parte de ese tráfico durante todo ese tiempo.
El reto: ampliar las API de datos manteniendo una latencia predecible
Cuando vendes API de datos, el tiempo de inactividad no es un problema interno, sino un problema de tus clientes. Open Web Ninja presta servicio a más de 50 000 clientes. Si la infraestructura que sustenta las API se ralentiza o se detiene, esos clientes lo notan de inmediato.
Hubo tres factores que hicieron que la construcción de esa infraestructura resultara más difícil de lo previsto.
Las fuentes responden rápidamente
Cualquier servicio que extraiga datos a gran escala acabará alcanzando los límites de frecuencia y sufriendo bloqueos. Eso no es un fallo del plan, sino la hipótesis de partida. La cuestión es hasta qué punto la proxy lo gestiona de forma fiable sin necesidad de intervención manual cada vez que surge un nuevo caso excepcional.
Cada objetivo se comporta de forma diferente
Un punto final de la API funciona bien con una configuración determinada. Otro, no. Un proxy que gestione esta variedad de forma discreta —sin que el equipo de ingeniería tenga que estar ajustándolo constantemente— tiene más valor que uno que sea rápido sobre el papel.
La latencia media no es un indicador adecuado
Adam Ben-Ayoun, cofundador y director técnico, es muy claro al respecto: la variabilidad es lo que hace que los productos API fallen. Una respuesta que tarda 50 ms en una ocasión y 3 segundos en otra es peor que una que tarda siempre 200 ms. Los clientes se fijan en los picos, no en la media.
La solución: Proxy rotativo en el centro de datos para una entrega de API de alto rendimiento
Open Web Ninja utiliza varios proxy al mismo tiempo. Se trata de una decisión arquitectónica deliberada: así se consigue una mayor cobertura de direcciones IP y, si un proveedor tiene algún problema, los demás absorben el tráfico automáticamente.
Dentro de esa pila, PrivateProxy es el que gestiona el mayor volumen
| Parámetro | Valor |
|---|---|
| Proxy | Rotación del centro de datos |
| Posición en la pila | Principal proveedor por volumen de llamadas a la API |
| Conmutación por error | Multiproveedor con redistribución automática |
| Canal de asistencia | Canal de Slack específico |
| Configuraciones personalizadas | Disponible previa solicitud |
El equipo evalúa a los nuevos proveedores siempre siguiendo el mismo procedimiento: empezar poco a poco, probar el servicio con tráfico real y ampliarlo solo si da la talla. PrivateProxy pasó por ese proceso hace tres años y, desde entonces, ha sido nuestro proveedor principal.
Sobre por qué se eligió específicamente un centro de datos, en palabras del equipo: «Somos grandes defensores de la fiabilidad y la velocidad». Para un negocio de API de alto rendimiento en el que la latencia predecible es más importante que la diversidad de direcciones IP, los proxies rotativos de centro de datos resultaban la opción más adecuada.
Implementación técnica
Los servidores proxy se encuentran en la capa de infraestructura de la API. Todas las solicitudes salientes pasan por el grupo de servidores; la rotación se lleva a cabo en cada solicitud para distribuir la carga entre los rangos de IP.
Python
import requests
PROXY_HOST = "dc.privateproxy.me"
PROXY_PORT = 10000
PROXY_USER = "your_username"
PROXY_PASS = "your_password"
proxies = {
"http": f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}",
"https": f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}",
}
response = requests.get("https://target-source.com/data", proxies=proxies, timeout=10)
Cuando hay una elevada concurrencia, el uso de un grupo de conexiones reduce la sobrecarga de TCP por solicitud. En el caso de más de 50 000 clientes que realizan llamadas simultáneas a la API, esto supone una diferencia considerable.
Los resultados: un crecimiento de 10 veces gracias a Proxy que supo estar a la altura
| Métrico | Valor |
|---|---|
| Volumen de llamadas a la API | Un crecimiento de 10 veces en 3 años |
| Clientes | 50,000+ |
| Respuesta del servicio de asistencia | <30 min on weekdays via Slack |
| Puesto de proveedor | Mayor cuota de tráfico en la pila |
| Temas | Poco frecuente — se resolvió rápidamente |
«No nos dan miedo las sorpresas desagradables, por mucho que crezcamos. La infraestructura siempre está a la altura».
«Ni siquiera se trata del tiempo que tardas en responder. Se trata del grado de implicación en los problemas y de intentar resolverlos. Ahí es donde destacas sobre los demás».
