Наш клиент осуществляет сбор больших объемов данных из источников в США и Великобритании. Стабильная ротация является основой его деятельности — без неё запросы сразу же сталкиваются с ограничением скорости и блокировкой доступа. Прокси-уровень лежит в основе всей его деятельности; пока он работает, сохраняется и уровень успешности операций.
Проблема — при больших объемах проблемы быстро накапливаются
Ограничивающие скорость факторы и блоки масштабируются вместе с вами
Чем больше запросов они отправляют, тем сильнее сопротивляются целевые серверы. Именно стабильные сменяющиеся прокси позволяют поддерживать высокий показатель успешности, а не снижать его по мере роста объема запросов.
«Черный ящик» бесполезен во время инцидента
Когда сервер вышестоящего интернет-провайдера начинает работать с перебоями или выходит из строя, команда не может тратить время на устранение неполадок на уровне, который не находится под её контролем. Им нужен был провайдер, который готов вмешаться, а не тот, кто просто отмахивается от проблемы.
Не каждый неудавшийся запрос является ошибкой прокси-сервера
Значительная доля сбоев происходила из-за самих целевых источников — а платить за них означает платить за ничего.
Решение PrivateProxy
Надежные ротационные пулы в США и Великобритании, способные выдерживать нагрузку
Эти пулы демонстрируют высокий показатель успешности при больших объемах сбора данных, а именно в этом и заключается суть работы в таких масштабах — в предсказуемом поступлении данных, а не в эпизодических всплесках.
Поддержка, которая решает проблему
У клиента есть общий канал связи с нашей командой, где на вопросы даются реальные, персональные ответы — как правило, в течение нескольких часов. Когда производительность сервера вышестоящего интернет-провайдера снижается, мы проактивно корректируем пул и отслеживаем ситуацию, как только он возвращается в режим автоматической ротации, вместо того чтобы оставлять команду разбираться с «черным ящиком».
Модель расчетов, справедливо отражающая особенности их работы
Когда заказчик предоставил нам данные, свидетельствующие о том, что значительная доля неудачных запросов поступала именно из целевых источников, а не через прокси-серверы, мы согласились на модель, исключающую эти неудачные запросы. Практичная API дополняет эту модель — пользователи могут менять прокси-сервер на определенном порте и запрашивать текущий IP отладки и ведения журнала.
Есть над чем поработать
Пул самовосстанавливается только в случае полного выхода серверов из строя — прокси-серверы с резким увеличением времени отклика не удаляются автоматически, поэтому иногда команде приходится вмешиваться вручную, а изменения в пуле вступают в силу через несколько минут. Ни то, ни другое не является критическим недостатком, но автоматическое обнаружение прокси-серверов с ухудшенной производительностью (а не только неработающих) сделало бы сервис более автономным. Это входит в наши планы на будущее.
Результаты
| Метрическая система | Значение |
|---|---|
| Коэффициент успешности в зависимости от объема | 90% |
| Ежемесячный объем | 2,5 млн запросов |
| Время реагирования службы поддержки | В течение нескольких часов через общий канал в Slack |
| Клиент с | Январь 2025 года |
| Модель выставления счетов | Неудачные запросы на стороне источника не учитываются при выставлении счетов |
«Благодаря оперативной поддержке и готовности адаптироваться к нашему рабочему процессу мы воспринимаем их как настоящего партнера, а не просто как поставщика услуг».
