Зайт

Основное введение

За 13 лет Zyte построил целую экосистему на основе веб-скрапинга: фреймворк с открытым исходным кодом, автономный браузер, службы сбора данных и многое другое. Smart Proxy Manager делает один, хотя и очень важный, элемент головоломки сбора данных.

Инструмент был задуман как собственное решение насущной проблемы. Парни из Zyte каждый день работали с прокси-серверами как веб-скраперы. Однако независимо от того, какого провайдера они выбрали, вскоре они столкнулись с проблемами с блокировкой и надежностью. , они перестали сосредотачиваться на том, какие IP-адреса у них есть, и вместо этого направили все свои усилия на то, как они работают. Появилась «самая умная в мире прокси-сеть».

Zyte утверждает, что это позволяет компаниям более легко и прозрачно масштабировать свои операции и готово помочь им достичь миллиардов запросов, если это необходимо.

Есть недостатки? Конечно. Более дешевые планы ограничивают все, от одновременных запросов до поддержки клиентов (без помощи по выходным!). Дросселирование и автоматические повторные попытки могут сохранить прокси-серверы, но они также могут замедлить вас. Нет SOCKS5. И, конечно же, IP-адреса не очень подходят для вещей, не связанных с веб-скрапингом.

В этом обзоре мы попытаемся выяснить, сможет ли Zyte конкурировать с доминирующими сетями с резидентными прокси. ограничено, основные функции провайдера с плюсами и минусами чуть ниже.

ПЛЮСЫ

• Отличная производительность очистки
• Неудачные запросы ничего не стоят
• Интеллектуальное управление IP
• Щедрая бесплатная пробная версия

МИНУСЫ

• Более дешевые планы ограничивают возможности
• Ограничения производительности под нагрузкой
• Ограниченные варианты использования

КЛЮЧЕВАЯ ОСОБЕННОСТЬ

• Типы прокси: ЦОД, жилой
• Протоколы: HTTP, HTTPS
• Местонахождение: 12+ стран
• Таргетинг: Страна
• Аутентификация: ключ API
• Субпользователи: Да
• Приборная панель: Да
• Поддержка: 24/5 (24/7 для предприятий)
• Цена: от 99 долларов за 100 тысяч запросов.

Варианты оплаты: Кредитная карта, PayPal

Пробная версия: 14 дней

Зайт Сервисы

Прокси центра обработки данных

Прокси-серверы для центров обработки данных являются основным продуктом Zyte или, по крайней мере, основой для него. На самом деле вы покупаете функции управления прокси-серверами, установленными сверху, и провайдер будет постоянно напоминать вам «сосредоточиться на данных, а не на прокси-серверах».

Таким образом, мы не можем точно знать, сколько существует IP-адресов. Также нет много информации о покрытии местоположения: ребята из Zyte сказали нам, что есть 12 стран с более чем 1 тысячей IP-адресов, и он может получить другие местоположения по запросу. .Вероятно, это связано с тем, что Zyte арендует прокси-серверы у других провайдеров, поэтому он может приспособиться к вашим потребностям.

Короче говоря, то, что мы видим, довольно не впечатляющее. Интересно то, чего мы не видим — логика управления прокси-сервером Zyte. Вот некоторые из его основных функций:

Регулирование запросов — Smart Proxy Manager просматривает веб-сайт, который вы очищаете, оценивает его нагрузку, историю банов, а затем ограничивает скорость запросов настолько, чтобы вас не забанили. Автоматические повторные попытки — Smart Proxy Manager хранит базу данных различных типов банов, капч и кодов ответов. Как только он обнаруживает блокировку, система автоматически переключает IP-адрес и повторяет запрос. Файлы cookie и сеансы — прокси-серверы можно настроить для хранения файлов cookie, так что вам не нужно будет делать это в вашем сканере. Эта функция недоступна в более дешевых планах, которые просто отбрасывают файлы cookie.

Резидентные прокси

Zyte не рассматривает резидентные прокси-серверы как отдельный продукт. Скорее, это платное дополнение для клиентов, которым приходится иметь дело с самыми неуправляемыми веб-сайтами. функциональность. Я бы предположил, что он следует той же логике управления прокси-сервером, что и IP-адреса центра обработки данных.

Цены

Позиционируя себя как поставщика данных, который также продает прокси, Zyte имеет соответствующую модель ценообразования. Он взимает плату не за IP-адреса (стандарт центра обработки данных) или трафик (99% провайдеров резидентных прокси-серверов), а за успешные запросы. Правильно: вы платите только за полученные данные.

Здесь и там есть несколько ошибок: например, перенаправление считается успешным запросом. Но это все детали; в целом модель ценообразования прозрачна и проста для понимания. Я бы только поставил под сомнение блокировку функций. Я не уверен, решил ли Zyte, что более мелкие клиенты не нуждаются в таких вещах, как большее количество одновременных подключений и белый список IP-адресов, или это просто попытка продать больше.

Вот планы Zyte:

Самый дешевый стартовый план начинается с 29 долларов в месяц. Это даст вам 50 тысяч запросов с возможностью пополнения за дополнительную плату. Следующий план, «Базовый», дает 200 тысяч запросов за 99 долларов. Самый популярный план «Расширенный» стоит 349 долларов за 2,5 миллиона запросов. Таким образом, он почти в три раза эффективнее. . План Enterprise начинается с 999 долларов и настраивается в соответствии с вашими потребностями.

Тесты производительности

Мы провели для Smart Proxy Manager несколько тестов производительности, чтобы убедиться, что его прокси-серверы стабильны, быстры и могут получить доступ к некоторым основным веб-сайтам.

Проверка качества прокси

Как и ожидалось, IP-адреса поступили из центра обработки данных. Все они использовали протокол IPv4, который до сих пор считается более эффективным, чем IPv6. Мы сделали много запросов, но смогли идентифицировать только 51 прокси. Мы не знаем, было ли это потому, что это были единственные IP-адреса, которые мы получили, или логика управления прокси-сервером Zyte решила, что нет необходимости назначать больше для веб-сайта, который не будет их блокировать.

В течение нескольких дней тестирования SmartProxy Manager показал себя очень стабильно, и 99,91% запросов, которые мы сделали, были успешными. Это отличный результат.

Тест на успех

Прокси-серверы особенно хорошо зарекомендовали себя на веб-сайтах электронной коммерции: Amazon, eBay и Craigslist добились 100% успеха. Поисковые системы оказалось труднее взломать, особенно Google (86,72%). Самым сложным испытанием для Smart Proxy Manager были платформы социальных сетей. , Instagram в частности. Это понятно, учитывая, как злоупотребляют Instagram со стороны IP-адресов центров обработки данных.

Из-за мер управления прокси-серверами Zyte, мы столкнулись с несколькими прямыми блокировками. Всякий раз, когда прокси-серверы терпели неудачу, это было в основном из-за тайм-аутов (более 30 с). Увеличение порога тайм-аута, вероятно, сделало бы вероятность успеха еще лучше за счет скорости.

Тест скорости