Zyte

Grundlegende Einführung

Über 13 Jahre hinweg hat Zyte ein ganzes Ökosystem rund um das Web-Scraping aufgebaut: ein Open-Source-Scraping-Framework, einen Headless-Browser, Datenerfassungsdienste und mehr. Smart Proxy Manager ist ein – wenn auch sehr wichtiges – Teil seines Datenerfassungspuzzles.

Das Tool wurde als interne Lösung für ein quälendes Problem geboren. Als Web Scraper hatten die Jungs von Zyte jeden Tag mit Proxys zu tun. Doch egal für welchen Anbieter sie sich entschieden, sie würden bald auf Probleme mit Blockaden und Zuverlässigkeit stoßen. Irgendwann , konzentrierten sie sich nicht mehr darauf, welche IPs sie hatten, und konzentrierten sich stattdessen voll und ganz darauf, wie sie arbeiteten. Herausgekommen ist das „intelligenteste Proxy-Netzwerk der Welt“.

Zyte behauptet, dass Unternehmen dadurch ihre Abläufe einfacher und transparenter skalieren können und dass es ihnen dabei helfen kann, bei Bedarf Milliarden von Anfragen zu bearbeiten.

Irgendwelche Nachteile? Sicher. Die günstigeren Pläne schränken alles ein, von gleichzeitigen Anfragen bis hin zum Kundensupport (keine Hilfe am Wochenende!). Drosselung und automatische Wiederholungsversuche können Proxys erhalten, aber sie könnten Sie auch verlangsamen. Es gibt kein SOCKS5. Und natürlich sind die IPs nicht wirklich für Dinge außerhalb des Web Scraping geeignet.

In diesem Test werden wir versuchen herauszufinden, ob Zyte mit den dominierenden privaten Proxy-Netzwerken konkurrieren kann. Ich werde mir die Funktionen, die Leistung, die Benutzererfahrung und den Kundensupport von Smart Proxy Manager genauer ansehen. Wenn Sie Zeit haben - eingeschränkt, die wichtigsten Funktionen des Anbieters mit Vor- und Nachteilen sind gleich unten aufgeführt.

VORTEILE

• Tolle Kratzleistung
• Fehlgeschlagene Anfragen kosten nichts
• Intelligentes IP-Management
• Großzügige kostenlose Testversion

NACHTEILE

• Günstigere Pläne schränken die Funktionen ein
• Leistungseinschränkungen unter Last
• Begrenzte Anwendungsfälle

HAUPTMERKMALE

• Proxy-Typen: Rechenzentrum, Privat
• Protokolle: HTTP, HTTPS
• Standorte: 12+ Länder
• Ausrichtung: Land
• Authentifizierung: API-Schlüssel
• Unterbenutzer: Ja
• Dashboard: Ja
• Support: 24/5 (24/7 für Unternehmen)
• Preise: Ab 99 $ für 100.000 Anfragen

Zahlungsmöglichkeiten: Kreditkarte, PayPal

Probezeit: 14 Tage

Zyte-Dienste

Rechenzentrums-Proxys

Rechenzentrums-Proxys sind das Hauptprodukt von Zyte – oder zumindest die Basis dafür. Was Sie wirklich kaufen, sind die oben montierten Proxy-Verwaltungsfunktionen, und der Anbieter wird Sie ständig daran erinnern, sich auf die Daten zu konzentrieren, nicht auf Proxys.

Wir können also nicht sicher wissen, wie viele IPs es gibt. Es gibt auch nicht viele Informationen über die Standortabdeckung: Die Jungs von Zyte sagten uns, dass es 12 Länder mit mehr als 1.000 IPs gibt, und es kann andere Standorte auf Anfrage bekommen .Das liegt wahrscheinlich daran, dass Zyte Proxys von anderen Anbietern mietet, damit es sich an Ihre Bedürfnisse anpassen kann.

Kurz gesagt, was wir sehen, ist ziemlich unspektakulär. Der interessante Teil ist das, was wir nicht sehen – die Proxy-Verwaltungslogik von Zyte. Hier sind einige der zugrunde liegenden Funktionen:

Anforderungsdrosselung – Smart Proxy Manager sieht sich die Website an, die Sie scrapen, schätzt ihre Auslastung, sperrt den Verlauf und begrenzt dann die Anforderungsrate gerade so weit, dass Sie nicht gesperrt werden. Automatische Wiederholungen – Smart Proxy Manager führt eine Datenbank mit verschiedenen Sperrtypen, Captchas und Antwortcodes. Sobald es eine Blockierung erkennt, wechselt das System automatisch die IP und versucht die Anfrage erneut. Cookies und Sitzungen – die Proxys können so konfiguriert werden, dass sie Cookies speichern, so dass Sie dies in Ihrem Crawler nicht tun müssten. Diese Funktion ist bei den günstigeren Plänen nicht verfügbar, bei denen die Cookies einfach verworfen werden.

Wohn-Proxys

Zyte behandelt private Proxys nicht als eigenständiges Produkt. Vielmehr handelt es sich um ein kostenpflichtiges Add-on für Kunden, die mit den widerspenstigsten Websites zurechtkommen müssen. Wir hatten zwar Zugang zu einem benutzerdefinierten Enterprise-Plan, aber dieser enthielt keinen privaten Proxy Funktionalität. Ich würde davon ausgehen, dass es der gleichen Proxy-Verwaltungslogik wie die Rechenzentrums-IPs folgt.

Preisgestaltung

Zyte positioniert sich als Datenanbieter, der auch Proxys verkauft, und hat ein entsprechendes Preismodell. Es berechnet nicht nach IPs (dem Rechenzentrumsstandard) oder Datenverkehr (99 % der privaten Proxy-Anbieter), sondern nach erfolgreichen Anfragen. Richtig: Sie Zahlen Sie nur für die Daten, die Sie erhalten.

Hier und da gibt es ein paar Fallstricke: Beispielsweise zählt eine Weiterleitung als erfolgreiche Anfrage. Aber das sind alles Einzelheiten; Generell ist das Preismodell transparent und leicht verständlich. Ich würde nur die Funktionssperre in Frage stellen. Ich bin mir nicht sicher, ob Zyte entschieden hat, dass kleinere Kunden Dinge wie mehr gleichzeitige Verbindungen und IP-Whitelisting nicht brauchen, oder ob es einfach ein Versuch ist, Upselling zu betreiben.

Hier sind die Pläne von Zyte:

Der günstigste Starter-Plan beginnt bei 29 $ pro Monat. Dadurch erhalten Sie 50.000 Anfragen, die Sie gegen eine zusätzliche Gebühr aufladen können. Der folgende Plan, Basic, bietet 200.000 Anfragen für 99 US-Dollar. Der beliebteste Advanced-Plan kostet 349 US-Dollar für 2,5 Millionen Anfragen. Er ist also fast dreimal effizienter . Der Enterprise-Plan beginnt bei 999 US-Dollar und ist auf Ihre Bedürfnisse zugeschnitten.

Leistungstests

Wir haben Smart Proxy Manager mehreren Leistungstests unterzogen, um zu sehen, ob seine Proxys stabil und schnell sind und auf einige der wichtigsten Websites zugreifen können.

Proxy-Qualitätstest

Wie erwartet stammten die IPs aus einem Rechenzentrum. Sie verwendeten alle das IPv4-Protokoll, das IPv6 immer noch als überlegen gilt. Wir haben viele Anfragen gestellt, konnten aber nur 51 Proxys identifizieren. Wir wissen nicht, ob es daran liegt, dass dies die einzigen IPs waren, die wir erhalten haben, oder ob die Proxy-Verwaltungslogik von Zyte entschieden hat, dass einer Website, die sie nicht blockiert, keine weiteren zugewiesen werden müssen.

Während der Testtage hat sich SmartProxy Manager als sehr stabil erwiesen und 99,91 % unserer Anfragen waren erfolgreich. Dies ist ein großartiges Ergebnis.

Erfolgsratentest

Die Proxys schnitten besonders gut bei E-Commerce-Websites ab: Amazon, eBay und Craigslist hatten alle eine Erfolgsquote von 100 %. Suchmaschinen erwiesen sich als schwieriger zu knacken, insbesondere Google (86,72 %). Die größte Herausforderung für Smart Proxy Manager waren Social-Media-Plattformen , insbesondere Instagram. Dies ist verständlich, wenn man bedenkt, wie Instagram von Rechenzentrums-IPs missbraucht wird.

Aufgrund der Proxy-Management-Maßnahmen von Zyte kam es zu wenigen direkten Blockierungen. Wann immer die Proxys fehlschlugen, lag dies hauptsächlich an Timeouts (über 30 Sekunden). Eine Erhöhung des Timeout-Schwellenwerts hätte die Erfolgsrate wahrscheinlich noch verbessert, auf Kosten der Geschwindigkeit.

Geschwindigkeitstest