Zyte

Βασική εισαγωγή

Πάνω από 13 χρόνια, η Zyte έχει δημιουργήσει ένα ολόκληρο οικοσύστημα γύρω από την απόξεση ιστού: ένα πλαίσιο απόξεσης ανοιχτού κώδικα, πρόγραμμα περιήγησης χωρίς κεφάλι, υπηρεσίες συλλογής δεδομένων και πολλά άλλα. Το Smart Proxy Manager κάνει ένα – αν και πολύ σημαντικό – κομμάτι του παζλ συλλογής δεδομένων του.

Το εργαλείο γεννήθηκε ως μια εσωτερική λύση σε ένα ενοχλητικό πρόβλημα. Ως web scrapers, τα παιδιά στη Zyte ασχολούνταν με πληρεξούσιους καθημερινά. Ωστόσο, ανεξάρτητα από τον πάροχο που επέλεγαν, σύντομα θα αντιμετωπίσουν προβλήματα με μπλοκ και αξιοπιστία. Τελικά , σταμάτησαν να εστιάζουν στις διευθύνσεις IP που είχαν και αντ' αυτού έβαλαν όλες τους τις δυνάμεις για το πώς λειτουργούσαν. Αυτό που προέκυψε ήταν το «πιο έξυπνο δίκτυο μεσολάβησης στον κόσμο».

Η Zyte ισχυρίζεται ότι αυτό επιτρέπει στις εταιρείες να κλιμακώνουν τις δραστηριότητές τους πιο εύκολα και με μεγαλύτερη διαφάνεια, και είναι έτοιμη να τις βοηθήσει να προσεγγίσουν δισεκατομμύρια αιτήματα εάν χρειαστεί.

Τυχόν μειονεκτήματα; Σίγουρα. Τα φθηνότερα προγράμματα περιορίζουν τα πάντα, από ταυτόχρονα αιτήματα μέχρι υποστήριξη πελατών (χωρίς βοήθεια τα Σαββατοκύριακα!). Ο περιορισμός και οι αυτόματες επαναλήψεις ενδέχεται να διατηρήσουν τους διακομιστές μεσολάβησης, αλλά μπορεί επίσης να σας επιβραδύνουν. Δεν υπάρχει SOCKS5. Και, φυσικά, οι IP δεν είναι πραγματικά κατάλληλες για πράγματα εκτός του web scraping.

Σε αυτήν την ανασκόπηση, θα προσπαθήσουμε να μάθουμε εάν η Zyte μπορεί να ανταγωνιστεί τα κυρίαρχα οικιακά δίκτυα μεσολάβησης. Θα ρίξω μια πιο προσεκτική ματιά στις δυνατότητες, την απόδοση, την εμπειρία χρήστη και την υποστήριξη πελατών του Smart Proxy Manager. περιορισμένα, τα βασικά χαρακτηριστικά του παρόχου με τα πλεονεκτήματα και τα μειονεκτήματα είναι ακριβώς παρακάτω.

ΠΛΕΟΝΕΚΤΗΜΑΤΑ

• Εξαιρετική απόδοση απόξεσης
• Τα αποτυχημένα αιτήματα δεν κοστίζουν τίποτα
• Έξυπνη διαχείριση IP
• Γενναιόδωρη δωρεάν δοκιμή

ΣΥΝ

• Τα φθηνότερα σχέδια περιορίζουν τις δυνατότητες
• Περιορισμοί απόδοσης υπό φορτίο
• Περιορισμένες περιπτώσεις χρήσης

ΒΑΣΙΚΑ ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ

• Τύποι διακομιστή μεσολάβησης: Datacenter, οικιακό
• Πρωτόκολλα: HTTP, HTTPS
• Τοποθεσίες: 12+ χώρες
• Στόχευση: Χώρα
• Έλεγχος ταυτότητας: Κλειδί API
• Υποχρήστες: Ναι
• Ταμπλό: Ναι
• Υποστήριξη: 24/5 (24/7 για επιχειρήσεις)
• Τιμολόγηση: Από 99 $ για 100 χιλιάδες αιτήματα

Επιλογές πληρωμής: Πιστωτική κάρτα, PayPal

Δοκιμαστική περίοδος: 14 ημέρες

Υπηρεσίες Zyte

Διακομιστές μεσολάβησης κέντρων δεδομένων

Οι διακομιστής μεσολάβησης κέντρου δεδομένων είναι το κύριο προϊόν της Zyte – ή, τουλάχιστον, η βάση για αυτό. Αυτό που αγοράζετε πραγματικά είναι οι λειτουργίες διαχείρισης διακομιστή μεσολάβησης που είναι τοποθετημένες στην κορυφή και ο πάροχος θα σας υπενθυμίζει συνεχώς να «εστιάσετε στα δεδομένα και όχι στους διακομιστή μεσολάβησης».

Επομένως, δεν μπορούμε να γνωρίζουμε με βεβαιότητα πόσες IP υπάρχουν. Ούτε υπάρχουν πολλές πληροφορίες σχετικά με την κάλυψη τοποθεσίας: τα παιδιά στη Zyte μας είπαν ότι υπάρχουν 12 χώρες με περισσότερες από 1.000 IP και μπορεί να πάρει άλλες τοποθεσίες κατόπιν ζήτησης .Αυτό είναι πιθανό επειδή η Zyte νοικιάζει πληρεξούσιους από άλλους παρόχους, ώστε να μπορεί να καλύψει τις ανάγκες σας.

Εν ολίγοις, αυτό που βλέπουμε είναι αρκετά θεαματικό. Το ενδιαφέρον μέρος είναι αυτό που δεν βλέπουμε – η λογική διαχείρισης διακομιστή μεσολάβησης της Zyte. Ακολουθούν μερικά από τα βασικά χαρακτηριστικά του:

Στραγγαλισμός αιτήματος – Το Smart Proxy Manager εξετάζει τον ιστότοπο που αποσύρετε, εκτιμά το φορτίο του, το ιστορικό αποκλεισμού και, στη συνέχεια, περιορίζει το ποσοστό αιτημάτων αρκετά, ώστε να μην αποκλειστείτε. Αυτόματες επαναλήψεις – Το Smart Proxy Manager διατηρεί μια βάση δεδομένων με διαφορετικούς τύπους απαγόρευσης, captchas και κωδικούς απόκρισης. Μόλις εντοπίσει ένα μπλοκ, το σύστημα αλλάζει αυτόματα την IP και επαναλαμβάνει το αίτημα. Cookies και περίοδοι λειτουργίας – οι διακομιστής μεσολάβησης μπορούν να ρυθμιστούν για αποθήκευση cookies, έτσι ώστε να μην χρειάζεται να το κάνετε στον ανιχνευτή σας. Αυτή η δυνατότητα δεν είναι διαθέσιμη με τα φθηνότερα πακέτα, τα οποία απλώς απορρίπτουν τα cookie.

Πληρεξούσια κατοικίας

Η Zyte δεν αντιμετωπίζει τους διακομιστές μεσολάβησης κατοικιών ως αυτόνομο προϊόν. Αντίθετα, είναι ένα επί πληρωμή πρόσθετο για πελάτες που πρέπει να ασχοληθούν με τους πιο απείθαρχους ιστότοπους. Ενώ είχαμε πρόσβαση σε ένα προσαρμοσμένο πρόγραμμα Enterprise, δεν περιλάμβανε τον οικιακό διακομιστή μεσολάβησης λειτουργικότητα.Θα υποθέσω ότι ακολουθεί την ίδια λογική διαχείρισης διακομιστή μεσολάβησης με τις IP του κέντρου δεδομένων.

Τιμολόγηση

Τοποθετώντας τον εαυτό της ως πάροχο δεδομένων που τυχαίνει να πουλάει και διακομιστές μεσολάβησης, η Zyte έχει ένα αντίστοιχο μοντέλο τιμολόγησης.Χρεώνει όχι βάσει IP (το πρότυπο του κέντρου δεδομένων) ή κίνησης (99% των οικιακών παρόχων μεσολάβησης) αλλά με επιτυχή αιτήματα. Αυτό είναι σωστό: εσείς πληρώστε μόνο για τα δεδομένα που λαμβάνετε.

Υπάρχουν μερικές κουβέντες εδώ και εκεί: για παράδειγμα, μια ανακατεύθυνση μετράει ως επιτυχημένο αίτημα. Αλλά όλα αυτά είναι λεπτομέρειες. Σε γενικές γραμμές, το μοντέλο τιμολόγησης είναι διαφανές και απλό στην κατανόηση. Θα αμφισβητούσα μόνο το κλείδωμα των δυνατοτήτων. Δεν είμαι σίγουρος αν η Zyte έχει αποφασίσει ότι οι μικρότεροι πελάτες δεν χρειάζονται πράγματα όπως περισσότερες ταυτόχρονες συνδέσεις και επιτρεπόμενη λίστα IP ή αν είναι απλώς μια προσπάθεια για αύξηση των πωλήσεων.

Εδώ είναι τα σχέδια της Zyte:

Το φθηνότερο πρόγραμμα εκκίνησης ξεκινά από 29 $ ανά μήνα. Αυτό θα σας δώσει 50.000 αιτήματα, με τη δυνατότητα ανανέωσης με επιπλέον χρέωση. Το παρακάτω πρόγραμμα, Basic, δίνει 200.000 αιτήματα για 99 $. Το πιο δημοφιλές πρόγραμμα για προχωρημένους κοστίζει 349 $ για 2,5 εκατομμύρια αιτήματα. Επομένως, είναι σχεδόν τρεις φορές πιο αποτελεσματικό . Το πρόγραμμα Enterprise ξεκινά από 999 $ και προσαρμόζεται σύμφωνα με τις ανάγκες σας.

Δοκιμές απόδοσης

Εκτελέσαμε το Smart Proxy Manager μέσω πολλαπλών δοκιμών απόδοσης για να δούμε αν οι διακομιστής μεσολάβησής του ήταν σταθεροί, γρήγοροι και μπορούσαν να έχουν πρόσβαση σε ορισμένους από τους σημαντικότερους ιστότοπους.

Δοκιμή ποιότητας διακομιστή μεσολάβησης

Όπως ήταν αναμενόμενο, οι IP προέρχονταν από ένα κέντρο δεδομένων. Όλοι χρησιμοποιούσαν το πρωτόκολλο IPv4, το οποίο εξακολουθεί να θεωρείται ανώτερο από το IPv6. Κάναμε πολλά αιτήματα, αλλά μπορέσαμε να αναγνωρίσουμε μόνο 51 proxies. Δεν γνωρίζουμε αν οφείλεται στο ότι αυτές ήταν οι μόνες διευθύνσεις IP που λάβαμε ή αν η λογική διαχείρισης διακομιστή μεσολάβησης της Zyte αποφάσισε ότι δεν χρειαζόταν να εκχωρηθούν περισσότερα για έναν ιστότοπο που δεν θα τους αποκλείει.

Καθ' όλη τη διάρκεια των ημερών δοκιμών, το SmartProxy Manager αποδείχθηκε πολύ σταθερό και το 99,91% των αιτημάτων που υποβάλαμε ήταν επιτυχείς. Αυτό είναι ένα εξαιρετικό αποτέλεσμα.

Δοκιμή ποσοστού επιτυχίας

Οι πληρεξούσιοι τα πήγαν ιδιαίτερα καλά με τους ιστότοπους ηλεκτρονικού εμπορίου: το Amazon, το eBay και το Craigslist είχαν όλα ποσοστό επιτυχίας 100%. Οι μηχανές αναζήτησης αποδείχτηκαν πιο δύσκολο να σπάσουν, ειδικά η Google (86,72%). Η πιο δύσκολη πρόκληση για τον Smart Proxy Manager ήταν οι πλατφόρμες μέσων κοινωνικής δικτύωσης , ιδιαίτερα το Instagram. Αυτό είναι κατανοητό, λαμβάνοντας υπόψη την κατάχρηση του Instagram από τις IP των κέντρων δεδομένων.

Λόγω των μέτρων διαχείρισης του διακομιστή μεσολάβησης της Zyte, αντιμετωπίσαμε λίγα οριστικά μπλοκ. Όποτε απέτυχαν οι διακομιστής μεσολάβησης, ήταν κυρίως λόγω των χρονικών ορίων (άνω των 30 δευτ.). Η αύξηση του ορίου χρονικού ορίου θα έκανε πιθανότατα το ποσοστό επιτυχίας ακόμη καλύτερο σε βάρος της ταχύτητας.

Δοκιμασία ταχύτητας