Phenquestions
For nylig hentede jeg værktøjet, og jeg var imponeret over, hvor mange ting Octoparse tillader brugerne at gøre. I denne artikel vil du se, hvad Octoparse handler om, en introduktion til den indbyggede skraber og også hvordan du kan bygge din egen skraber fra bunden.
Octoparse er et værktøj, der bruges til at skrabe data fra websteder. Det er en nem at bruge webcrawler-applikation til at hente data uden at skulle skrive en ekstra kodelinje.
Octoparse er ikke kompliceret at bruge, og i bare tre trin kan du gøre gode ting med dette kraftfulde web-gennemgangsværktøj. Alt hvad du behøver er den URL, du har brug for for at udtrække data fra, og et par klik.
Det har ikke nogen begrænsning for, hvilken type websted det kan skrabe data fra. Eksport af data gøres også nemmere i form af en CSV-fil eller en API.
Du kan drage fordel af Octoparse-funktioner. Nogle af dem er:
- Det giver dig mulighed for at oprette webcrawlere hurtigt uden at skrive en kodelinje
- Det giver en skytjeneste til planlagt dataudvinding og IP-rotation
- Det tilbyder ubegrænset lagerplads
- Det giver dig mulighed for at ansætte professionelle dataskrabningseksperter fra Octoparse til at gøre jobbet for dig
Med dette har du et solidt koncept for, hvad Octoparse er, dets formål og hvordan du kommer i gang med det.
Kom godt i gang med Octoparse
Før vi bygger vores første webcrawler, lad os oprette vores miljø til udvikling. Vi starter med at downloade Octoparse fra deres officielle hjemmeside. Jeg anbefaler dig at downloade Octoparse 7.1 version.
Hvorfor Octoparse 7.1?
Octoparse 7.1 leveres med funktioner, som du ikke finder i ældre versioner til værktøjet:
- Opgaveskabeloner, der hjælper med foruddefinerede skabeloner, når du skraber data fra websteder som Amazon eller eBay.
- Dashboardet har et struktureret nyt look, der giver mere information til brugeren.
- Evne til at skrabe data fra flere URL'er ved at importere dem fra et excel-ark, CSV eller tekstfil.
- En anti-blokeringsfunktion til at omgå beskyttelse, der forhindrer brugere i at skrabe data fra et websted.
Du kan downloade Octoparse version 7.1 eksekverbar. Det fungerer kun på Windows-operativsystemer, så du skal bruge VirtualBox til at køre på din Linux-maskine. Octoparse giver en guide til brug af værktøjet til brugere af Linux-maskiner.
Introduktion til opgaveskabelon
Opgaveskabelon er en funktion introduceret i den nyeste version af Octoparse, designet til at gøre webskrabning lettere for alle uanset teknisk viden.
Sådan bruges opgaveskabelon
For at spare dig for tiden er der virkelig ingen langvarig proces mod at bruge opgaveskabeloner. Der kræves dog nogle data, som inkluderer mål-URL, nøgleord at søge efter og mange flere parametre, du har brug for for at udtrække de krævede data efter eget valg fra hjemmesiden.
Octoparse har allerede nogle indbyggede skabeloner, når du har brug for at skrabe data fra dem, hvoraf de fleste inkluderer blandt andet Google, Amazon, eBay og Walmart. Lad os prøve at bruge en af de indbyggede opgaveskabeloner.
Du starter med at vælge en skabelon efter eget valg. Lad os i dette tilfælde bruge eBay-opgaveskabelonen. Når du har valgt skabelonen, bliver du bedt om at indtaste dine parametre baseret på de nødvendige data. Disse parametre er mål-URL eller et nøgleord, der skal søges efter.
Indtast “Nike sko i vores parameterfelt” som nøgleord. Med dette udfører Octoparse resten af opgaven ved at hente alle data baseret på dine parametre, i dette tilfælde alle Nike-sko. Disse data er klar til at blive brugt til det formål, du har i tankerne.
For yderligere analyse af dine skrabede data skal du navigere til datafeltfanen i din opgaveskabelon for at få vist ekstra information om alt indhold på websiden, som inkluderer Nike-skobilleder, sælgernavn, pris og antal beholdning.
Du kan også navigere til prøveudgangsfanen for at få vist oplysninger om data såsom produktnavn, produkt-URL og mange flere data, der næsten er relateret til alle Nike-sko på eBay.
Du har set, hvor let det er at skrabe data med opgaveskabelonen. Spil rundt med opgaveskabelonen, og skrab data fra eBay. Prøv andre indbyggede opgaveskabeloner som Walmart eller Google med Octoparse.
Opbygning af en webcrawler med blæksprutte
Du er kommet så langt for at opbygge en webcrawler med Octoparse. Du har et stykke grundlæggende viden, og alt hvad der er at vide om i skrabning af data fra et websted med brug af en opgaveskabelon. Du kan dog selv oprette en webcrawler.
I opbygningen af en webcrawler med Octoparse er der to tilgange. De er:
- Guidetilstand
- Avanceret tilstand
Opbygning af en webcrawler med tilstanden Octoparse Wizard
Wizard Mode-tilgangen er faktisk en nemmere og hurtigere måde at skrabe data fra et websted. Med en glat trin for trin-interface kan du få din webcrawler til at køre på ingen tid. Du rådes dog til at bruge avanceret tilstand til mere kompleks dataskrabning.
Med Wizard Mode kan du skrabe data fra tabeller, links eller elementer på sider. Begrænset til omfanget af denne vejledning lærer du at oprette en webcrawler til en enkelt webside.
Til at begynde med skal du starte din Octoparse-applikation og oprette en ny opgave fra Wizard Mode og indtaste den URL, du vil skrabe data fra. Du kan omdøbe gruppeindtastningsfeltet til alt, hvad der synes cool for dig, og klik på den næste knap.
Du navigeres til en ny side for at vælge ekstraktionstype, og da du arbejder på at skrabe data fra en enkelt webside, bliver du den eneste side. Med din ekstraktionsdatatype meget defineret, kan du nu definere vores felter.
For at definere dine felter skal du vælge måldataene fra den enkelte webside, og når du først gør det, udfylder det automatisk dataene i felterne, nu kan du redigere felteegenskaben til hvad du vil, og du kan tilføje flere data ved at klikke knappen Tilføj flere felter.
Ved at følge disse trin vil du være i stand til at udtrække data fra en enkelt webside på mindre end fem minutter.
Opbygning af en webcrawler med Octoparse Advanced Mode
Wizard Mode kan bruges til at skrabe enkle websteder med nem struktur, men websteder designet med mere komplekse strukturer vil være en hårdere opgave. Avanceret tilstand er det værktøj, du bruger til at skrabe sådanne websteder.
Gå videre og start din Octoparse-applikation under Avanceret tilstand, opret en ny opgave, og indtast den URL, du gerne vil skrabe data fra, og tryk på knappen Gem. Dette navigerer dig til arbejdsprocessen for opgavekonfiguration.
Arbejdsstrømgrænsefladen til opgavekonfiguration giver dig mere fleksibilitet i forhold til, hvordan du vil udtrække data. Den foruddefinerede workflow-funktion er som standard slået fra, så tænd den for at komme i gang med den.
Når du vælger data på websiden i avanceret tilstand, får du handlingstip til at udføre for de valgte data.
Fra den webside, du vil gennemgå data fra, når du klikker på et element, vil du se handlingstipene nederst til højre på siden. Handlingstipene giver dig mulighed for at vælge, hvad du vil gøre, f.eks. Udtrække data.
Med avanceret tilstand kan du bruge det meste af din tid på at oprette din arbejdsgang til, hvordan du udtrækker data, og når du er forbi dette trin, vil din arbejdsgang være klar til brug. Klik blot på startudtrækningsknappen for at Octoparse skal fungere i henhold til din arbejdsgang.
Arbejde med avanceret tilstand kan virke lidt svært at forstå for første timere, men du bliver mere komfortabel med det over tid.
Konklusion
Du kan skrabe websteder ved at skrive kode til webskrabere, men det kan være tidskrævende. Octoparse giver dig gode resultater, uden at du skriver kode eller bruger tid på at arbejde med skraberlogikken.
I denne artikel har du set, hvad Octoparse handler om, hvordan det sparer dig tid og kræfter. Du har også set, hvordan du kan gøre brug af de indbyggede opgaveskabeloner til at skrabe data fra bestemte websteder og også oprette dine egne kraftige webskrabere.
Octoparse er i øjeblikket kun tilgængelig som en Windows-eksekverbar, så du skal bruge VirtualBox til at bruge den på din Linux-maskine.
Du kan besøge det officielle Octoparse-websted for at vide mere om Advanced Mode og Wizard Mode, så du kan skrabe en masse websteder.
