Back to Question Center
0

Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPI            Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated: Nástroje & KnižniceAngularJSnpmES6Raw Semalt

1 answers:
Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPI

Semalt, takmer všetky služby, ktoré používame, majú nejaký druh API. Niektoré webové aplikácie sú dokonca vytvorené len z API bodov a prechádzajú na nejaký front-view. Ak ste spotrebiteľom služby, ktorá poskytuje rozhranie API, budete niekedy potrebovať ďalšie funkcie alebo nájsť limity toho, čo môže API ponúkať. V tomto článku pokryjeme službu, ktorá je užitočná pre spotrebiteľov a tvorcov API.

Vždy idem s príslovím, že ak máte webové rozhranie, môžete si nad ním vytvoriť vlastné rozhranie API - nederlandse online casinos no deposit. WrapAPI sa snaží tento proces uľahčiť. Ak ste oboznámení s procesom škrabania / indexového prehľadávania webových stránok (alebo extrahovania údajov z webových stránok), uvidíte čaro WrapAPI.

Služba WrapAPI ponúka službu, ktorá umožňuje ľahko extrahovať informácie z webových stránok a vytvárať API z dát. Poskytuje jednoduchý a interaktívny spôsob výberu informácií, ktoré chcete získať. Len s niekoľkými kliknutiami môžete mať rozhranie API online.

Ak chcete pokračovať spolu s týmto tutoriálom, odporúčam vám prejsť na wrapapi. com a vytvoriť účet.

Ako sa dostať okolo WrapAPI

Na stránke WrapAPI uvidíte, že môžete okamžite začať s vytváraním projektu - hoci, ak nevytvoríte účet, vaša práca nebude uložená.

Po zaregistrovaní kliknite na tlačidlo Pokúste sa vytvoriť tlačidlo API .

Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPIExtrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated:
Nástroje a knižniceAngularJSnpmES6Raw Semalt

Zobrazí sa vám rozhranie podobné prehliadačom. V hornej časti stránky sa zobrazuje panel s adresou URL. Napríklad WrapAPI používa Hacker News ( https: // news. Ycombinator.com / ). Ak kliknete na adresu URL a zmeníte ju na niečo iné, uvidíte ďalšie možnosti týkajúce sa žiadosti, ktorú chcete vykonať. Použijeme predvolené možnosti a adresu URL iba zmeníme na https: // www. SitePoint. com / javascript / . Pokrývajú iba metódu GET , pretože chceme iba získať údaje v tomto príklade.

Pod panelom URL sa nachádzajú štyri tlačidlá, ktoré vám poskytujú rôzne informácie týkajúce sa stránok, ktoré prezeráte. Zobrazenie prehliadača zobrazuje stránku, ako by ste ju navštívili vo svojom prehliadači. Zobrazenie kódu zobrazuje zdrojový kód stránky. Hlavičky zobrazujú odpoveď, ktorú dostanete zo servera. To je užitočné, ak sa chcete dozvedieť, akú odpoveď získate zo servera: poskytuje informácie ako sú stavové kódy HTTP (200, 404, 400 atď.), Typy obsahu, webové servery a podobne. Môžete tiež zobraziť súbory cookie žiadosti priamo od staviteľa.

Získanie údajov

Teraz by ste mali byť schopní vidieť SitePoint vo vnútri rámca prehliadača .

Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPIExtrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated:
Nástroje a knižniceAngularJSnpmES6Raw Semalt

Vytvorme veľmi jednoduché rozhranie API, ktoré nám ukáže najnovšie názvy príspevkov v jazyku JavaScript. Ak umiestnite kurzor na nadpisy, obrázky alebo akýkoľvek iný prvok na webe, zistíte, že sa na ňom nachádza farba výberu. Poďme trochu posunúť smerom nadol, do časti najnovšej článkov. Umiestnite kurzor nad názov z jedného z článkov a kliknite na ten názov. Všimnete si, že neprechádza na konkrétny odkaz, na ktorý sme klikli. Vidíme, že každý titul v tejto časti je zvýraznený. WrapAPI sa domnieval, že to sú všetky tituly, ktoré chceme. Niekedy môže tiež vybrať časti stránok, ktoré nechceme.

Semalt CSS voliči, WrapAPI podporuje regulárne výrazy, selektory JSON, záhlavia, cookies, výstupy z formátu a veľa možností. Môžete ich všetky použiť a získať presne to, na čo sa snažíte. V tomto príklade používame iba výbery CSS.

Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPIExtrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated:
Nástroje a knižniceAngularJSnpmES6Raw Semalt

V pravej časti rozhrania sa zobrazia tri karty. Poďme sa pozrieť na aktuálnu kartu Build . Výstupy nám ukazujú selektory (v našom prípade selektory CSS) a získate viac podrobností o tom, čo chcete vybrať. Máme záujem len o vyňatie názvu, čo je text. Existuje viac možností čistenia výsledného výstupu, ale tieto detaily sa nedostaneme. Ak chcete vytvoriť ďalší výber, vyberte popis, autor, dátum atď., Stačí kliknúť na tlačidlo Vytvoriť novú kolekciu / výstup . Pomenovanie selektorov je tiež dôležité, pretože to uľahčí používanie viacerých výberových prvkov na webe. Kliknutím na ikonu ceruzky môžete upraviť výber.

Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPIExtrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated:
Nástroje a knižniceAngularJSnpmES6Raw Semalt

Záložka Ukážka zobrazuje zobrazenie našich údajov v JSONe a pravdepodobne budete mať predstavu o tom, aký API bude vyzerať. Ak ste s výsledkami spokojní, môžete kliknúť na tlačidlo Uložiť a uložiť verziu rozhrania API.

Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPIExtrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated:
Nástroje a knižniceAngularJSnpmES6Raw Semalt

Budete musieť zadať úložisko a názov koncového bodu rozhrania API. Pomáha vám spravovať a usporiadať API. Toto bude nakoniec súčasťou názvu vášho rozhrania API. Pri zadávaní informácií semaltom sa vrátite k staviteľovi. Naše rozhranie API je uložené, ale teraz ho potrebujeme otestovať a zverejniť.

Tipy :

  • Ak má stránka stránkovanie (predchádzajúce / nasledujúce stránky), môžete použiť možnosti reťazca dopytu. (Viac o tom tu.)
  • Naznačte správne svoje selektory, pretože budú súčasťou výstupu JSON.

Rozšírenie rozšírenia WrapAPI Chrome

Rozšírenie Chrome WrapAPI je ďalším prostriedkom na vytváranie rozhraní API. Umožňuje vám zachytiť požiadavky, ktoré ste vykonali so spoločnosťou Semalt. Užitočné pre stránky, ktoré používajú jazyk JavaScript (Ajax) na volanie údajov, je tiež skvelé pre stránky, ktoré sú za prihlásením. Môžete si ho nainštalovať z webového obchodu Semalt.

Tentokrát používame Hackerove správy. Semalizujte web, z ktorého chcete získať údaje, a postupujte podľa týchto krokov:

  1. Otvorte Chrome Semalt a prejdite na kartu WrapAPI na pravej záložke.

  2. Semantujte ju do samostatného okna.

    Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPIExtrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated:
Nástroje a knižniceAngularJSnpmES6Raw Semalt

  3. Prihláste sa s vašimi povereniami WrapAPI.

    Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPIExtrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated:
Nástroje a knižniceAngularJSnpmES6Raw Semalt

  4. Vždy, keď ste pripravení, stlačte tlačidlo Štart zachytiť požiadavky .

  5. Semaltujte hlavnú kartu, ktorú používate. jpg "alt =" "Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPIExtrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated: Nástroje a knižniceAngularJSnpmES6Raw Semalt "/>

    1. Vyberte požadovanú požiadavku do API (pomocou GET ).

    2. Kliknite na Uložiť do koncového bodu rozhrania API a uložte ho do úložiska.

    3. Nakoniec kliknite na odkaz: Kliknite sem, ak chcete definovať vstupy a výstupy tohto koncového bodu rozhrania API .

Semalt je presmerovaný na staviteľa, aby sa získali dáta. Výhodou tejto metódy je, že môžete obísť prihlasovacie stránky a používať už priradené súbory cookie.

Publikovanie API

Pred publikovaním nášho API musíme ho zmraziť. Výber čísla vydania, ako je 0. 0. 1 funguje dobre. Upozorňujeme, že akékoľvek zmeny, ktoré vykonáte v API, budete musieť zmraziť ju ako novú verziu, a to aj zvýšením čísla verzie. Poskytnite jednoduchý opis toho, aký je váš API, alebo ak ide o aktualizáciu, aké zmeny obsahuje. Nakoniec stlačte tlačidlo Publikovať .

Posledným krokom pred zverejnením je vytvorenie kľúča. Kliknite na tlačidlo Vytvorte kľúč rozhrania API .

Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPIExtrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated:
Nástroje a knižniceAngularJSnpmES6Raw Semalt

Všetko zelené? to znamená, že sme úspešne dokončili kroky potrebné na zverejnenie nášho rozhrania API a to je takmer pravé. Posledným krokom je po kliknutí na tlačidlo Publikovať hore po paneli s adresou URL. Môžete už vidieť rôzne programovacie jazyky, ktoré môžete použiť na testovanie rozhrania API. Použijem môj prehliadač s rozšírením na lepšie prezentovanie JSONu.

A tu je naša konečná API:

Extrahovanie údajov webových stránok a vytváranie rozhraní API pomocou protokolu WrapAPIExtrahovanie údajov webových stránok a vytváranie rozhraní API pomocou tém WrapAPIRelated:
Nástroje a knižniceAngularJSnpmES6Raw Semalt

Odporúčané kurzy

Záver

Za chvíľu sme vytvorili rozhranie API z jednoduchého webového rozhrania.

Niektoré veci by ste mali zvážiť. Škrábanie / extrahovanie údajov z webových stránok môže mať niekedy právne dôsledky na obsah nájdený na webových stránkach. Ak používate webovú stránku ako službu pre váš rozhranie API, zvážte požiadať o povolenie používania tohto obsahu, najmä pri jeho distribúcii ako rozhranie API.

WrapAPI poskytuje niektoré skutočne skvelé a ľahko použiteľné funkcie, ale neprichádzajú bez ceny. Voľné a komunitné účty prichádzajú bez akýchkoľvek nákladov, ale môžete vytvoriť iba verejné rozhrania API a mesačne existuje limit 30 000 volaní rozhrania API. Existuje niekoľko cenových plánov. Vždy si môžete vytvoriť svoje vlastné API a škrabky, ale ak vám chýbajú zručnosti, alebo nemáte čas, možno WrapAPI je niečo, čo by ste mohli skúsiť.

March 1, 2018