Sulod sa ConveyThis Tech: Pagtukod sa Atong Website Crawler

Himua ang Imong Website nga Multilingual sa 5 Minuto
Ipadala kini nga demo
Ipadala kini nga demo
My Khanh Pham

My Khanh Pham

Pagpauswag sa Kasinatian sa Gumagamit: Ipaila kini sa Pagdumala sa URL

Daghang mga ConveyThis nga mga patron mas gusto nga ang tanan nga mga URL sa ilang website mahubad nga husto, nga mahimo’g usa ka lisud nga buluhaton, labi na alang sa daghang mga site nga gihubad sa daghang mga lengguwahe.

Gipakita sa feedback sa gumagamit nga ang pipila ka mga kliyente nakit-an nga ang pagsugod sa ilang una nga mga proyekto sa paghubad sa website medyo makalibog. Kanunay nilang gipangutana kung ngano nga makita ra nila ang URL sa homepage sa lista sa paghubad, ug kung giunsa paghimo ang mga paghubad sa ilang sulud.

Kini nagpakita sa usa ka potensyal nga lugar alang sa pagpalambo. Nakita namo ang oportunidad nga mapadali ang usa ka hapsay nga proseso sa onboarding ug mas episyente nga pagdumala sa proyekto. Bisan pa, kulang kami usa ka konkreto nga solusyon nianang higayuna.

Ang resulta, ingon sa imong gihunahuna, mao ang pagpaila sa bahin sa Pagdumala sa URL. Gitugotan niini ang mga tiggamit sa pag-scan sa mga URL sa ilang website ug paghimo sa ilang gihubad nga sulud pinaagi sa ConveyThis Dashboard, nga paspas ug epektibo.

Bag-o lang, kini nga bahin gibalhin gikan sa Lista sa Paghubad ngadto sa usa ka bag-o, mas mapasibo ug kusgan nga panid sa pagdumala sa paghubad nga nakabase sa URL. Karon, kami nagtuo nga panahon na aron ipadayag ang istorya sa luyo sa pagsugod sa kini nga bahin.

921

Paghangop sa Golang: Ipahayag Kini' nga Panaw Ngadto sa Gipauswag nga Serbisyo sa Paghubad

922

Ang pagsugod sa 2020 nga pag-lock tungod sa pandemya naghatag kanako ug higayon nga sa katapusan makakat-on sa programming language nga Golang nga gi-sideline tungod sa mga pagpugong sa oras.

Gipalambo sa Google, ang Golang o Go nahimong popular sa bag-ohay nga katuigan. Usa ka statically compiled nga programming language, ang Golang gidisenyo aron ang mga developers makahimo og episyente, kasaligan, ug dungan nga code. Ang kayano niini nagsuporta sa pagsulat ug pagmintinar sa halapad ug komplikado nga mga programa nga walay pagsakripisyo sa katulin.

Sa pagpamalandong sa usa ka potensyal nga proyekto sa kilid aron mapamilyar ang akong kaugalingon sa Golang, usa ka web crawler ang misantop sa hunahuna. Nakab-ot niini ang mga kriterya nga gihisgutan ug posible nga nagtanyag usa ka solusyon alang sa mga tiggamit sa ConveyThis. Ang web crawler o 'bot' usa ka programa nga mobisita sa usa ka website aron makakuha og datos.

Para sa ConveyThis, ang among tumong mao ang paghimo og himan alang sa mga tiggamit sa pag-scan sa ilang site ug pagkuha sa tanang mga URL. Dugang pa, gusto namon nga mapahapsay ang proseso sa paghimo og mga paghubad. Sa pagkakaron, ang mga tiggamit kinahanglan nga mobisita sa ilang website sa usa ka gihubad nga lengguwahe aron makamugna sila, usa ka buluhaton nga mahimong makahahadlok alang sa dagkong, daghang pinulongan nga mga site.

Bisan kung ang una nga prototype prangka - usa ka programa nga nagkuha usa ka URL ingon input ug nagsugod sa pag-crawl sa site - kini dali ug epektibo. Si Alex, ConveyThis' CTO, nakakita sa potensyal sa kini nga solusyon ug naghatag sa pagpadayon alang sa panukiduki ug pag-uswag aron mapino ang konsepto ug hunahunaon kung giunsa ang pag-host sa umaabot nga serbisyo sa produksiyon.

Pag-navigate sa Serverless Trend gamit ang Go and ConveyThis

Sa proseso sa pagtapos sa web crawler bot, among nakit-an ang among mga kaugalingon nga nakigbugno sa mga nuances sa lainlaing CMS ug mga panagsama. Ang pangutana mitungha dayon - unsaon namo pagpresentar sa among mga tiggamit ang bot?

Sa sinugdan, among gikonsiderar ang gisulayan ug nasulayan nga pamaagi sa paggamit sa AWS nga adunay interface sa web server. Bisan pa, daghang mga potensyal nga isyu ang mitumaw. Kami adunay kawalay kasiguruhan bahin sa pagkarga sa server, ang dungan nga paggamit sa daghang mga tiggamit, ug ang among kakulang sa kasinatian sa pag-host sa programa sa Go.

Kini nagdala kanamo sa pagkonsiderar sa usa ka senaryo sa pag-host nga wala’y server. Nagtanyag kini og mga benepisyo sama sa pagdumala sa imprastraktura sa provider ug sa kinaiyanhon nga scalability, nga naghimo niini nga usa ka sulundon nga solusyon alang sa ConveyThis. Nagpasabut kini nga dili kami kinahanglan mabalaka bahin sa kapasidad sa server tungod kay ang matag hangyo molihok sa kaugalingon nga nahilit nga sudlanan.

Bisan pa, kaniadtong 2020, ang wala’y server nga pag-compute adunay 5-minuto nga limitasyon. Kini napamatud-an nga usa ka problema sa among bot nga posibleng gikinahanglan sa pag-crawl sa dagkong e-commerce nga mga site nga adunay daghang mga panid. Maayo na lang, sa sayong bahin sa 2020, gipadako sa AWS ang limitasyon sa 15 minuto, bisan kung ang pagpagana sa kini nga bahin napamatud-an nga usa ka mahagiton nga buluhaton. Sa kadugayan, nakit-an namon ang solusyon pinaagi sa pag-trigger sa serverless code sa SQS - ang serbisyo sa pagpila sa mensahe sa AWS.

923

Ang Panaw sa Interactive Real-Time Bot Communications uban sa ConveyThis

924

Samtang among gisulbad ang problema sa pag-host, kami adunay lain nga babag nga buntogon. Naa na miy functional bot, nga gi-host sa episyente, scalable nga paagi. Ang nahabilin nga tahas mao ang paghatud sa datos nga nahimo sa bot sa among mga tiggamit.

Nagtinguha alang sa labing taas nga interaktibidad, nakahukom ko sa tinuod nga panahon nga komunikasyon tali sa bot ug sa ConveyThis dashboard. Samtang ang real-time dili usa ka kinahanglanon alang sa ingon nga bahin, gusto nako nga ang among mga tiggamit makakuha dayon nga feedback sa diha nga ang bot nagsugod sa pagtrabaho.

Aron makab-ot kini, nakahimo kami og usa ka yano nga Node.js websocket server, nga gi-host sa usa ka AWS EC2 nga pananglitan. Nagkinahanglan kini og pipila ka mga tweak sa bot alang sa komunikasyon sa websocket server ug pag-automate sa pag-deploy. Human sa bug-os nga pagsulay, kami andam na sa pagbalhin ngadto sa produksyon.

Ang nagsugod ingon usa ka proyekto sa kilid sa katapusan nakit-an ang lugar niini sa dashboard. Pinaagi sa mga hagit, nakakuha ako kahibalo sa Go ug gipauswag ang akong kahanas sa palibot sa AWS. Akong nakit-an ang Go labi nga mapuslanon alang sa mga buluhaton sa networking, cooperative programming, ug serverless computing, tungod sa iyang ubos nga memory footprint.

Adunay kami mga plano sa umaabot tungod kay ang bot nagdala og bag-ong mga oportunidad. Gitinguha namon nga isulat pag-usab ang among himan sa pag-ihap sa pulong alang sa labi ka maayo nga kahusayan, ug mahimo’g magamit kini alang sa pag-init sa cache. Nanghinaut ko nga nalingaw ka niining sneak peek sa ConveyThis's tech nga kalibutan sama sa akong nalingaw sa pagpaambit niini.

Andam na sa pagsugod?

Ang paghubad, labaw pa sa pagkahibalo sa mga pinulongan, usa ka komplikado nga proseso.

Pinaagi sa pagsunod sa among mga tip ug paggamit sa ConveyThis , ang imong gihubad nga mga panid madungog sa imong mamiminaw, gibati nga lumad sa target nga sinultian.

Bisan tuod kini nagkinahanglan og paningkamot, ang resulta magantihon. Kung naghubad ka sa usa ka website, ang ConveyThis makadaginot kanimo mga oras gamit ang awtomatiko nga paghubad sa makina.

Sulayi ang ConveyThis nga libre sa 7 ka adlaw!

gradient 2