Binnen ConveyThis Tech: Bouwe ús webside-crawler
De brûkersûnderfining ferbetterje: ConveyThis yntroduseart URL-behear
Tal fan ConveyThis begeunstigers leaver it hawwen fan al har webside syn URL's goed oerset, dat kin in easken taak, benammen foar útwreide siden oerset yn ferskate talen.
Feedback fan brûkers hat oantoand dat guon kliïnten it begjin fan har earste webside-oersettingsprojekten wat ferbjusterjend fûnen. Se fregen har faak ôf wêrom't se allinich de URL fan 'e thússide yn' e oersettingslist koene besjen, en hoe't se oersettingen fan har ynhâld kinne meitsje.
Dit joech in mooglik gebiet foar ferbettering oan. Wy seagen in kâns om in soepeler onboardingproses en effisjinter projektbehear te fasilitearjen. Der misten wy lykwols op dat stuit in konkrete oplossing.
It resultaat, lykas jo miskien hawwe oannommen, wie de ynfiering fan 'e URL-behearfunksje. It stelt brûkers yn steat om de URL's fan har webside te scannen en har oersette ynhâld te generearjen fia it ConveyThis Dashboard, fluch en effektyf.
Koartlyn is dizze funksje ferpleatst fan 'e oersettingslist nei in nije, mear oanpasbere en krêftige URL-basearre side oersetbehear. No leauwe wy dat it tiid is om it ferhaal efter it begjin fan dizze funksje te iepenbierjen.
Golang omearmje: oerbringe dizze 'reis nei ferbettere oersettingstsjinsten
It begjin fan 'e lockdown fan 2020 fanwegen de pandemy bea my de kâns om einlings de programmeartaal Golang te learen dy't fanwegen tiidbeheining oan 'e kant west hie.
Ûntwikkele troch Google, Golang of Go hat de lêste jierren populariteit wint. In statysk kompilearre programmeartaal, Golang is ûntworpen om ûntwikkelders yn steat te meitsjen effisjinte, betroubere en tagelyk koade te meitsjen. De ienfâld dêrfan stipet it skriuwen en ûnderhâld fan wiidweidige en yngewikkelde programma's sûnder snelheid op te offerjen.
By it neitinken fan in mooglik sydprojekt om mysels fertroud te meitsjen mei Golang, kaam in webcrawler yn 't sin. It foldie oan de neamde kritearia en biedt mooglik in oplossing foar ConveyThis-brûkers. In webcrawler of 'bot' is in programma dat in webside besykje om gegevens te ekstrahearjen.
Foar ConveyThis wie ús doel om in ark te ûntwikkeljen foar brûkers om har side te scannen en alle URL's op te heljen. Derneist woene wy it proses fan it generearjen fan oersettingen streamlynje. Op it stuit moatte brûkers har webside besykje yn in oersette taal om se te generearjen, in taak dy't dreech wurdt foar grutte, meartalige siden.
Hoewol it earste prototype ienfâldich wie - in programma dat in URL as ynfier nimt en de side begjint te krûpen - wie it fluch en effektyf. Alex, ConveyThis 'CTO, seach it potensjeel fan dizze oplossing en joech it startsein foar ûndersyk en ûntwikkeling om it konsept te ferfine en te betinken hoe't jo de takomstige produksjetsjinst hostje.
Navigearje troch de tsjinnerleaze trend mei Go and ConveyThis
Yn it proses fan it finalisearjen fan de webcrawler-bot, fûnen wy ússels te wrakseljen mei de nuânses fan ferskate CMS en yntegraasjes. De fraach ûntstie doe - hoe kinne wy ús brûkers it bêste presintearje mei de bot?
Yn earste ynstânsje beskôgen wy de beproefde oanpak fan it brûken fan AWS mei in webserver-ynterface. Der binne lykwols ferskate potinsjele problemen ûntstien. Wy hiene ûndúdlikens oer de tsjinnerbelêsting, it simultane gebrûk troch meardere brûkers, en ús gebrek oan ûnderfining mei Go-programmahosting.
Dit late ús om in serverless hosting-senario te beskôgjen. Dit biedt foardielen lykas ynfrastruktuerbehear troch de provider en ynherinte skaalberens, wêrtroch it in ideale oplossing is foar ConveyThis. It betsjutte dat wy gjin soargen hoege te meitsjen oer serverkapasiteit, om't elk fersyk soe operearje yn syn eigen isolearre kontener.
Werom yn 2020 kaam serverless computing lykwols mei in limyt fan 5 minuten. Dit bewiisde in probleem foar ús bot dy't mooglik ferplichte wurde koe om grutte e-commerce-siden te crawljen mei in protte siden. Gelokkich, begjin 2020, ferlingde AWS de limyt nei 15 minuten, hoewol it ynskeakeljen fan dizze funksje in útdaagjende taak bliek te wêzen. Uteinlik fûnen wy de oplossing troch de serverleaze koade te triggerjen mei SQS - de AWS-berjochtenwachtrige tsjinst.
De reis nei ynteraktive real-time botkommunikaasje mei ConveyThis
Doe't wy it hostingdilemma oplosten, hienen wy in oare hindernis om te oerwinnen. Wy hienen no in funksjonele bot, hosted op in effisjinte, skaalbere manier. De oerbleaune taak wie om de bot-generearre gegevens troch te jaan oan ús brûkers.
Mei it doel fan maksimale ynteraktiviteit besleat ik op realtime kommunikaasje tusken de bot en it ConveyThis dashboard. Wylst real-time gjin eask is foar sa'n funksje, woe ik dat ús brûkers direkte feedback krije sa gau as de bot begon te wurkjen.
Om dit te berikken, hawwe wy in ienfâldige Node.js websocket-tsjinner ûntwikkele, hosted op in AWS EC2-eksimplaar. Dit easke wat tweaks oan 'e bot foar kommunikaasje mei de websocket-tsjinner en automatisearjen fan ynset. Nei yngeande testen wiene wy ree om oer te gean nei produksje.
Wat begûn as in byprojekt fûn úteinlik syn plak yn it dashboard. Troch de útdagings haw ik kennis opdien yn Go en myn feardigens yn 'e AWS-omjouwing skerpe. Ik fûn Go benammen foardielich foar netwurktaken, koöperative programmearring, en serverless computing, sjoen syn lege ûnthâldfoetôfdruk.
Wy hawwe takomstplannen om't de bot nije kânsen bringt. Wy binne fan doel om ús ark foar wurdtelling te herskriuwen foar bettere effisjinsje, en it mooglik te brûken foar cache-opwaarming. Ik hoopje dat jo dizze sneak Peek yn 'e techwrâld fan ConveyThis like folle genoaten hawwe as ik it dielen haw.
Klear om te begjinnen?
Oersetten, folle mear as allinnich talen witten, is in kompleks proses.
Troch ús tips te folgjen en ConveyThis te brûken, sille jo oersette siden resonearje mei jo publyk, en fiele har lânseigen yn 'e doeltaal.
Hoewol it ynspanning freget, is it resultaat beleanjend. As jo in webside oersette, kin ConveyThis jo oeren besparje mei automatyske masine-oersetting.
Besykje ConveyThis fergees foar 7 dagen!
