Taobh a-staigh ConveyThis Tech: Togail ar làrach-lìn Crawler
Ag adhartachadh eòlas an neach-cleachdaidh: ConveyThis a’ toirt a-steach Stiùireadh URL
Iomadh giùlan Is fheàrr leis an luchd-taic seo URLan an làrach-lìn aca eadar-theangachadh gu ceart, rud a dh’ fhaodadh a bhith na obair chruaidh, gu sònraichte airson làraich farsaing eadar-theangachadh gu grunn chànanan.
Tha fios air ais bho luchd-cleachdaidh air sealltainn gun robh cuid de luchd-cleachdaidh den bheachd gu robh tòiseachadh air na ciad phròiseactan eadar-theangachaidh làrach-lìn aca rudeigin mì-thoilichte. Bhiodh iad tric a’ ceasnachadh carson nach b’ urrainn dhaibh ach URL na duilleige-dachaigh fhaicinn air an liosta eadar-theangachaidh, agus ciamar a chruthaicheadh iad eadar-theangachaidhean den t-susbaint aca.
Sheall seo raon a dh’ fhaodadh a bhith ann airson leasachadh. Chunnaic sinn cothrom pròiseas air bòrd nas rèidh agus stiùireadh pròiseict nas èifeachdaiche a dhèanamh. Ach, cha robh fuasgladh concrait againn aig an àm sin.
B’ e an toradh, mar a dh’ fhaodadh tu a bhith air a chreidsinn, toirt a-steach feart Riaghladh URL. Leigidh e le luchd-cleachdaidh URLan an làrach-lìn aca a sganadh agus an susbaint eadar-theangaichte aca a ghineadh tron deas-bhòrd ConveyThis , gu sgiobalta agus gu h-èifeachdach.
O chionn ghoirid, chaidh am feart seo a ghluasad bhon Liosta Eadar-theangachaidh gu duilleag stiùireadh eadar-theangachaidh ùr, nas sùbailte agus nas cumhachdaiche stèidhichte air URL. A-nis, tha sinn den bheachd gu bheil an t-àm ann an sgeulachd a tha air cùl tòiseachadh an fheart seo fhoillseachadh.
A’ gabhail ri Golang: ConveyThis’ Turas a dh’ionnsaigh Seirbheisean Eadar-theangachaidh Nas Fheàrr
Thug toiseach glasadh 2020 mar thoradh air a’ ghalair lèir-sgaoilte cothrom dhomh an cànan prògramadh Golang ionnsachadh mu dheireadh a chaidh a chuir air falbh mar thoradh air cuingealachaidhean ùine.
Air a leasachadh le Google, tha Golang or Go air a bhith a’ fàs mòr-chòrdte o chionn beagan bhliadhnaichean. Mar chànan prògramaidh a chaidh a chur ri chèile gu staitigeach, chaidh Golang a dhealbhadh gus leigeil le luchd-leasachaidh còd èifeachdach, earbsach agus co-aontach a chruthachadh. Tha a shìmplidheachd a’ toirt taic do sgrìobhadh agus cumail suas phrògraman farsaing agus toinnte gun a bhith ag ìobairt astar.
Ann a bhith a’ beachdachadh air pròiseact taobh a dh’ fhaodadh a bhith eòlach air Golang, thàinig neach-tarraing lìn gu inntinn. Choinnich e ris na slatan-tomhais a chaidh ainmeachadh agus dh’ fhaodadh fuasgladh a thabhann dha luchd-cleachdaidh ConveyThis. Is e prògram a tha a’ tadhal air làrach-lìn gus dàta a tharraing a th’ ann an crawler lìn no ‘bot’.
Airson ConveyThis, b’ e ar n-amas inneal a leasachadh gus an urrainn do luchd-cleachdaidh an làrach aca a sganadh agus na URLan gu lèir fhaighinn air ais. A bharrachd air an sin, bha sinn airson am pròiseas gus eadar-theangachaidhean a chruthachadh a sgioblachadh. An-dràsta, feumaidh luchd-cleachdaidh tadhal air an làrach-lìn aca ann an cànan eadar-theangaichte gus an gineadh, gnìomh a tha a’ fàs eagallach dha làraich mòra, ioma-chànan.
Ged a bha am prototype tùsail sìmplidh - prògram a bheir URL mar chuir a-steach agus a thòisicheas a’ snàgadh air an làrach - bha e luath agus èifeachdach. Chunnaic Alex, ConveyThis’ CTO, comas an fhuasglaidh seo agus thug e cead airson rannsachadh agus leasachadh gus am bun-bheachd ùrachadh agus beachdachadh air mar a bheirear aoigheachd don t-seirbheis toraidh san àm ri teachd.
A’ seòladh an Trend gun Fhrithealaiche le Go and ConveyThis
Ann a bhith a’ cur crìoch air a’ bot crawler lìn, lorg sinn sinn fhìn a’ dol an sàs ann an nuances diofar CMS agus aonachadh. Dh’ èirich a’ cheist an uairsin - ciamar as fheàrr as urrainn dhuinn am bot a thaisbeanadh don luchd-cleachdaidh againn?
An toiseach, bheachdaich sinn air an dòigh-obrach a chaidh fheuchainn airson a bhith a’ cleachdadh AWS le eadar-aghaidh frithealaiche lìn. Ach, nochd grunn chùisean a dh’ fhaodadh a bhith ann. Bha mì-chinnt againn mu luchd an fhrithealaiche, cleachdadh ioma-chleachdaiche aig an aon àm, agus ar dìth eòlais le aoigheachd prògram Go.
Thug seo oirnn beachdachadh air suidheachadh aoigheachd gun fhrithealaiche. Bha seo a’ tabhann buannachdan leithid riaghladh bun-structair leis an t-solaraiche agus scalability gnèitheach, ga fhàgail na fhìor fhuasgladh airson ConveyThis. Bha e a’ ciallachadh nach fheumadh sinn dragh a ghabhail mu chomas an fhrithealaiche leis gum biodh gach iarrtas ag obair anns a’ ghobhar aonaranach aige fhèin.
Ach, air ais ann an 2020, thàinig coimpiutaireachd gun fhrithealaiche le crìoch 5-mionaidean. Bha seo na dhuilgheadas don bot againn a dh’ fhaodadh a bhith riatanach gus làraich-lìn mòra e-malairt a chraoladh le grunn dhuilleagan. Gu fortanach, tràth ann an 2020, leudaich AWS a’ chrìoch gu 15 mionaidean, ged a b’ e obair dhùbhlanach a bh’ ann a bhith a’ comasachadh am feart seo. Mu dheireadh, lorg sinn am fuasgladh le bhith a’ brosnachadh a’ chòd gun fhrithealaiche le SQS - seirbheis ciudha teachdaireachd AWS.
An t-slighe gu conaltradh bot fìor-ùine eadar-ghnìomhach le ConveyThis
Mar a rèitich sinn an dileab aoigheachd, bha cnap-starra eile againn ri faighinn seachad air. Bha bot gnìomh againn a-nis, air aoigheachd ann an dòigh èifeachdach, scalable. B’ e an obair a bha air fhàgail an dàta a chaidh a chruthachadh le bot a thoirt don luchd-cleachdaidh againn.
Ag amas air an eadar-ghnìomhachd as motha, chuir mi romham conaltradh fìor-ùine eadar am bot agus deas-bhòrd ConveyThis. Ged nach eil fìor-ùine riatanach airson a leithid de fheart, bha mi airson gum faigh ar luchd-cleachdaidh fios air ais sa bhad cho luath ‘s a thòisich am bot ag obair.
Gus seo a choileanadh, leasaich sinn frithealaiche lìn sìmplidh Node.js, air aoigheachd air eisimpleir AWS EC2. Dh'fheumadh seo beagan tweaks air a 'bot airson conaltradh leis an t-seirbheisiche websocket agus cleachdadh fèin-ghluasadach. Às deidh deuchainn mionaideach, bha sinn deiseil airson gluasad gu cinneasachadh.
Lorg an rud a thòisich mar phròiseact taobh mu dheireadh àite air an deas-bhòrd. Tro na dùbhlain, fhuair mi eòlas ann an Go agus thug mi urram dha mo sgilean ann an àrainneachd AWS. Fhuair mi a-mach gu robh Go gu sònraichte buannachdail airson gnìomhan lìonraidh, prògramadh co-obrachail, agus coimpiutaireachd gun fhrithealaiche, leis gu bheil an lorg cuimhne ìosal aige.
Tha planaichean againn san àm ri teachd oir bheir am bot cothroman ùra. Tha sinn ag amas air an inneal cunntais fhaclan againn ath-sgrìobhadh airson èifeachdas nas fheàrr, agus is dòcha a chleachdadh airson blàthachadh tasgadan. Tha mi an dòchas gun do chòrd an t-seallaidh seo riut ann an saoghal teignigeach ConveyThis cho mòr ‘s a chòrd e rium a bhith ga roinneadh.
Deiseil airson tòiseachadh?
Tha eadar-theangachadh, fada a bharrachd air a bhith eòlach air cànanan, na phròiseas iom-fhillte.
Le bhith a’ leantainn ar molaidhean agus a’ cleachdadh ConveyThis , bidh na duilleagan eadar-theangaichte agad a’ còrdadh ris an luchd-èisteachd agad, a’ faireachdainn gu bheil iad dùthchasach don chànan amais.
Ged a tha feum air oidhirp, tha an toradh buannachdail. Ma tha thu ag eadar-theangachadh làrach-lìn, faodaidh ConveyThis uairean a shàbhaladh dhut le eadar-theangachadh inneal fèin-ghluasadach.
Feuch ConveyThis an-asgaidh airson 7 latha!
