N'ime ConveyThis Tech: Iwuli Crawler Weebụsaịtị anyị
Imelite Ahụmịhe Onye Ọrụ: Nyefee Nke a na-ewebata njikwa URL
Ọtụtụ Convey Ndị na-azụ ahịa a na-ahọrọ ka a sụgharịa URL ha niile nke ọma, nke nwere ike ịbụ ọrụ na-achọsi ike, ọkachasị maka saịtị sara mbara ka a sụgharịa n'ọtụtụ asụsụ.
Nzaghachi onye ọrụ egosila na ụfọdụ ndị ahịa ahụtala mmalite nke ọrụ ntụgharị asụsụ webụsaịtị mbụ ha na-agbagwojuru anya. Ha na-ajụkarị ihe kpatara na ha ga-elele naanị URL ibe na ndepụta ntụgharị asụsụ, yana otu esi emepụta ntụgharị asụsụ nke ọdịnaya ha.
Nke a gosipụtara mpaghara enwere ike ịkwalite. Anyị hụrụ ohere iji kwado usoro ịnya ụgbọ mmiri dị nro na njikwa ọrụ nke ọma. Agbanyeghị, anyị enweghị ezigbo ngwọta n'oge ahụ.
Nsonaazụ, dịka ị nwere ike iche, bụ iwebata njirimara njikwa URL. Ọ na-enyere ndị ọrụ aka inyocha URL webụsaịtị ha wee mepụta ọdịnaya atụgharịrị site na ConveyThis Dashboard, ngwa ngwa na nke ọma.
N'oge na-adịbeghị anya, ebufere atụmatụ a site na Ndepụta Ntụgharị Asụsụ gaa na ibe njikwa ntụgharị asụsụ dabere na URL ọhụrụ, nke nwere ike imeghari ma dịkwa ike. Ugbu a, anyị kwenyere na ọ bụ oge ikpughe akụkọ sitere na mmalite njirimara a.
Anabata Golang: Njem njem a na-aga maka ọrụ ntụgharị asụsụ emelitere
Mmalite nke mkpọchi 2020 n'ihi ọrịa na-efe efe nyere m ohere imecha mụọ asụsụ mmemme Golang nke ewepụrụ n'ihi oke oge.
Google mebere, Golang ma ọ bụ Go na-enweta ewu ewu n'afọ ndị na-adịbeghị anya. Asụsụ mmemme achịkọtara nke ọma, e mere Golang iji mee ka ndị nrụpụta nwee ike ịrụ ọrụ nke ọma, ntụkwasị obi na koodu n'otu oge. Ọ dị mfe ya na-akwado ide na idobe mmemme buru ibu na mgbagwoju anya na-achụghị ọsọ ọsọ.
N'ịtụgharị uche n'ihe nwere ike ime ka m mara onwe m Golang, crawler webatara n'uche. Ọ zutere njirisi akpọrọ ma nwee ike ịnye azịza maka ndị ọrụ ConveyThis. Ihe crawler webụ ma ọ bụ 'bot' bụ mmemme na-eleta weebụsaịtị wepụta data.
Maka ConveyThis, ebumnuche anyị bụ imepụta ngwa maka ndị ọrụ inyocha saịtị ha wee weghachite URL niile. Na mgbakwunye, anyị chọrọ ịhazi usoro nke imepụta ntụgharị asụsụ. Ugbu a, ndị ọrụ ga-agarịrị na webụsaịtị ha n'asụsụ atụgharịrị iji mepụta ha, ọrụ na-adị egwu maka saịtị buru ibu, ọtụtụ asụsụ.
Ọ bụ ezie na prototype mbụ ahụ kwụ ọtọ - mmemme na-ewe URL dị ka ntinye wee malite ịrara saịtị ahụ - ọ dị ngwa ma dị irè. Alex, ConveyThis' CTO, hụrụ ike nke ngwọta a ma nye ohere maka nyocha na mmepe iji mee ka echiche ahụ dịkwuo mma ma tụgharịa uche ka esi anabata ọrụ mmepụta ihe n'ọdịnihu.
Iji Go na ConveyThis na-agagharị na Trend enweghị nkesa
Na usoro nke imecha web crawler bot, anyị hụrụ onwe anyị na-agba mgba na nuances nke dị iche iche CMS na integrations. Ajụjụ bilitere - kedu ka anyị ga-esi mee ka ndị ọrụ anyị nwee bot kacha mma?
Na mbụ, anyị tụlere usoro a nwalere na anwale nke iji AWS na ihe ntanetị sava weebụ. Agbanyeghị, ọtụtụ nsogbu nwere ike pụta. Anyị nwere ejighị n'aka maka ibu nkesa, ojiji ọtụtụ ndị ọrụ na-eme n'otu oge, yana enweghị ahụmịhe anyị na Bochum mmemme Go.
Nke a mere ka anyị tụlee ọnọdụ nnabata nnabata na-enweghị ihe nkesa. Nke a nyere uru dị ka njikwa akụrụngwa site n'aka onye na-eweta ya yana scalability, na-eme ka ọ bụrụ ezigbo ngwọta maka ConveyThis. Ọ pụtara na anyị agaghị echegbu onwe anyị maka ikike nkesa ebe ọ bụ na arịrịọ ọ bụla ga-arụ ọrụ n'ime akpa nke ya dịpụrụ adịpụ.
Agbanyeghị, laa azụ na 2020, kọmpụta enweghị ihe nkesa wee nwee oke nkeji 5. Nke a gosipụtara nsogbu maka bot anyị nke enwere ike ịchọ ka ọ banye nnukwu saịtị e-azụmahịa nwere ọtụtụ ibe. Ọ dabara nke ọma, na mbido 2020, AWS gbatịpụrụ oke na nkeji iri na ise, n'agbanyeghị na ime ka njirimara a bụrụ ọrụ siri ike. N'ikpeazụ, anyị chọtara ngwọta site na iji SQS na-akpali koodu na-enweghị ihe nkesa - ọrụ ozi queuing AWS.
Njem na-eme mkparịta ụka Real-Time Bot na ConveyThis
Ka anyị na-edozi nsogbu nnabata ahụ, anyị nwere ihe mgbochi ọzọ iji merie. Ugbu a, anyị nwere bot na-arụ ọrụ, nke a na-akwado ya n'ụzọ dị mma, nke nwere ike ịgbatị. Ọrụ fọdụrụnụ bụ ibugara ndị ọrụ anyị data sitere na bot.
N'ịchọ maka mmekọrịta kachasị, ekpebiri m na nzikọrịta ozi n'etiti bot na ConveyThis dashboard. Ọ bụ ezie na ezigbo oge abụghị ihe achọrọ maka njirimara dị otú ahụ, achọrọ m ka ndị ọrụ anyị nweta nzaghachi ozugbo ozugbo bot malitere ịrụ ọrụ.
Iji mezuo nke a, anyị mepụtara sava webụsaịtị Node.js dị mfe, akwadoro na ihe atụ AWS EC2. Nke a chọrọ ụfọdụ tweaks na bot maka nkwurịta okwu na sava webụsaịtị yana ntinye akpaaka. Mgbe nyochachara nke ọma, anyị dị njikere ịgafe na mmepụta.
Ihe malitere dị ka ọrụ akụkụ mechara chọta ọnọdụ ya na dashboard. Site na nsogbu ndị ahụ, enwetara m ihe ọmụma na Go ma kwalite nkà m na gburugburu AWS. Achọtara m Go na ọ bara uru karịsịa maka ọrụ ịkparịta ụka n'Ịntanet, mmemme imekọ ihe ọnụ, na mgbakọ na-enweghị ihe nkesa, nyere akara ukwu ebe nchekwa ya dị ala.
Anyị nwere atụmatụ n'ọdịnihu ka bot na-eweta ohere ọhụrụ. Anyị bu n'obi idegharị ngwá ọrụ ọnụ okwu anyị maka ịrụ ọrụ ka mma, ma nwee ike iji ya maka ikpo ọkụ cache. Enwere m olileanya na ị nwere mmasị na nlegharị anya a n'ime ụwa teknụzụ ConveyThis dịka ọ masịrị m ịkekọrịta ya.
Ị dịla njikere ibido?
Ntụgharị asụsụ, karịa naanị ịmara asụsụ, bụ usoro dị mgbagwoju anya.
Site n'ịgbaso ndụmọdụ anyị na iji ConveyThis , ibe gị atụgharịrị ga-emetụta ndị na-ege gị ntị, na-eche na ọ bụ nwa amaala nke asụsụ ebumnuche.
Ọ bụ ezie na ọ na-achọ mgbalị, ihe si na ya pụta na-akwụghachi ụgwọ. Ọ bụrụ na ị na-atụgharị asụsụ webụsaịtị, ConveyNke a nwere ike ịzọpụta gị awa na ntụgharị igwe na-akpaghị aka.
Nwaa ConveyNke a n'efu maka ụbọchị 7!
