Inside ConveyThis Tech: Manorina ny tranokalanay crawler
Fanatsarana ny traikefan'ny mpampiasa: ConveyThis dia mampiditra ny fitantanana URL
Ny mpanjifa maro ConveyThis dia aleon'ny mpanjifa rehetra adika araka ny tokony ho izy ny URL an'ny vohikalany, izay mety ho asa sarotra, indrindra ho an'ireo tranonkala midadasika voadika amin'ny fiteny maro.
Ny valin-kevitry ny mpampiasa dia naneho fa ny mpanjifa sasany dia nahita ny fanombohan'ny tetikasa fandikan-teny voalohany amin'ny tranokalany ho somary manahiran-tsaina. Nametra-panontaniana matetika izy ireo hoe nahoana izy ireo no tsy afaka mijery afa-tsy ny URL an-trano ao amin'ny lisitry ny fandikan-teny, sy ny fomba hamoronana dikanteny amin'ny atiny.
Izany dia nanondro ny faritra mety ho fanatsarana. Nahita fahafahana hanamora ny fizotran'ny onboarding sy ny fitantanana tetikasa mahomby kokoa izahay. Tsy nanana vahaolana mivaingana anefa izahay tamin’io fotoana io.
Ny vokatra, araka ny efa noeritreretinao, dia ny fampidirana ny endri-javatra URL Management. Izany dia ahafahan'ny mpampiasa mijery ny URL an'ny tranokalany ary mamorona atiny voadika amin'ny alàlan'ny ConveyThis Dashboard, haingana sy mahomby.
Vao haingana, ity endri-javatra ity dia nafindra avy amin'ny Lisitry ny Dikanteny ho amin'ny pejy fitantanana fandikan-teny miorina amin'ny URL vaovao, azo ampifanarahana kokoa ary matanjaka. Ankehitriny, mino izahay fa tonga ny fotoana hanambarana ny tantara ao ambadiky ny nanombohan'ity fampiasa ity.
Firaisana an'i Golang: Ampitahao ity dia ity mankany amin'ny sampan-draharahan'ny fandikan-teny nohatsaraina
Ny nanombohan'ny fanakatonana tamin'ny taona 2020 noho ny areti-mifindra dia nanome ahy fahafahana hianatra amin'ny farany ny fiteny fandaharana Golang izay najanona noho ny fahateren'ny fotoana.
Novolavolain'ny Google, Golang na Go dia nahazo laza tato anatin'ny taona vitsivitsy. Tenim-pandaharana natambatra amin'ny statika, i Golang dia natao ahafahan'ny mpamorona mamorona kaody mahomby, azo ianteherana ary miaraka. Ny fahatsoran'izy io dia manohana ny fanoratana sy fikojakojana programa midadasika sy sarotra nefa tsy manao sorona ny hafainganana.
Teo am-pieritreretana tetik'asa lafiny iray ahafahana mahafantatra ny tenako amin'i Golang, dia nisy crawler iray tonga tao an-tsaina. Nahafeno ny fepetra voalaza izy io ary mety hanolotra vahaolana ho an'ny mpampiasa ConveyThis. Ny crawler web na 'bot' dia programa mitsidika tranonkala iray haka angona.
Ho an'ny ConveyThis, ny tanjonay dia ny hamolavola fitaovana ho an'ny mpampiasa hijerena ny tranokalany sy haka ny URL rehetra. Fanampin'izay, te hanamora ny fizotran'ny famoronana fandikan-teny izahay. Amin'izao fotoana izao, ny mpampiasa dia tsy maintsy mitsidika ny tranokalany amin'ny fiteny voadika mba hamoronana azy ireo, asa izay manjary mampatahotra ho an'ny tranokala midadasika amin'ny fiteny maro.
Na dia tsotra aza ny prototype voalohany - programa izay maka URL ho fampidirana ary manomboka mandady ny tranokala - dia haingana sy nahomby izany. Alex, ConveyThis' CTO, dia nahita ny mety ho an'ity vahaolana ity ary nanome ny fandrosoana ho an'ny fikarohana sy ny fampandrosoana mba hanatsara ny foto-kevitra sy handinika ny fomba fampiantranoana ny serivisy famokarana ho avy.
Fikarohana ny fironana tsy misy mpizara miaraka amin'ny Go sy ConveyThis
Teo am-pamaranana ny bot crawler amin'ny tranonkala, dia nifandona tamin'ny karazana CMS sy fampidirana samihafa izahay. Nipoitra avy eo ny fanontaniana - ahoana no ahafahantsika manolotra tsara ny mpampiasa antsika amin'ny bot?
Tany am-boalohany, noheverinay ny fomba andrana sy voasedra amin'ny fampiasana AWS miaraka amin'ny interface server web. Nipoitra anefa ny olana mety hitranga. Nanana fisalasalana momba ny enta-mavesatry ny mpizara izahay, ny fampiasan'ny mpampiasa maro, ary ny tsy fahampian'ny traikefa amin'ny fampiantranoana programa Go.
Izany dia nitarika anay handinika sehatra fampiantranoana tsy misy mpizara. Izany dia nanome tombony toy ny fitantanana fotodrafitrasa ataon'ny mpamatsy sy ny scalability voajanahary, ka mahatonga azy io ho vahaolana tsara ho an'ny ConveyThis. Midika izany fa tsy mila manahy momba ny fahafahan'ny mpizara izahay satria ny fangatahana tsirairay dia hiasa ao anaty fitoerany mitokana.
Na izany aza, tamin'ny taona 2020, ny informatika tsy misy mpizara dia tonga tamin'ny fetra 5 minitra. Izany dia nanaporofo ny olana ho an'ny bot-nay izay mety ho takiana amin'ny fikandrana tranokala e-varotra lehibe misy pejy maro. Soa ihany fa tamin'ny fiandohan'ny taona 2020, ny AWS dia nanitatra ny fetra ho 15 minitra, na dia hita ho asa sarotra aza ny fampandehanana ity fampiasa ity. Tamin'ny farany, nahita ny vahaolana izahay tamin'ny alàlan'ny famoahana ny codeless server miaraka amin'ny SQS - ny serivisy filaharana hafatra AWS.
Ny Dia mankany amin'ny Fifandraisana Bot Real-Time Interactive miaraka amin'ny ConveyThis
Rehefa namaha ny olana momba ny fampiantranoana izahay dia nanana sakana hafa tsy maintsy noresena. Nanana bot miasa izahay izao, nampiantranoina tamin'ny fomba mahomby sy azo scalable. Ny asa sisa tavela dia ny fampitana ny angona vokarin'ny bot amin'ireo mpampiasa anay.
Mikatsaka ny fifampiraharahana ambony indrindra aho, nanapa-kevitra ny hifandray amin'ny fotoana tena izy eo amin'ny bot sy ny tabilao ConveyThis. Na dia tsy fepetra takiana amin'ny endri-javatra toy izany aza ny fotoana tena izy, tiako ny hahazoan'ny mpampiasa anay valiny haingana raha vao nanomboka niasa ilay bot.
Mba hahatratrarana izany dia namolavola mpizara websocket tsotra Node.js izahay, nampiantranoina tamin'ny ohatra AWS EC2. Nitaky tweaks sasany tamin'ny bot izany mba hifandraisana amin'ny mpizara websocket sy ny fametrahana automatique. Taorian'ny fitsapana lalina, dia vonona ny hifindra amin'ny famokarana.
Nahita ny toerany teo amin'ny solaitrabe ilay natomboka ho tetikasa an-daniny. Tamin'ny alalan'ireo fanamby dia nahazo fahalalana tao amin'ny Go aho ary nanatsara ny fahaizako tao amin'ny tontolo AWS. Hitako fa tena mahasoa tokoa ny Go amin'ny asa amin'ny tambajotra, ny fandaharana fiaraha-miasa, ary ny informatika tsy misy mpizara, noho ny dian-tadidiny ambany.
Manana drafitra ho avy izahay satria mitondra fahafahana vaovao ny bot. Kendrenay ny hanoratra indray ny fitaovan'ny fanisana ny teny ho an'ny fahombiazana tsara kokoa, ary mety hampiasa azy io amin'ny fanamafisana ny cache. Manantena aho fa nankafizinao ity tsipy kanetibe ity tao amin'ny tontolon'ny teknolojian'ny ConveyThis tahaka ny nankafizako ny fizarana azy.
Vonona hanomboka?
Ny fandikana, mihoatra lavitra noho ny fahalalana fiteny, dia dingana sarotra.
Amin'ny fanarahana ny toro-hevitray sy ny fampiasana ny ConveyThis , ny pejinao voadika dia hanakoako amin'ny mpihaino anao, mahatsapa ho teratany amin'ny fiteny kendrena.
Na dia mitaky ezaka aza izany, dia mahafa-po ny vokany. Raha mandika vohikala ianao, ConveyThis dia afaka mamonjy anao ora amin'ny fandikana milina mandeha ho azy.
Andramo ny ConveyThis maimaim-poana mandritra ny 7 andro!
