Inside ConveyThis Tech: Avakirina Crawler Malpera Me
Başkirina Ezmûna Bikarhêner: ConveyThis Rêvebiriya URL-ê destnîşan dike
Gelek patronên ConveyThis tercîh dikin ku hemî URL-yên malpera xwe bi rêkûpêk werin wergerandin, ku ev dikare bibe karekî daxwazkar, nemaze ji bo malperên berfireh ên ku bi çend zimanan hatine wergerandin.
Bersiva bikarhêner destnîşan kir ku hin xerîdar destpêkirina projeyên wergera malpera wan a destpêkê hinekî şaş dîtin. Wan pir caran pirs kir ku çima ew tenê dikarin URL-ya rûpelê malê di navnîşa wergerê de bibînin, û meriv çawa wergerên naveroka xwe biafirîne.
Vê yekê herêmek potansiyel ji bo pêşdebirinê destnîşan kir. Me fersendek dît ku em pêvajoyek birêkûpêk û rêveberiya projeyê ya bikêrtir hêsan bikin. Lê belê di wê kêliyê de çareseriyeke me ya konkret tunebû.
Encam, wekî ku we guman kir, danasîna taybetmendiya Rêvebiriya URL-ê bû. Ew bikarhêneran dihêle ku URLên malpera xwe bişopînin û naveroka xwe ya werger bi navgîniya ConveyThis Dashboard, bi lez û bez biafirînin.
Di van demên dawî de, ev taybetmendî ji Lîsteya Wergerê hate veguheztin bo rûpelek rêveberiya werger-based URL-ya nû, veguhezbar û bihêztir. Naha, em bawer dikin ku dem e ku em çîroka li pişt destpêka vê taybetmendiyê eşkere bikin.
Hembêzkirina Golang: Rêwîtiya Vê Veguhezîne Berbi Xizmetên Wergerê yên Pêşkeftî
Destpêka girtina sala 2020-an a ji ber pandemiyê şansê min peyda kir ku ez di dawiyê de fêrî zimanê bernamenûsê Golang ê ku ji ber tengasiyên demê hatibû veqetandin, bibim.
Ji hêla Google ve hatî pêşve xistin, Golang an Go di van salên dawî de populerbûna xwe bi dest dixe. Zimanek bernamesaziyê ya statîk hatî berhev kirin, Golang hate sêwirandin ku ji pêşdebiran re karibe kodek bikêr, pêbawer û hevdem çêbike. Hêsaniya wê piştgirî dide nivîsandin û domandina bernameyên berfireh û tevlihev bêyî ku leza xwe bike qurban.
Di fikirîna projeyek alîgir a potansiyel de ku ez xwe bi Golang nas bikim, gerîdokek webê derket bîra xwe. Ew pîvanên behskirî bicîh anî û potansiyel çareseriyek ji bo bikarhênerên ConveyThis pêşkêş kir. Crawlerek webê an 'bot' bernameyek e ku ji bo derxistina daneyan serdana malperek dike.
Ji bo ConveyThis, mebesta me ew bû ku em amûrek ji bikarhêneran re pêş bixin ku malpera xwe bişopînin û hemî URLan bistînin. Bi ser de, me xwest ku em pêvajoya çêkirina wergeran xweş bikin. Heya nuha, bikarhêner divê biçin malpera xwe bi zimanek wergêr da ku wan biafirînin, peywirek ku ji bo malperên mezin, pirzimanî tirsnak dibe.
Her çend prototîpa destpêkê rasterast bû - bernameyek ku URLek wekî têketinê digire û dest bi lêdana malperê dike - ew zû û bi bandor bû. Alex, ConveyThis 'CTO, potansiyela vê çareseriyê dît û rê da lêkolîn û pêşkeftinê da ku têgînê safî bike û bifikire ka meriv çawa karûbarê hilberîna pêşerojê mêvandar dike.
Bi Go û Veguhastina Vê Trendê Bê Server vegere
Di pêvajoya dawîkirina bota crawlerê ya webê de, me dît ku bi hûrguliyên CMS û entegrasyonên cihêreng re mijûl dibin. Dûv re pirs derket holê - em çawa dikarin çêtirîn bikarhênerên xwe bi botê pêşkêş bikin?
Di destpêkê de, me nêzîkatiya ceribandin û ceribandinê ya karanîna AWS bi navgîniya servera webê re fikir kir. Lêbelê, çend pirsgirêkên potansiyel derketin holê. Di derbarê barkirina serverê de, karanîna hevdemî ji hêla pir bikarhêneran ve, û nebûna ezmûna me ya bi mêvandariya bernameya Go-yê re nediyariya me hebû.
Vê yekê rê da me ku em senaryoyek mêvandariya bê server bifikirin. Vê yekê feydeyên wekî rêveberiya binesaziyê ji hêla peydaker û mezinbûna xwerû ve pêşkêşî dike, ku ew ji bo ConveyThis çareseriyek îdeal dike. Ev tê vê wateyê ku em neçar in ku ji kapasîteya serverê bitirsin ji ber ku her daxwaz dê di konteynera xweya veqetandî de bixebite.
Lêbelê, di sala 2020-an de vegere, hesabkirina bê server bi sînorek 5 hûrdemî hat. Vê yekê ji bo bota me pirsgirêkek îspat kir ku dibe ku pêdivî be ku malperên e-bazirganiya mezin bi gelek rûpelan veşêre. Xweşbextane, di destpêka sala 2020-an de, AWS sînor heya 15 hûrdem dirêj kir, her çend çalakkirina vê taybetmendiyê wekî karekî dijwar îsbat kir. Di dawiyê de, me çareserî dît ku koda bê server bi SQS-ê ve girêdide - karûbarê rêzgirtina peyama AWS.
Rêwîtiya Berbi Ragihandina Botê ya Rast-Time Interaktîf bi ConveyThis re
Gava ku me dîlema mêvandariyê çareser kir, me astengiyek din hebû ku em bi ser bikevin. Naha me botek fonksiyonel hebû, ku bi rengek bikêrhatî û berbelav hatî mêvandar kirin. Karê mayî ev bû ku em daneyên ku ji bo botê hatine hilberandin ji bikarhênerên me re veguhezînin.
Bi mebesta înteraktîfiya herî zêde, min biryar da ku pêwendiya rast-ê di navbera bot û dashboarda ConveyThis de hebe. Digel ku dema rast ji bo taybetmendiyek wusa ne pêdivî ye, min dixwest ku bikarhênerên me gava ku bot dest bi xebatê kir, tavilê bertekên xwe bistînin.
Ji bo ku em bigihîjin vê yekê, me serverek websocket-a Node.js-ya hêsan, ku li ser mînakek AWS EC2 hatî mêvandar kirin, pêşve xist. Vê yekê ji bo danûstendina bi servera websocket-ê û sazkirina otomatîkî re hin tweaksên botê hewce kir. Piştî ceribandinek bêkêmasî, em amade bûn ku derbasî hilberînê bibin.
Ya ku wekî projeyek alî dest pê kir di dawiyê de cihê xwe di dashboardê de dît. Di nav dijwariyan de, min di Go de zanyarî bi dest xist û di jîngeha AWS-ê de jêhatîbûna xwe zexm kir. Min Go bi taybetî ji bo peywirên torê, bernamesaziya hevkar, û hesabkirina bê server, ji ber şopa bîranîna wê ya kêm sûdmend dît.
Planên me yên pêşerojê hene ji ber ku bot derfetên nû tîne. Mebesta me ew e ku em amûra xweya hejmartina peyvan ji nû ve binivîsînin ji bo karîgeriyek çêtir, û bi potansiyel wê ji bo germkirina cache bikar bînin. Ez hêvî dikim ku we bi qasî ku ez ji parvekirina wê kêfa min kişandî ji vê nihêrîna bi dizî li cîhana teknolojiya ConveyThis kêf kir.
Amade ne ku dest pê bikin?
Werger, ji zanîna zimanan wêdetir, pêvajoyek tevlihev e.
Bi şopandina şîretên me û karanîna ConveyThis re, rûpelên we yên wergerandî dê bi temaşevanên we re deng bidin, ji zimanê armancê re xweyî hîs bikin.
Digel ku ew hewldan hewce dike, encam xelat e. Ger hûn malperek wergerînin, ConveyThis dikare we bi wergera makîneya otomatîkî demjimêran xilas bike.
7 rojan ConveyThis belaş biceribîne!
