Inu ConveyThis Tech: Kiko Oju opo wẹẹbu wa Crawler
Imudara Iriri Olumulo: ConveyThis Ṣe afihan Isakoso URL
Ọpọ ConveyAwọn onigbowo yii fẹran nini gbogbo awọn URL oju opo wẹẹbu wọn ni itumọ daradara, eyiti o le jẹ iṣẹ-ṣiṣe ti o nbeere, paapaa fun awọn aaye gbooro ti a tumọ si awọn ede pupọ.
Idahun olumulo ti fihan pe diẹ ninu awọn alabara rii ibẹrẹ ti awọn iṣẹ itumọ oju opo wẹẹbu akọkọ wọn ni iyalẹnu diẹ. Nigbagbogbo wọn beere idi ti wọn ṣe le wo URL oju-ile nikan ninu atokọ itumọ, ati bii wọn ṣe ṣẹda awọn itumọ ti akoonu wọn.
Eyi ṣe afihan agbegbe ti o pọju fun imudara. A rii aye lati dẹrọ ilana imudani lori wiwọ ati iṣakoso iṣẹ akanṣe diẹ sii. Bibẹẹkọ, a ko ni ojutu kan pato ni akoko yẹn.
Abajade, bi o ti le ti ro, jẹ ifihan ẹya iṣakoso URL. O jẹ ki awọn olumulo ṣe ọlọjẹ awọn URL oju opo wẹẹbu wọn ati ṣe agbekalẹ akoonu itumọ wọn nipasẹ Dasibodu ConveyThis , ni iyara ati imunadoko.
Laipẹ, ẹya yii ti tun wa nipo lati Akojọ Itumọ si oju-iwe iṣakoso itumọ ti orisun URL tuntun, ti o le mu badọgba ati agbara. Bayi, a gbagbọ pe o to akoko lati ṣafihan itan lẹhin ipilẹṣẹ ẹya yii.
Wiwọgba Golang: Gbigbe Irin-ajo Eyi' Si ọna Awọn iṣẹ Itumọ Imudara
Ibẹrẹ ti titiipa 2020 nitori ajakaye-arun naa fun mi ni aye lati nikẹhin kọ ede siseto Golang ti o ti wa ni ẹgbẹ nitori awọn idiwọn akoko.
Ti dagbasoke nipasẹ Google, Golang tabi Go ti n gba olokiki ni awọn ọdun aipẹ. Ede siseto ti o ni iṣiro, Golang jẹ apẹrẹ lati jẹ ki awọn olupilẹṣẹ ṣiṣẹ daradara, igbẹkẹle, ati koodu nigbakanna. Irọrun rẹ ṣe atilẹyin kikọ ati mimu awọn eto lọpọlọpọ ati idiju laisi iyara rubọ.
Ni iṣaroye iṣẹ akanṣe ẹgbẹ ti o pọju lati mọ ara mi pẹlu Golang, crawler wẹẹbu kan wa si ọkan. O pade awọn ibeere ti a mẹnuba ati pe o funni ni ojutu kan fun awọn olumulo ConveyThis. Crawler wẹẹbu tabi 'bot' jẹ eto ti o ṣabẹwo si oju opo wẹẹbu kan lati yọkuro data jade.
Fun ConveyThis, ero wa ni lati ṣe agbekalẹ irinṣẹ kan fun awọn olumulo lati ṣe ọlọjẹ aaye wọn ati gba gbogbo awọn URL pada. Ni afikun, a fẹ lati mu ilana ti ipilẹṣẹ awọn itumọ ṣiṣẹ. Lọwọlọwọ, awọn olumulo gbọdọ ṣabẹwo si oju opo wẹẹbu wọn ni ede ti a tumọ lati ṣe ipilẹṣẹ wọn, iṣẹ-ṣiṣe ti o di ẹru fun awọn aaye nla, awọn aaye-ede pupọ.
Botilẹjẹpe apẹrẹ akọkọ jẹ taara - eto ti o gba URL kan bi titẹ sii ti o bẹrẹ jijoko aaye naa - o yara ati imunadoko. Alex, ConveyThis 'CTO, ri agbara ti ojutu yii o si fun ni ilosiwaju fun iwadi ati idagbasoke lati ṣatunṣe ero naa ati ki o ronu bi o ṣe le gbalejo iṣẹ iṣelọpọ iwaju.
Lilọ kiri Aṣa Alaipin pẹlu Lọ ati ConveyThis
Ninu ilana ti ipari bot crawler wẹẹbu, a rii ara wa ni ija pẹlu awọn nuances ti awọn oriṣiriṣi CMS ati awọn iṣọpọ. Ibeere naa dide - bawo ni a ṣe le ṣafihan awọn olumulo wa dara julọ pẹlu bot naa?
Ni ibẹrẹ, a gbero ọna igbiyanju ati idanwo ti lilo AWS pẹlu wiwo olupin wẹẹbu kan. Bibẹẹkọ, ọpọlọpọ awọn ọran ti o pọju farahan. A ni aidaniloju nipa ẹru olupin, lilo nigbakanna nipasẹ awọn olumulo lọpọlọpọ, ati aini iriri wa pẹlu gbigbalejo eto Go.
Eyi mu wa lati ronu oju iṣẹlẹ alejo gbigba olupin ti ko ni olupin. Eyi funni ni awọn anfani bii iṣakoso amayederun nipasẹ olupese ati iwọn-iwọn ti o jẹ ki o jẹ ojutu pipe fun ConveyThis. O tumọ si pe a ko ni lati ṣe aniyan nipa agbara olupin nitori ibeere kọọkan yoo ṣiṣẹ ninu apoti ti o ya sọtọ.
Sibẹsibẹ, pada ni ọdun 2020, iširo alailowaya olupin wa pẹlu opin iṣẹju 5 kan. Eyi ṣe afihan iṣoro kan fun bot wa eyiti o le nilo lati ra awọn oju opo wẹẹbu e-commerce nla pẹlu awọn oju-iwe lọpọlọpọ. O da, ni ibẹrẹ ọdun 2020, AWS faagun opin si awọn iṣẹju 15, botilẹjẹpe mimu ẹya ara ẹrọ ṣiṣẹ fihan pe o jẹ iṣẹ-ṣiṣe nija. Nigbamii, a ri ojutu naa nipa sisọ koodu olupin ti ko ni olupin pẹlu SQS - AWS ifiranṣẹ queuing iṣẹ.
Irin-ajo lọ si Awọn ibaraẹnisọrọ Bot Akoko Ibaṣepọ pẹlu ConveyThis
Bi a ṣe yanju atayanyan gbigbalejo, a ni idiwọ miiran lati bori. A ni bot iṣẹ-ṣiṣe ni bayi, ti gbalejo ni lilo daradara, ọna iwọn. Iṣẹ-ṣiṣe to ku ni lati yi data ti ipilẹṣẹ bot pada si awọn olumulo wa.
Ni ero fun ibaraenisepo ti o pọju, Mo pinnu lori ibaraẹnisọrọ akoko gidi laarin bot ati dasibodu ConveyThis. Lakoko ti akoko gidi kii ṣe ibeere fun iru ẹya kan, Mo fẹ ki awọn olumulo wa gba esi lẹsẹkẹsẹ ni kete ti bot bẹrẹ iṣẹ.
Lati ṣaṣeyọri eyi, a ṣe agbekalẹ olupin websocket Node.js ti o rọrun, ti gbalejo lori apẹẹrẹ AWS EC2 kan. Eyi nilo diẹ ninu awọn tweaks si bot fun ibaraẹnisọrọ pẹlu olupin websocket ati imuṣiṣẹ adaṣe adaṣe. Lẹhin idanwo pipe, a ti ṣetan lati yipada si iṣelọpọ.
Ohun ti o bẹrẹ bi iṣẹ akanṣe ẹgbẹ nikẹhin ri aaye rẹ ninu dasibodu naa. Nipasẹ awọn italaya, Mo ni oye ni Go ati ki o mu awọn ọgbọn mi ṣiṣẹ ni agbegbe AWS. Mo rii Go paapaa anfani fun awọn iṣẹ ṣiṣe nẹtiwọọki, siseto ifowosowopo, ati iṣiro olupin, ti a fun ni ifẹsẹtẹ iranti kekere rẹ.
A ni awọn ero iwaju bi bot ṣe mu awọn aye tuntun wa. A ṣe ifọkansi lati tun kọ ohun elo kika ọrọ wa fun ṣiṣe to dara julọ, ati pe o le lo fun imorusi kaṣe. Mo nireti pe o gbadun yoju yoju yii sinu agbaye imọ-ẹrọ ConveyThis bi Mo ti gbadun pinpin rẹ.
Ṣetan lati bẹrẹ?
Itumọ, diẹ sii ju mimọ awọn ede lọ, jẹ ilana ti o nipọn.
Nipa titẹle awọn imọran wa ati lilo ConveyThis , awọn oju-iwe rẹ ti a tumọ yoo dun pẹlu awọn olugbo rẹ, ni rilara abinibi si ede ibi-afẹde.
Lakoko ti o nbeere igbiyanju, abajade jẹ ere. Ti o ba n tumọ oju opo wẹẹbu kan, ConveyEyi le fi awọn wakati pamọ fun ọ pẹlu itumọ ẹrọ aladaaṣe.
Gbiyanju ConveyEyi ni ọfẹ fun awọn ọjọ 7!
