ConveyThis Technika: Weboldalunk feltérképező robotjának felépítése

A járvány miatti 2020-as bezárás lehetőséget biztosított számomra, hogy végre megtanuljam a Golang programozási nyelvet, amely az idő szűke miatt elmaradt.

A Google által fejlesztett Golang vagy Go az elmúlt években egyre népszerűbb. A Golang egy statikusan összeállított programozási nyelv, amelyet arra terveztek, hogy lehetővé tegye a fejlesztők számára hatékony, megbízható és párhuzamos kódok készítését. Egyszerűsége támogatja kiterjedt és bonyolult programok írását és karbantartását a sebesség feláldozása nélkül.

Miközben azon gondolkodtam, hogy egy lehetséges mellékprojekten ismerkedjek meg a Golanggal, egy web crawler jutott eszembe. Megfelelt a fent említett kritériumoknak, és potenciálisan megoldást kínált a ConveyThis felhasználók számára. A web crawler vagy „bot” egy olyan program, amely felkeres egy webhelyet, hogy adatokat nyerjen ki.

A ConveyThis esetében a célunk egy olyan eszköz kifejlesztése volt, amellyel a felhasználók átvizsgálhatják webhelyüket, és lekérhetik az összes URL-t. Emellett egyszerűsíteni szerettük volna a fordítások generálásának folyamatát. Jelenleg a felhasználóknak meg kell látogatniuk a webhelyüket egy lefordított nyelven ahhoz, hogy létrehozzák a fordításokat, ami ijesztő feladattá válhat a nagy, többnyelvű webhelyek esetében.

Bár a kezdeti prototípus egyszerű volt – egy program, amely egy URL-t vesz bemenetként, és elkezdi feltérképezni a webhelyet –, gyors és hatékony volt. Alex, a ConveyThis műszaki igazgatója meglátta a megoldásban rejlő lehetőségeket, és zöld utat adott a kutatás-fejlesztésnek a koncepció finomítása és a jövőbeli termelési szolgáltatás üzemeltetésének módjának átgondolása érdekében.

Ahogy megoldottuk a házigazda dilemmáját, újabb akadályt kellett leküzdenünk. Mostantól rendelkezünk egy működőképes robottal, amelyet hatékonyan és méretezhetően tároltak. A hátralévő feladat az volt, hogy a bot által generált adatokat továbbítsuk felhasználóinknak.

A maximális interaktivitás érdekében a bot és a ConveyThis irányítópult közötti valós idejű kommunikáció mellett döntöttem. Bár a valós idejű kommunikáció nem követelmény egy ilyen funkcióhoz, azt szerettem volna, hogy a felhasználóink azonnal visszajelzést kapjanak, amint a bot működni kezd.

Ennek elérése érdekében kifejlesztettünk egy egyszerű Node.js websocket szervert, amely egy AWS EC2 példányon található. Ehhez néhány módosításra volt szükség a roboton a websocket szerverrel való kommunikációhoz és a telepítés automatizálásához. Alapos tesztelés után készen álltunk a gyártásra való átállásra.

Ami mellékprojektnek indult, végül megtalálta a helyét a műszerfalon. A kihívások során tudást szereztem a Go-ban, és az AWS környezetben csiszoltam tudásomat. A Go-t különösen hasznosnak találtam a hálózati feladatokhoz, a kooperatív programozáshoz és a kiszolgáló nélküli számítástechnikához, tekintettel alacsony memóriaigényére.

Vannak jövőbeli terveink, mivel a bot új lehetőségeket teremt. Célunk, hogy átírjuk a szószámláló eszközünket a jobb hatékonyság érdekében, és potenciálisan a gyorsítótár-melegítésre is használjuk. Remélem, hogy nektek is annyira tetszett ez a betekintés a ConveyThis tech világába, mint amennyire én élveztem a megosztását.