ConveyThis Tech の内部: ウェブサイトクローラーの構築

2020年にパンデミックによるロックダウンが始まったことで、時間の制約で遠ざかっていたプログラミング言語Golangをついに学ぶ機会が与えられた。

Google によって開発された Golang または Go は、近年人気が高まっています。静的にコンパイルされるプログラミング言語である Golang は、開発者が効率的で信頼性の高い同時実行コードを作成できるように設計されています。そのシンプルさにより、速度を犠牲にすることなく、大規模で複雑なプログラムの作成と保守がサポートされます。

Go言語に慣れるためのサイドプロジェクトとして、Webクローラーが頭に浮かびました。前述の基準を満たし、ConveyThis ユーザーにとって解決策となる可能性もありました。Webクローラー、または「ボット」とは、Webサイトにアクセスしてデータを抽出するプログラムです。

ConveyThis では、ユーザーがサイトをスキャンしてすべてのURLを取得できるツールを開発することを目指しました。さらに、翻訳を生成するプロセスを効率化したいと考えました。現在、ユーザーは翻訳された言語でウェブサイトにアクセスして翻訳を生成する必要があり、これは大規模で多言語のサイトでは大きな負担となります。

最初のプロトタイプは、URLを入力として受け取り、サイトのクロールを開始するという単純なプログラムでしたが、迅速かつ効果的でした。ConveyThis のCTOであるアレックスはこのソリューションの可能性に気づき、コンセプトを洗練させ、将来の本番サービスのホスティング方法を検討するための研究開発にゴーサインを出しました。

ホスティングのジレンマを解決する一方で、乗り越えなければならないハードルがまた一つ増えました。これで、効率的かつスケーラブルな方法でホストされた、機能的なボットが完成しました。残りのタスクは、ボットが生成したデータをユーザーに中継することでした。

最大限のインタラクティブ性を実現するために、ボットとConveyThisダッシュボード間のリアルタイム通信を採用しました。この機能にリアルタイム性は必須ではありませんが、ボットが動作を開始したらすぐにユーザーにフィードバックを提供したいと考えました。

これを実現するために、AWS EC2 インスタンスでホストされるシンプルな Node.js WebSocket サーバーを開発しました。これには、WebSocket サーバーとの通信と展開の自動化のためにボットにいくつかの調整が必要でした。徹底的なテストを経て、本番環境に移行する準備が整いました。

サイド プロジェクトとして始まったものが、最終的にダッシュボードにその場所を見つけました。挑戦を通じて、Go の知識を獲得し、AWS 環境でのスキルを磨きました。 Go はメモリ使用量が少ないため、ネットワーク タスク、協調プログラミング、サーバーレス コンピューティングに特に有益であることがわかりました。

ボットが新たな可能性をもたらすため、今後の計画も立てています。単語数カウントツールを書き換えて効率性を高め、キャッシュウォーミングにも活用したいと考えています。ConveyThis の技術世界を少し覗いて楽しんでいただけたなら幸いです。私自身もこの機会を共有できて嬉しく思っています。