Bên trong ConveyThis Công nghệ: Xây dựng trình thu thập thông tin trang web của chúng tôi

Sự khởi đầu của đợt đóng cửa năm 2020 do đại dịch đã mang đến cho tôi cơ hội cuối cùng để học ngôn ngữ lập trình Golang đã bị loại bỏ do hạn chế về thời gian.

Được phát triển bởi Google, Golang hay Go đã trở nên phổ biến trong những năm gần đây. Một ngôn ngữ lập trình được biên dịch tĩnh, Golang được thiết kế để cho phép các nhà phát triển tạo mã hiệu quả, đáng tin cậy và đồng thời. Tính đơn giản của nó hỗ trợ viết và duy trì các chương trình mở rộng và phức tạp mà không làm giảm tốc độ.

Khi đang cân nhắc một dự án phụ tiềm năng để làm quen với Golang, một trình thu thập dữ liệu web (web crawler) chợt nảy ra trong đầu tôi. Nó đáp ứng các tiêu chí đã đề cập và có khả năng cung cấp một giải pháp cho người dùng ConveyThis. Trình thu thập dữ liệu web, hay "bot", là một chương trình truy cập trang web để trích xuất dữ liệu.

Với ConveyThis, mục tiêu của chúng tôi là phát triển một công cụ cho phép người dùng quét trang web của họ và truy xuất tất cả các URL. Ngoài ra, chúng tôi muốn đơn giản hóa quy trình tạo bản dịch. Hiện tại, người dùng phải truy cập trang web của họ bằng ngôn ngữ đã dịch để tạo bản dịch, một nhiệm vụ khá khó khăn đối với các trang web lớn, đa ngôn ngữ.

Mặc dù nguyên mẫu ban đầu khá đơn giản – một chương trình lấy URL làm đầu vào và bắt đầu thu thập dữ liệu trang web – nhưng nó lại nhanh chóng và hiệu quả. Alex, Giám đốc Công nghệ của ConveyThis, đã nhìn thấy tiềm năng của giải pháp này và đã bật đèn xanh cho hoạt động nghiên cứu và phát triển để tinh chỉnh khái niệm và cân nhắc cách thức lưu trữ dịch vụ sản xuất trong tương lai.

Khi chúng tôi giải quyết được tình trạng tiến thoái lưỡng nan về việc đăng cai tổ chức, chúng tôi có một trở ngại khác cần vượt qua. Bây giờ chúng tôi đã có một bot chức năng, được lưu trữ theo cách hiệu quả, có thể mở rộng. Nhiệm vụ còn lại là chuyển tiếp dữ liệu do bot tạo ra cho người dùng của chúng tôi.

Nhằm mục đích tối đa hóa tính tương tác, tôi quyết định giao tiếp theo thời gian thực giữa bot và bảng điều khiển ConveyThis. Mặc dù tính năng này không yêu cầu thời gian thực, nhưng tôi muốn người dùng nhận được phản hồi ngay lập tức khi bot bắt đầu hoạt động.

Để đạt được điều này, chúng tôi đã phát triển một máy chủ ổ cắm web Node.js đơn giản, được lưu trữ trên một phiên bản AWS EC2. Điều này yêu cầu một số điều chỉnh đối với bot để liên lạc với máy chủ websocket và tự động triển khai. Sau khi kiểm tra kỹ lưỡng, chúng tôi đã sẵn sàng chuyển sang sản xuất.

Những gì bắt đầu như một dự án phụ cuối cùng đã tìm thấy vị trí của nó trong bảng điều khiển. Thông qua các thử thách, tôi đã có được kiến thức về cờ vây và trau dồi kỹ năng của mình trong môi trường AWS. Tôi nhận thấy Go đặc biệt hữu ích cho các tác vụ kết nối mạng, lập trình hợp tác và điện toán không có máy chủ, do dung lượng bộ nhớ thấp.

Chúng tôi có những kế hoạch tương lai khi bot mang đến những cơ hội mới. Chúng tôi đặt mục tiêu viết lại công cụ đếm từ để đạt hiệu quả cao hơn, và có thể sử dụng nó để làm nóng bộ nhớ đệm. Tôi hy vọng bạn thích cái nhìn thoáng qua này về thế giới công nghệ của ConveyThis cũng như tôi đã thích thú khi chia sẻ nó.