深入了解 ConveyThis 技術：建立我們的網站爬蟲
改善用戶體驗：ConveyThis 引入 URL 管理
大量傳達此顧客更喜歡將其網站的所有 URL 正確翻譯，這可能是一項艱鉅的任務，特別是對於翻譯成多種語言的龐大網站。
用戶反饋表明，一些客戶發現他們最初的網站翻譯項目的開始有些令人困惑。他們經常質疑為什麼只能在翻譯列表中查看主頁 URL，以及如何為其內容創建翻譯。
這表明了一個潛在的增強領域。我們看到了促進更順暢的入職流程和更高效的項目管理的機會。然而，我們當時缺乏具體的解決方案。
正如您可能已經猜測的那樣，結果是引入了 URL 管理功能。它使用戶能夠掃描其網站的 URL 並通過ConveyThis儀表板快速有效地生成翻譯內容。
最近，此功能已從翻譯列表遷移到新的、適應性更強、功能更強大的基於 URL 的翻譯管理頁面。現在，我們認為是時候揭曉該功能誕生背後的故事了。
擁抱 Golang：ConveyThis 增強翻譯服務之旅
2020 年因疫情而封鎖的開始，讓我終於有機會學習因時間限製而被擱置的編程語言 Golang。
由 Google 開發的 Golang 或 Go 近年來越來越受歡迎。 Golang 是一種靜態編譯的編程語言，旨在幫助開發人員編寫高效、可靠和並發的代碼。它的簡單性支持在不犧牲速度的情況下編寫和維護大量複雜的程序。
在考慮一個潛在的副項目來熟悉 Golang 時，我的腦海中浮現出一個網絡爬蟲。它符合上述標準，並有可能為 ConveyThis 用戶提供解決方案。網絡爬蟲或“機器人”是一種訪問網站以提取數據的程序。
對於 ConveyThis，我們的目標是開發一個工具，供用戶掃描其網站並檢索所有 URL。此外，我們希望簡化生成翻譯的過程。目前，用戶必須以翻譯的語言訪問他們的網站才能生成它們，對於大型多語言網站來說，這項任務變得令人畏懼。
儘管最初的原型很簡單——一個以 URL 作為輸入並開始抓取網站的程序——但它快速而有效。 ConveyThis 的首席技術官 Alex 看到了該解決方案的潛力，並批准進行研究和開發，以完善概念並思考如何託管未來的生產服務。
使用 Go 和 ConveyThis 引領無服務器趨勢
在最終確定網絡爬蟲機器人的過程中，我們發現自己正在努力解決不同 CMS 和集成的細微差別。那麼問題就出現了——我們如何才能最好地向用戶展示機器人？
最初，我們考慮了通過 Web 服務器接口使用 AWS 的經過嘗試和測試的方法。然而，出現了一些潛在的問題。我們對服務器負載、多個用戶同時使用以及缺乏 Go 程序託管經驗存在不確定性。
這促使我們考慮無服務器託管場景。這提供了提供商的基礎設施管理和固有的可擴展性等優勢，使其成為 ConveyThis 的理想解決方案。這意味著我們不必擔心服務器容量，因為每個請求都將在其自己的隔離容器中運行。
然而，早在 2020 年，無服務器計算就有 5 分鐘的限制。這對我們的機器人來說是一個問題，它可能需要爬行具有大量頁面的大型電子商務網站。幸運的是，2020 年初，AWS 將限制延長至 15 分鐘，儘管事實證明啟用此功能是一項具有挑戰性的任務。最終，我們通過使用 SQS（AWS 消息隊列服務）觸發無服務器代碼找到了解決方案。
使用 ConveyThis 進行交互式實時機器人通信之旅
當我們解決了託管困境時，我們還有另一個障礙需要克服。我們現在有了一個功能性機器人，以高效、可擴展的方式託管。剩下的任務是將機器人生成的數據轉發給我們的用戶。
為了實現最大程度的交互性，我決定在機器人和 ConveyThis 儀表板之間進行實時通信。雖然實時性並不是此類功能的要求，但我希望我們的用戶在機器人開始工作後立即獲得反饋。
為了實現這一目標，我們開發了一個簡單的 Node.js Websocket 服務器，託管在 AWS EC2 實例上。這需要對機器人進行一些調整，以便與 websocket 服務器通信並自動部署。經過徹底的測試後，我們已準備好過渡到生產。
最初作為一個副項目最終在儀表板中找到了自己的位置。通過這些挑戰，我獲得了 Go 方面的知識，並在 AWS 環境中磨練了自己的技能。我發現 Go 特別有利於網絡任務、協作編程和無服務器計算，因為它的內存佔用很小。
隨著機器人帶來新的機遇，我們有未來的計劃。我們的目標是重寫我們的字數統計工具以提高效率，並可能將其用於緩存預熱。我希望您喜歡這次對 ConveyThis 技術世界的一睹為快，就像我喜歡分享它一樣。
準備好開始了嗎？
翻譯不僅僅是了解語言，它是一個複雜的過程。
通過遵循我們的提示並使用ConveyThis ，您的翻譯頁面將與您的受眾產生共鳴，感覺是目標語言的母語。
雖然需要付出努力，但結果是有益的。如果您要翻譯網站，ConveyThis 可以通過自動機器翻譯節省您的時間。
免費試用 ConveyThis 7 天！
