深入了解 ConveyThis 技术：构建我们的网站爬虫
改善用户体验：ConveyThis 引入 URL 管理
众多的传达此顾客更喜欢将其网站的所有 URL 正确翻译，这可能是一项艰巨的任务，特别是对于翻译成多种语言的大型网站。
用户反馈表明，一些客户发现他们最初的网站翻译项目的开始有些令人困惑。他们经常质疑为什么只能在翻译列表中查看主页 URL，以及如何为其内容创建翻译。
这表明了一个潜在的增强领域。我们看到了促进更顺畅的入职流程和更高效的项目管理的机会。然而，我们当时缺乏具体的解决方案。
正如您可能已经猜测的那样，结果是引入了 URL 管理功能。它使用户能够扫描其网站的 URL 并通过ConveyThis仪表板快速有效地生成翻译内容。
最近，此功能已从翻译列表迁移到新的、适应性更强、功能更强大的基于 URL 的翻译管理页面。现在，我们认为是时候揭晓该功能诞生背后的故事了。
拥抱 Golang：ConveyThis 增强翻译服务之旅
2020 年因疫情而封锁的开始，让我终于有机会学习因时间限制而被搁置的编程语言 Golang。
由 Google 开发的 Golang 或 Go 近年来越来越受欢迎。 Golang 是一种静态编译的编程语言，旨在帮助开发人员编写高效、可靠和并发的代码。它的简单性支持在不牺牲速度的情况下编写和维护大量复杂的程序。
在考虑一个潜在的副项目来熟悉 Golang 时，我的脑海中浮现出一个网络爬虫。它符合上述标准，并有可能为 ConveyThis 用户提供解决方案。网络爬虫或“机器人”是一种访问网站以提取数据的程序。
对于 ConveyThis，我们的目标是开发一个工具，供用户扫描其网站并检索所有 URL。此外，我们希望简化生成翻译的过程。目前，用户必须以翻译的语言访问他们的网站才能生成它们，对于大型多语言网站来说，这项任务变得令人畏惧。
尽管最初的原型很简单——一个以 URL 作为输入并开始抓取网站的程序——但它快速而有效。 ConveyThis 的首席技术官 Alex 看到了该解决方案的潜力，并批准进行研究和开发，以完善概念并思考如何托管未来的生产服务。
使用 Go 和 ConveyThis 引领无服务器趋势
在最终确定网络爬虫机器人的过程中，我们发现自己正在努力解决不同 CMS 和集成的细微差别。那么问题来了——我们如何才能最好地向用户展示机器人？
最初，我们考虑了通过 Web 服务器接口使用 AWS 的经过尝试和测试的方法。然而，出现了一些潜在的问题。我们对服务器负载、多个用户同时使用以及缺乏 Go 程序托管经验存在不确定性。
这促使我们考虑无服务器托管场景。这提供了提供商的基础设施管理和固有的可扩展性等优势，使其成为 ConveyThis 的理想解决方案。这意味着我们不必担心服务器容量，因为每个请求都将在其自己的隔离容器中运行。
然而，早在 2020 年，无服务器计算就有 5 分钟的限制。这对我们的机器人来说是一个问题，它可能需要爬行具有大量页面的大型电子商务网站。幸运的是，2020 年初，AWS 将限制延长至 15 分钟，尽管事实证明启用此功能是一项具有挑战性的任务。最终，我们通过使用 SQS（AWS 消息队列服务）触发无服务器代码找到了解决方案。
使用 ConveyThis 进行交互式实时机器人通信之旅
当我们解决了托管困境时，我们还有另一个障碍需要克服。我们现在有了一个功能性机器人，以高效、可扩展的方式托管。剩下的任务是将机器人生成的数据转发给我们的用户。
为了实现最大程度的交互性，我决定在机器人和 ConveyThis 仪表板之间进行实时通信。虽然实时性并不是此类功能的要求，但我希望我们的用户在机器人开始工作后立即获得反馈。
为了实现这一目标，我们开发了一个简单的 Node.js Websocket 服务器，托管在 AWS EC2 实例上。这需要对机器人进行一些调整，以便与 websocket 服务器通信并自动部署。经过彻底的测试后，我们已准备好过渡到生产。
最初作为一个副项目最终在仪表板中找到了自己的位置。通过这些挑战，我获得了 Go 方面的知识，并在 AWS 环境中磨练了自己的技能。我发现 Go 特别有利于网络任务、协作编程和无服务器计算，因为它的内存占用很小。
随着机器人带来新的机遇，我们有未来的计划。我们的目标是重写我们的字数统计工具以提高效率，并可能将其用于缓存预热。我希望您喜欢这次对 ConveyThis 技术世界的一睹为快，就像我喜欢分享它一样。
准备开始了吗？
翻译不仅仅是了解语言，它是一个复杂的过程。
通过遵循我们的提示并使用ConveyThis ，您的翻译页面将与您的受众产生共鸣，感觉是目标语言的母语。
虽然需要付出努力，但结果是有益的。如果您要翻译网站，ConveyThis 可以通过自动机器翻译节省您的时间。
免费试用 ConveyThis 7 天！
