Por dentro de ConveyThis Tecnologia: Construindo nosso rastreador de site

Numerous ConveyThis patrons prefer having all their website’s URLs properly translated, which can be a demanding task, especially for expansive sites translated into several languages.

O feedback do usuário mostrou que alguns clientes acharam o início de seus projetos iniciais de tradução de sites um tanto desconcertantes. Eles frequentemente questionavam por que só podiam visualizar o URL da página inicial na lista de tradução e como criar traduções de seu conteúdo.

Isso indicou uma área potencial para aprimoramento. Vimos uma oportunidade de facilitar um processo de integração mais tranquilo e um gerenciamento de projetos mais eficiente. No entanto, faltou-nos uma solução concreta naquele momento.

The result, as you might have surmised, was the introduction of the URL Management feature. It enables users to scan their website’s URLs and generate their translated content via the ConveyThis Dashboard, swiftly and effectively.

Recentemente, esse recurso foi realocado da Lista de tradução para uma nova página de gerenciamento de tradução baseada em URL, mais adaptável e poderosa. Agora, acreditamos que é hora de revelar a história por trás do início desse recurso.

O início do bloqueio de 2020 devido à pandemia me ofereceu a chance de finalmente aprender a linguagem de programação Golang, que havia sido deixada de lado devido a restrições de tempo.

Desenvolvido pelo Google, o Golang ou Go vem ganhando popularidade nos últimos anos. Uma linguagem de programação compilada estaticamente, Golang foi projetada para permitir que os desenvolvedores criem código eficiente, confiável e simultâneo. Sua simplicidade suporta a escrita e manutenção de programas extensos e complicados sem sacrificar a velocidade.

Ao ponderar sobre um potencial projeto paralelo para me familiarizar com Golang, um rastreador da web me veio à mente. Ele atendeu aos critérios mencionados e potencialmente ofereceu uma solução para usuários ConveyThis. Um rastreador da web ou 'bot' é um programa que visita um site para extrair dados.

Para ConveyThis, nosso objetivo era desenvolver uma ferramenta para os usuários verificarem seus sites e recuperarem todos os URLs. Além disso, queríamos agilizar o processo de geração de traduções. Atualmente, os usuários devem visitar seus sites em um idioma traduzido para gerá-los, uma tarefa que se torna difícil para sites grandes e multilíngues.

Embora o protótipo inicial fosse simples – um programa que pega uma URL como entrada e começa a rastrear o site – ele foi rápido e eficaz. Alex, ConveyThis' CTO, viu o potencial desta solução e deu luz verde para pesquisa e desenvolvimento para refinar o conceito e contemplar como hospedar o futuro serviço de produção.

No processo de finalização do bot rastreador da web, nos deparamos com as nuances de diferentes CMS e integrações. A questão então surgiu – como podemos apresentar melhor o bot aos nossos usuários?

Inicialmente, consideramos a abordagem testada e comprovada de usar a AWS com uma interface de servidor web. No entanto, vários problemas potenciais surgiram. Tínhamos incerteza sobre a carga do servidor, o uso simultâneo por vários usuários e nossa falta de experiência com a hospedagem do programa Go.

Isso nos levou a considerar um cenário de hospedagem sem servidor. Isso ofereceu benefícios como gerenciamento de infraestrutura pelo provedor e escalabilidade inerente, tornando-o uma solução ideal para ConveyThis. Isso significava que não precisávamos nos preocupar com a capacidade do servidor, já que cada solicitação operaria em seu próprio contêiner isolado.

No entanto, em 2020, a computação sem servidor vinha com um limite de 5 minutos. Isso provou ser um problema para nosso bot, que poderia ser necessário para rastrear grandes sites de comércio eletrônico com várias páginas. Felizmente, no início de 2020, a AWS ampliou o limite para 15 minutos, embora habilitar esse recurso tenha se mostrado uma tarefa desafiadora. Por fim, encontramos a solução acionando o código serverless com SQS – o serviço de enfileiramento de mensagens da AWS.

À medida que resolvemos o dilema de hospedagem, tivemos outro obstáculo a superar. Agora tínhamos um bot funcional, hospedado de maneira eficiente e escalável. A tarefa restante era retransmitir os dados gerados pelo bot para nossos usuários.

Visando o máximo de interatividade, optei pela comunicação em tempo real entre o bot e o painel ConveyThis. Embora o tempo real não seja um requisito para esse recurso, eu queria que nossos usuários recebessem feedback imediato assim que o bot começasse a funcionar.

Para isso, desenvolvemos um servidor websocket Node.js simples, hospedado em uma instância AWS EC2. Isso exigiu alguns ajustes no bot para comunicação com o servidor websocket e automatização da implantação. Após testes minuciosos, estávamos prontos para a transição para a produção.

O que começou como um projeto paralelo finalmente encontrou seu lugar no painel. Através dos desafios, ganhei conhecimento em Go e aprimorei minhas habilidades no ambiente AWS. Achei o Go particularmente benéfico para tarefas de rede, programação cooperativa e computação sem servidor, devido ao baixo consumo de memória.

Temos planos futuros, pois o bot traz novas oportunidades. Nosso objetivo é reescrever nossa ferramenta de contagem de palavras para melhor eficiência e, potencialmente, usá-la para aquecimento de cache. Espero que você tenha gostado desta prévia do mundo tecnológico de ConveyThis tanto quanto eu gostei de compartilhá-lo.