Como construímos o ConveyThis Website Crawler
Uma visão técnica da arquitetura e da lógica que alimentam nosso mecanismo de tradução automatizado.
Sem cartão de crédito
Melhorando a experiência do usuário: ConveyThis Introduz o gerenciamento de URL
Vários usuários do ConveyThis preferem ter todos os URLs de seus sites traduzidos corretamente, o que pode ser uma tarefa desafiadora, especialmente para sites grandes traduzidos para vários idiomas.
O feedback do usuário mostrou que alguns clientes encontraram o início de sua Tradução de website projetos um pouco confusos. Eles muitas vezes questionavam por que eles só podiam ver o URL da página inicial na lista de traduções e como criar as tradução do seu conteúdo.
Isso indicou uma área potencial para aprimoramento. Vimos uma oportunidade de facilitar um processo de integração mais tranquilo e um gerenciamento de projetos mais eficiente. No entanto, faltou-nos uma solução concreta naquele momento.
O resultado, como você deve ter imaginado, foi a introdução do recurso de Gerenciamento de URLs. Ele permite que os usuários escaneiem os URLs de seus sites e gerem seu conteúdo traduzido por meio do Painel ConveyThis, de forma rápida e eficaz.
Recentemente, esse recurso foi realocado da Lista de tradução para uma nova página de gerenciamento de tradução baseada em URL, mais adaptável e poderosa. Agora, acreditamos que é hora de revelar a história por trás do início desse recurso.
Adotando Golang: ConveyThis' Jornada Rumo a Serviços de Tradução Aprimorados
O início do bloqueio de 2020 devido à pandemia me ofereceu a chance de finalmente aprender a linguagem de programação Golang, que havia sido deixada de lado devido a restrições de tempo.
Desenvolvido pelo Google, o Golang ou Go vem ganhando popularidade nos últimos anos. Uma linguagem de programação compilada estaticamente, Golang foi projetada para permitir que os desenvolvedores criem código eficiente, confiável e simultâneo. Sua simplicidade suporta a escrita e manutenção de programas extensos e complicados sem sacrificar a velocidade.
Ao ponderar um possível projeto paralelo para me familiarizar com Golang, um rastreador web me veio à mente. Ele atendia aos critérios mencionados e potencialmente oferecia uma solução para usuários do ConveyThis. Um rastreador web ou "bot" é um programa que visita um site para extrair dados.
Para ConveyThis, nosso objetivo era desenvolver uma ferramenta para que os usuários pudessem escanear seus sites e recuperar todos os URLs. Além disso, queríamos agilizar o processo de geração de traduções. Atualmente, os usuários precisam visitar seus sites em um idioma traduzido para gerá-las, uma tarefa que se torna desafiadora para sites grandes e multilíngues.
Embora o protótipo inicial fosse simples – um programa que recebe uma URL como entrada e começa a rastrear o site – ele era rápido e eficaz. Alex, ConveyThis’ CTO, viu o potencial desta solução e deu sinal verde para pesquisa e desenvolvimento para refinar o conceito e contemplar como hospedar o futuro serviço de produção.
Navegando na tendência sem servidor com Go e ConveyThis
No processo de finalização do bot rastreador da web, nos deparamos com as nuances de diferentes CMS e integrações. A questão então surgiu – como podemos apresentar melhor o bot aos nossos usuários?
Inicialmente, consideramos a abordagem testada e comprovada de usar a AWS com uma interface de servidor web. No entanto, vários problemas potenciais surgiram. Tínhamos incerteza sobre a carga do servidor, o uso simultâneo por vários usuários e nossa falta de experiência com a hospedagem do programa Go.
Isso nos levou a considerar um cenário de hospedagem sem servidor. Isso oferecia benefícios como gerenciamento de infraestrutura pelo provedor e escalabilidade inerente, tornando-se uma solução ideal para ConveyThis. Isso significava que não precisávamos nos preocupar com a capacidade do servidor, já que cada solicitação operaria em seu próprio contêiner isolado.
No entanto, em 2020, a computação sem servidor vinha com um limite de 5 minutos. Isso provou ser um problema para nosso bot, que poderia ser necessário para rastrear grandes sites de comércio eletrônico com várias páginas. Felizmente, no início de 2020, a AWS ampliou o limite para 15 minutos, embora habilitar esse recurso tenha se mostrado uma tarefa desafiadora. Por fim, encontramos a solução acionando o código serverless com SQS – o serviço de enfileiramento de mensagens da AWS.
A jornada para comunicações interativas de bots em tempo real com ConveyThis
À medida que resolvemos o dilema de hospedagem, tivemos outro obstáculo a superar. Agora tínhamos um bot funcional, hospedado de maneira eficiente e escalável. A tarefa restante era retransmitir os dados gerados pelo bot para nossos usuários.
Visando a máxima interatividade, decidi pela comunicação em tempo real entre o bot e o painel ConveyThis. Embora o tempo real não seja um requisito para tal recurso, eu queria que nossos usuários recebessem feedback imediato assim que o bot começasse a funcionar.
Para isso, desenvolvemos um servidor websocket Node.js simples, hospedado em uma instância AWS EC2. Isso exigiu alguns ajustes no bot para comunicação com o servidor websocket e automatização da implantação. Após testes minuciosos, estávamos prontos para a transição para a produção.
O que começou como um projeto paralelo finalmente encontrou seu lugar no painel. Através dos desafios, ganhei conhecimento em Go e aprimorei minhas habilidades no ambiente AWS. Achei o Go particularmente benéfico para tarefas de rede, programação cooperativa e computação sem servidor, devido ao baixo consumo de memória.
Temos planos para o futuro, pois o bot traz novas oportunidades. Pretendemos reescrever nossa ferramenta de contagem de palavras para melhor eficiência e, potencialmente, usá-la para aquecimento de cache. Espero que você tenha gostado desta prévia do mundo tecnológico do ConveyThis tanto quanto eu gostei de compartilhá-la.
Resuma esta postagem com:
Pronto para Começar?
A tradução, muito mais do que apenas conhecer idiomas, é um processo complexo.
Seguindo nossas dicas e usando ConveyThis, suas páginas traduzidas repercutirão em seu público, parecendo nativas do idioma de destino.
Embora exija esforço, o resultado é gratificante. Se você estiver traduzindo um site, ConveyThis pode economizar horas com tradução automática automatizada.
Experimente ConveyThis gratuitamente por 3 dias!
CONVEYTHIS