Как мы создали ConveyThis Website Crawler
Технический взгляд на архитектуру и логику, лежащие в основе нашего автоматизированного механизма перевода.
Нет данных карты
Улучшение пользовательского опыта: ConveyThis Внедряет управление URL-адресами
Многие посетители ConveyThis предпочитают, чтобы все URL-адреса их веб-сайтов были правильно переведены, что может оказаться непростой задачей, особенно для крупных сайтов, переведенных на несколько языков.
Обратная связь с пользователями показала, что некоторые клиенты нашли начало своих первоначальных переводов веб-страниц проектов несколько ошеломляющим. Они часто задавались вопросом, почему они могли видеть только URL-адрес домашней страницы в списке переводов и как создавать преводы своего контента.
Это указывало на потенциальную область для улучшения. Мы увидели возможность упростить процесс адаптации и повысить эффективность управления проектами. Однако в тот момент у нас не было конкретного решения.
Результатом, как вы, возможно, догадались, стало появление функции управления URL-адресами. Она позволяет пользователям быстро и эффективно сканировать URL-адреса своих веб-сайтов и генерировать переведённый контент через панель управления ConveyThis.
Недавно эта функция была перемещена из списка переводов на новую, более адаптируемую и мощную страницу управления переводами на основе URL. Теперь мы считаем, что пришло время раскрыть историю создания этой функции.
Внедрение Golang: ConveyThis' на пути к улучшению услуг перевода
Начало карантина 2020 года из-за пандемии дало мне возможность наконец-то выучить язык программирования Golang, который был отложен из-за нехватки времени.
Разработанный Google, Golang или Go в последние годы набирает популярность. Статически компилируемый язык программирования, Golang был разработан, чтобы позволить разработчикам создавать эффективный, надежный и параллельный код. Его простота позволяет писать и поддерживать обширные и сложные программы без ущерба для скорости.
Размышляя о потенциальном стороннем проекте для знакомства с Golang, я вспомнил о веб-сканере. Он соответствовал указанным критериям и потенциально мог бы стать решением для пользователей ConveyThis. Веб-сканер, или «бот», — это программа, которая посещает веб-сайт для извлечения данных.
Для ConveyThis нашей целью было разработать инструмент, позволяющий пользователям сканировать свой сайт и получать все URL-адреса. Кроме того, мы хотели упростить процесс генерации переводов. В настоящее время для генерации переводов пользователям необходимо зайти на сайт на нужном языке, что становится непростой задачей для крупных многоязычных сайтов.
Хотя первоначальный прототип был простым – программа, которая принимает URL-адрес в качестве входных данных и начинает сканирование сайта – он был быстрым и эффективным. Алекс, ConveyThis’ технический директор, увидел потенциал этого решения и дал добро на исследования и разработки с целью доработки концепции и обдумывания того, как разместить будущую производственную услугу.
Навигация по бессерверной тенденции с помощью Go и ConveyThis
В процессе доработки бота веб-краулера мы столкнулись с нюансами различных CMS и интеграций. Тогда возник вопрос — как мы можем лучше всего представить нашим пользователям бота?
Изначально мы рассматривали проверенный подход использования AWS с интерфейсом веб-сервера. Однако возникло несколько потенциальных проблем. У нас была неопределенность в отношении нагрузки на сервер, одновременного использования несколькими пользователями и отсутствия опыта работы с хостингом программ Go.
Это побудило нас рассмотреть вариант бессерверного хостинга. Он предлагал такие преимущества, как управление инфраструктурой со стороны провайдера и встроенную масштабируемость, что делало его идеальным решением для ConveyThis. Это означало, что нам не нужно было беспокоиться о мощности сервера, поскольку каждый запрос выполнялся в отдельном изолированном контейнере.
Однако еще в 2020 году для бессерверных вычислений было установлено ограничение в 5 минут. Это оказалось проблемой для нашего бота, который потенциально может потребоваться для сканирования больших сайтов электронной коммерции с большим количеством страниц. К счастью, в начале 2020 года AWS увеличил ограничение до 15 минут, хотя включение этой функции оказалось сложной задачей. В конце концов мы нашли решение, запустив бессерверный код с помощью SQS — службы очередей сообщений AWS.
Путь к интерактивному общению с ботами в реальном времени с ConveyThis
Когда мы решили дилемму с хостингом, нам нужно было преодолеть еще одно препятствие. Теперь у нас был функциональный бот, размещенный эффективным и масштабируемым образом. Оставшейся задачей было передать сгенерированные ботом данные нашим пользователям.
Стремясь к максимальной интерактивности, я решил обеспечить связь в режиме реального времени между ботом и панелью управления ConveyThis. Хотя для такой функции не требуется работа в режиме реального времени, я хотел, чтобы наши пользователи получали немедленную обратную связь, как только бот начнет работать.
Для этого мы разработали простой сервер веб-сокетов Node.js, размещенный на экземпляре AWS EC2. Это потребовало некоторых настроек бота для связи с сервером веб-сокетов и автоматизации развертывания. После тщательного тестирования мы были готовы перейти к производству.
То, что начиналось как побочный проект, в конечном итоге нашло свое место в приборной панели. Благодаря испытаниям я приобрел знания в Go и отточил свои навыки в среде AWS. Я нашел Go особенно полезным для сетевых задач, совместного программирования и бессерверных вычислений, учитывая его малый объем памяти.
У нас есть планы на будущее, поскольку бот открывает новые возможности. Мы стремимся переписать наш инструмент подсчёта слов для повышения эффективности и, возможно, использовать его для разогрева кеша. Надеюсь, вам понравился этот краткий обзор технологического мира ConveyThis так же, как мне понравилось им поделиться.
Подведем итог этой публикации следующим образом:
Готовы начать?
Перевод — это гораздо более сложный процесс, чем просто знание языков.
Следуя нашим советам и используя ConveyThis, ваши переведенные страницы найдут отклик у вашей аудитории, чувствуя себя родными для целевого языка.
Хотя это требует усилий, результат приносит удовлетворение. Если вы переводите веб-сайт, ConveyThis может сэкономить вам часы с помощью автоматизированного машинного перевода.
Попробуйте ConveyThis бесплатно в течение 3 дней!
CONVEYTHIS