Inside ConveyThis Tech: Aufbau unseres Website-Crawlers
Machen Sie Ihre Website in 5 Minuten mehrsprachig
Keine Kartendetails
Verbesserung der Benutzererfahrung: ConveyThis führt URL-Management ein
Zahlreiche ConveyThis-Kunden möchten alle URLs ihrer Website ordnungsgemäß übersetzen lassen, was insbesondere bei umfangreichen Sites, die in mehrere Sprachen übersetzt werden, eine anspruchsvolle Aufgabe sein kann.
Das Feedback unserer Nutzer hat gezeigt, dass einige Kunden den Beginn ihrer ersten Website-Übersetzungsprojekte etwas verwirrend fanden. Sie fragten sich oft, warum sie in der Übersetzungsliste nur die URL der Homepage sehen konnten und wie sie Übersetzungen ihrer Inhalte erstellen konnten.
Dies deutete auf einen potenziellen Bereich für Verbesserungen hin. Wir sahen eine Chance, einen reibungsloseren Onboarding-Prozess und ein effizienteres Projektmanagement zu ermöglichen. Allerdings fehlte uns in diesem Moment eine konkrete Lösung.
Das Ergebnis war, wie Sie vielleicht schon vermutet haben, die Einführung der URL-Verwaltungsfunktion. Sie ermöglicht es Benutzern, die URLs ihrer Websites zu scannen und ihre übersetzten Inhalte schnell und effektiv über das ConveyThis-Dashboard zu generieren.
Vor kurzem wurde diese Funktion von der Übersetzungsliste auf eine neue, anpassungsfähigere und leistungsfähigere URL-basierte Übersetzungsverwaltungsseite verschoben. Jetzt ist es unserer Meinung nach an der Zeit, die Geschichte hinter der Entstehung dieser Funktion zu enthüllen.
Golang annehmen: ConveyThis‘ Reise zu verbesserten Übersetzungsdiensten
Der Beginn des pandemiebedingten Lockdowns 2020 bot mir die Chance, endlich die aus Zeitgründen außer Acht gelassene Programmiersprache Golang zu erlernen.
Golang oder Go wurde von Google entwickelt und erfreut sich in den letzten Jahren immer größerer Beliebtheit. Golang ist eine statisch kompilierte Programmiersprache und wurde entwickelt, um Entwicklern die Erstellung von effizientem, zuverlässigem und gleichzeitigem Code zu ermöglichen. Seine Einfachheit unterstützt das Schreiben und Verwalten umfangreicher und komplizierter Programme ohne Einbußen bei der Geschwindigkeit.
Als ich über ein mögliches Nebenprojekt nachdachte, um mich mit Golang vertraut zu machen, kam mir ein Webcrawler in den Sinn. Er erfüllte die genannten Kriterien und bot möglicherweise eine Lösung für ConveyThis-Benutzer. Ein Webcrawler oder „Bot“ ist ein Programm, das eine Website besucht, um Daten zu extrahieren.
Für ConveyThis wollten wir ein Tool entwickeln, mit dem Nutzer ihre Website scannen und alle URLs abrufen können. Darüber hinaus wollten wir den Prozess der Übersetzungsgenerierung optimieren. Derzeit müssen Nutzer ihre Website in der übersetzten Sprache aufrufen, um Übersetzungen zu generieren – eine Aufgabe, die bei großen, mehrsprachigen Websites eine gewaltige Herausforderung darstellt.
Obwohl der erste Prototyp unkompliziert war – ein Programm, das eine URL als Eingabe verwendet und mit dem Crawlen der Site beginnt – war er schnell und effektiv. Alex, CTO von ConveyThis, erkannte das Potenzial dieser Lösung und gab grünes Licht für Forschung und Entwicklung, um das Konzept zu verfeinern und darüber nachzudenken, wie der zukünftige Produktionsdienst gehostet werden könnte.
Navigieren im Serverless-Trend mit Go und ConveyThis
Bei der Fertigstellung des Webcrawler-Bots mussten wir uns mit den Nuancen verschiedener CMS und Integrationen auseinandersetzen. Dann stellte sich die Frage: Wie können wir unseren Nutzern den Bot am besten präsentieren?
Zunächst haben wir über den bewährten Ansatz nachgedacht, AWS mit einer Webserver-Schnittstelle zu nutzen. Es traten jedoch mehrere potenzielle Probleme auf. Wir hatten Unsicherheiten hinsichtlich der Serverauslastung, der gleichzeitigen Nutzung durch mehrere Benutzer und unserer mangelnden Erfahrung mit dem Go-Programm-Hosting.
Dies führte uns dazu, ein serverloses Hosting-Szenario in Betracht zu ziehen. Dies bot Vorteile wie die Infrastrukturverwaltung durch den Anbieter und die inhärente Skalierbarkeit und war somit eine ideale Lösung für ConveyThis. Wir mussten uns keine Gedanken über die Serverkapazität machen, da jede Anfrage in einem eigenen isolierten Container ausgeführt wurde.
Allerdings gab es im Jahr 2020 für Serverless Computing ein 5-Minuten-Limit. Dies erwies sich als Problem für unseren Bot, der möglicherweise zum Crawlen großer E-Commerce-Websites mit zahlreichen Seiten erforderlich sein könnte. Glücklicherweise erweiterte AWS Anfang 2020 das Limit auf 15 Minuten, obwohl sich die Aktivierung dieser Funktion als schwierige Aufgabe erwies. Schließlich fanden wir die Lösung, indem wir den serverlosen Code mit SQS – dem AWS Message Queuing Service – auslösten.
Der Weg zur interaktiven Echtzeit-Bot-Kommunikation mit ConveyThis
Als wir das Hosting-Dilemma gelöst hatten, mussten wir eine weitere Hürde überwinden. Wir hatten jetzt einen funktionierenden Bot, der effizient und skalierbar gehostet wurde. Die verbleibende Aufgabe bestand darin, die vom Bot generierten Daten an unsere Benutzer weiterzuleiten.
Um maximale Interaktivität zu erreichen, entschied ich mich für eine Echtzeitkommunikation zwischen dem Bot und dem ConveyThis-Dashboard. Obwohl Echtzeit für eine solche Funktion keine Voraussetzung ist, wollte ich, dass unsere Benutzer sofort Feedback erhalten, sobald der Bot seine Arbeit aufnimmt.
Um dies zu erreichen, haben wir einen einfachen Node.js-Websocket-Server entwickelt, der auf einer AWS EC2-Instanz gehostet wird. Dies erforderte einige Optimierungen am Bot für die Kommunikation mit dem Websocket-Server und die Automatisierung der Bereitstellung. Nach gründlichen Tests waren wir bereit für den Übergang zur Produktion.
Was als Nebenprojekt begann, fand schließlich seinen Platz im Dashboard. Durch die Herausforderungen habe ich Kenntnisse in Go erworben und meine Fähigkeiten in der AWS-Umgebung verfeinert. Ich fand Go aufgrund seines geringen Speicherbedarfs besonders nützlich für Netzwerkaufgaben, kooperative Programmierung und serverloses Computing.
Wir haben Pläne für die Zukunft, da der Bot neue Möglichkeiten bietet. Wir möchten unser Tool zur Wortzählung für mehr Effizienz überarbeiten und es möglicherweise zum Cache-Warming nutzen. Ich hoffe, Ihnen hat dieser kleine Einblick in die Tech-Welt von ConveyThis genauso viel Spaß gemacht wie mir.
Fassen Sie diesen Beitrag mit:
Bereit loszulegen?
Übersetzen ist weit mehr als bloßes Sprachenlernen, es ist ein komplexer Prozess.
Wenn Sie unsere Tipps befolgen und ConveyThis verwenden, werden Ihre übersetzten Seiten bei Ihrem Publikum Anklang finden und sich wie in der Zielsprache anfühlen.
Es erfordert zwar Mühe, aber das Ergebnis ist lohnend. Wenn Sie eine Website übersetzen, kann Ihnen ConveyThis dank automatisierter maschineller Übersetzung Stunden sparen.
Testen Sie ConveyThis 3 Tage lang kostenlos!
CONVEYTHIS