Inside ConveyThis Tech: Aufbau unseres Website-Crawlers
Machen Sie Ihre Website in 5 Minuten mehrsprachig
Keine Kreditkarte erforderlich
Verbesserung der Benutzererfahrung: ConveyThis Stellt URL-Management vor
Zahlreiche ConveyThis-Kunden möchten alle URLs ihrer Website ordnungsgemäß übersetzen lassen, was insbesondere bei umfangreichen Sites, die in mehrere Sprachen übersetzt werden, eine anspruchsvolle Aufgabe sein kann.
Das Feedback der Nutzer hat gezeigt, daß einige Kunden den Beginn ihrer ersten Übersetzung auf der Website Die Projekte sind etwas verwirrend. Sie fragten sich oft, warum sie nur die Homepage-URL in der Übersetzungsliste einsehen konnten und wie man Übersetzungen ihres Inhalts erstellen könne.
Dies deutete auf einen potenziellen Bereich für Verbesserungen hin. Wir sahen eine Chance, einen reibungsloseren Onboarding-Prozess und ein effizienteres Projektmanagement zu ermöglichen. Allerdings fehlte uns in diesem Moment eine konkrete Lösung.
Das Ergebnis war, wie Sie vielleicht schon vermutet haben, die Einführung der URL-Verwaltungsfunktion. Sie ermöglicht es Benutzern, die URLs ihrer Websites zu scannen und ihre übersetzten Inhalte schnell und effektiv über das ConveyThis-Dashboard zu generieren.
Vor kurzem wurde diese Funktion von der Übersetzungsliste auf eine neue, anpassungsfähigere und leistungsfähigere URL-basierte Übersetzungsverwaltungsseite verschoben. Jetzt ist es unserer Meinung nach an der Zeit, die Geschichte hinter der Entstehung dieser Funktion zu enthüllen.
Golang annehmen: ConveyThis‘ Reise zu verbesserten Übersetzungsdiensten
Der Beginn des pandemiebedingten Lockdowns 2020 bot mir die Chance, endlich die aus Zeitgründen außer Acht gelassene Programmiersprache Golang zu erlernen.
Golang oder Go wurde von Google entwickelt und erfreut sich in den letzten Jahren immer größerer Beliebtheit. Golang ist eine statisch kompilierte Programmiersprache und wurde entwickelt, um Entwicklern die Erstellung von effizientem, zuverlässigem und gleichzeitigem Code zu ermöglichen. Seine Einfachheit unterstützt das Schreiben und Verwalten umfangreicher und komplizierter Programme ohne Einbußen bei der Geschwindigkeit.
Als ich über ein mögliches Nebenprojekt nachdachte, um mich mit Golang vertraut zu machen, kam mir ein Webcrawler in den Sinn. Er erfüllte die genannten Kriterien und bot möglicherweise eine Lösung für ConveyThis-Benutzer. Ein Webcrawler oder „Bot“ ist ein Programm, das eine Website besucht, um Daten zu extrahieren.
Für ConveyThis wollten wir ein Tool entwickeln, mit dem Nutzer ihre Website scannen und alle URLs abrufen können. Darüber hinaus wollten wir den Prozess der Übersetzungsgenerierung optimieren. Derzeit müssen Nutzer ihre Website in der übersetzten Sprache aufrufen, um Übersetzungen zu generieren – eine Aufgabe, die bei großen, mehrsprachigen Websites eine gewaltige Herausforderung darstellt.
Obwohl der ursprüngliche Prototyp unkompliziert war – ein Programm, das eine URL als Eingabe nimmt und die Website zu krabbeln beginnt - es wurde schnell Und effektiv. Alex, ConveyThis CTO sah das Potenzial dieser Lösung und gab den Weg für Forschung Und Entwicklung zu verfeinern des Konzepts and darüber nachzudenken wie die zukünftige Produktionsservice Gastgeber.
Navigieren im Serverless-Trend mit Go und ConveyThis
Bei der Fertigstellung des Webcrawler-Bots mussten wir uns mit den Nuancen verschiedener CMS und Integrationen auseinandersetzen. Dann stellte sich die Frage: Wie können wir unseren Nutzern den Bot am besten präsentieren?
Zunächst haben wir über den bewährten Ansatz nachgedacht, AWS mit einer Webserver-Schnittstelle zu nutzen. Es traten jedoch mehrere potenzielle Probleme auf. Wir hatten Unsicherheiten hinsichtlich der Serverauslastung, der gleichzeitigen Nutzung durch mehrere Benutzer und unserer mangelnden Erfahrung mit dem Go-Programm-Hosting.
Dies führte uns dazu, ein serverloses Hosting-Szenario in Betracht zu ziehen. Dies bot Vorteile wie die Infrastrukturverwaltung durch den Anbieter und die inhärente Skalierbarkeit und war somit eine ideale Lösung für ConveyThis. Wir mussten uns keine Gedanken über die Serverkapazität machen, da jede Anfrage in einem eigenen isolierten Container ausgeführt wurde.
Allerdings gab es im Jahr 2020 für Serverless Computing ein 5-Minuten-Limit. Dies erwies sich als Problem für unseren Bot, der möglicherweise zum Crawlen großer E-Commerce-Websites mit zahlreichen Seiten erforderlich sein könnte. Glücklicherweise erweiterte AWS Anfang 2020 das Limit auf 15 Minuten, obwohl sich die Aktivierung dieser Funktion als schwierige Aufgabe erwies. Schließlich fanden wir die Lösung, indem wir den serverlosen Code mit SQS – dem AWS Message Queuing Service – auslösten.
Der Weg zur interaktiven Echtzeit-Bot-Kommunikation mit ConveyThis
Als wir das Hosting-Dilemma gelöst hatten, mussten wir eine weitere Hürde überwinden. Wir hatten jetzt einen funktionierenden Bot, der effizient und skalierbar gehostet wurde. Die verbleibende Aufgabe bestand darin, die vom Bot generierten Daten an unsere Benutzer weiterzuleiten.
Mit dem Ziel einer maximalen Interaktivität entschied ich mich für die Echtzeitkommunikation zwischen Bot und das ConveyThis Dashboard. Während Echtzeit keine Voraussetzung für eine solche Funktion ist, wollte ich dass unsere Benutzer sofort Feedback erhalten sobald der Bot mit dem Arbeiten begonnen hat.
Um dies zu erreichen, haben wir einen einfachen Node.js-Websocket-Server entwickelt, der auf einer AWS EC2-Instanz gehostet wird. Dies erforderte einige Optimierungen am Bot für die Kommunikation mit dem Websocket-Server und die Automatisierung der Bereitstellung. Nach gründlichen Tests waren wir bereit für den Übergang zur Produktion.
Was als Nebenprojekt begann, fand schließlich seinen Platz im Dashboard. Durch die Herausforderungen habe ich Kenntnisse in Go erworben und meine Fähigkeiten in der AWS-Umgebung verfeinert. Ich fand Go aufgrund seines geringen Speicherbedarfs besonders nützlich für Netzwerkaufgaben, kooperative Programmierung und serverloses Computing.
Wir haben Pläne für die Zukunft, da der Bot neue Möglichkeiten bietet. Wir möchten unser Tool zur Wortzählung für mehr Effizienz überarbeiten und es möglicherweise zum Cache-Warming nutzen. Ich hoffe, Ihnen hat dieser kleine Einblick in die Tech-Welt von ConveyThis genauso viel Spaß gemacht wie mir.
Fassen Sie diesen Beitrag mit:
Bereit loszulegen?
Übersetzen ist weit mehr als bloßes Sprachenlernen, es ist ein komplexer Prozess.
Wenn Sie unsere Tipps befolgen und ConveyThis verwenden, werden Ihre übersetzten Seiten bei Ihrer Zielgruppe Anklang finden und sich wie in der Zielsprache selbstverständlich anfühlen.
Obwohl es Aufwand erfordert, ist das Ergebnis lohnend. Wenn Sie eine Website übersetzen ConveyThis kann Ihnen mit automatisierter maschinellen Übersetzung Stunden sparen.1
Testen Sie ConveyThis 3 Tage lang kostenlos!
CONVEYTHIS