Case study
Skalierbare Cloud-Lösung für Genetikdaten
Ein Biotech-Unternehmen stieß an seine Rechenkapazitäts-Grenzen. Die Verarbeitung von Genetikdaten sollte vollautomatisiert und in die Cloud verlagert werden.
Wir entwickelten einen skalierbaren, cloud-nativen Service für komplexe Genom-Jobs.
Business Challenge
Unser Kunde ist ein innovatives Genomverarbeitungs-Startup und betreibt eine der weltweit größten DNA-Test- und Analyseplattformen. Das Unternehmen bietet Kunden eine Plattform zum Speichern, Nutzen und Verstehen ihrer Genetikdaten.
​
Die Plattform ermöglicht den sicheren Upload genetischer Daten jeder Größe direkt ins Nutzerkonto. Plus eine Genom-Engine und verschiedene APIs für Labor-Integration.
​
Das Problem: Mit steigenden Nutzerzahlen suchte der Kunde nach einem etablierten Digital Health Technology Partner für ein hochperformantes, elastisches Cloud-System zur Batch-Genomverarbeitung mit automatischer Skalierung je nach Bedarf.
​
Die größten Hürden
1
Bestehende Genom-Verarbeitung auf Labor-Equipment war langsam und ineffizient.
2
Der vorhandene Prozess war nur halbautomatisiert und brauchte manuelle Eingriffe.
3
Die bestehende Genomverarbeitungs-Umgebung war nicht HIPAA-konform
Unsere Lösung
Genomverarbeitung ist extrem rechenintensiv. Je nach Art der Verarbeitung kann ein Prozess viele Stunden oder sogar Tage an CPU-Zeit, Speicher und I/O-Operationen benötigen. Die Hauptidee unseres R&D-Projekts war:
​
Public Clouds nutzen - dort gibt es mehr Rechenpower, die sofort verfügbar ist, wenn Endnutzer analytische Verarbeitung benötigen.
​
Erweiterte Containerisierungs-Techniken mit feinabgestimmter Ressourcenkontrolle, damit sich die Rechenressourcen zwischen Jobs aufteilen lassen - ohne dass ein Job das ganze System blockiert.
​
Das Plexteq-Team entwickelte einen cloud-nativen und cloud-agnostischen Turnkey-Service für Genomverarbeitungs-Jobs.
​
Die Lösung ermöglichte nahtlose Integration in die bestehende Kunden-Infrastruktur über REST API. Das System war vollautomatisiert - im Gegensatz zur vorherigen halbautomatisierten Lösung mit manuellen Eingriffen durch laborgebundenes Equipment.
​
Das System umfasst mehrere Module:
​
-
Cloud Scheduler - Verwaltet die Zuteilung und das Recycling von Cloud-Ressourcen und stellt sicher, dass die Cloud-Kosten die täglich/wöchentlich/monatlich festgelegten Schwellenwerte nicht überschreiten
​
-
Cloud Controller - Sorgt dafür, dass Genomverarbeitungs-Jobs zuverlässig und in der richtigen Reihenfolge ausgeführt werden
​
-
Node Controller - Startet/stoppt Jobs auf Anfrage des Cloud Controllers, teilt Systemressourcen für die Job-Ausführung zu, wiederholt Jobs bei Fehlern und kontrolliert den Ausführungsprozess
Key Features
Cloud-agnostischer Service mit breiter Public Cloud Unterstützung
HIPAA-Compliance
Kostenbasierter Vorhersage- und Workload-Optimierer
Projekt Highlights
Industrie: Biotech, Healthcare
Expertise: Big Data, Cloud Services
Markt: Global
Teamgröße: 8 engineers
Zeitraum: 2016 – 2020
Technologien:
Java, Docker, LXC, Bash, Tomcat, PostgreSQL, Azure, Amazon, Google Cloud
Die entwickelte Lösung ermöglichte unserem Kunden:
​
-
Verarbeitung in Public Clouds und On-Premises-Umgebungen ausführen
-
Aufträge über REST API planen und versenden sowie manuell über Web-Interface verwalten
-
Ausführungsreihenfolge für komplexe Verarbeitungs-Pipelines managen
-
Prioritäten verwalten, um Aufträge zahlender Kunden schneller zu bearbeiten
-
Cloud-Ressourcennutzung überwachen und steuern
-
Cloud-Ausgaben planbar und vorhersagbar verwalten
-
Rechenressourcen für jeden Auftrag anpassen (CPU-Kerne und RAM)
-
Fehler melden, wenn die Verarbeitung fehlschlägt
-
Automatisch von Soft-Fehlern erholen und Verarbeitung ohne manuelle Eingriffe neu starten
Unser Projekterfolg
Geschwindigkeit entscheidet im Geschäftsleben oft über Erfolg oder Misserfolg. Unternehmen müssen mit dem gesellschaftlichen Fortschritt Schritt halten, um relevant zu bleiben.
Die Plexteq-Plattform entfesselt die Macht von Big Data in der Genomik und Bioinformatik. Unser System verarbeitet tausende parallele Genom-Pipelines und liefert Ergebnisse extrem schnell an Endnutzer und Forschungslabore.
Die Highlights:
​
1. Hochgeschwindigkeits-Genom-Pipelines vollautomatisiert
2. HIPAA-Compliance erreicht
3. 10x schnellere Ergebnisse - massive Verbesserung der User Experience
4. Echtzeit-Kostenkontrolle und Warnsystem für Cloud-Ausgaben implementiert
Mit dieser Lösung ist Plexteq bereit, unseren Kunden echten Mehrwert aus Big Data in Genomik und Bioinformatik zu liefern. Unser Team aus professionellen Big Data Engineers ist bestens positioniert für maßgeschneiderte Genom-Plattformen.
