Speichertechnologie im Finanzhandel: moderne Flash-Speicher für ML-basierte Handelsentscheidungen

von Alex Davies, Technology Leader bei Jump Trading

Die meisten aktuell eingesetzten Speichertechnologien sind lediglich eine Neuauflage der 20 Jahre alten Shared-Nothing-Scale-Out-Architektur.”

Diese ist jedoch nicht für den effizienteren Flash-Speicher ausgelegt und lässt sich nur schwer über einige Petabytes hinaus zuverlässig skalieren. Auf Speicherseite sind daher neue Ansätze für sich schnell entwickelnde Datenanalyseanwendungen gefragt, um die Verarbeitung von Marktdaten sowie das Trainieren von großen KI-Datensätzen zu unterstützen. Unternehmen mit datenintensiven Workloads benötigen ein höheres Niveau hinsichtlich Skalierbarkeit, Ausfallsicherheit und Quality of Service (QoS) bei niedrigeren Gesamtbetriebskosten. Daher war es in den letzten Jahren dringend an der Zeit, jeden Aspekt des Designs von Speichersystemen zu hinterfragen.

Eine neue Storage-Architektur ist erforderlich

Erforderlich ist eine neue Storage-Architektur, die so konzipiert ist, dass sie Echtzeitleistung für jede Abfragelast bietet und gleichzeitig der kontinuierlichen Weiterentwicklung von Data-Science-Tools und dem unvermeidlichen Datenwachstum Rechnung trägt. Gängige Datei- und Objektspeichersysteme kommen an ihre Grenzen, die Leistung für die aktuellen Anwendungen zu akzeptablen Kosten zu skalieren. Sie sind zudem nicht für eine Skalierung über einige Petabytes hinaus ausgelegt. Die zunehmende Verbreitung von Ad-hoc- und interaktiven Abfrage-Engines bedeutet, dass Unternehmen eine vorhersehbare Echtzeitleistung benötigen, um Tausende von Abfragen gleichzeitig zu unterstützen. Abfrage-Engines müssen in der Lage sein, nach dem Zufallsprinzip riesige Datensätze zu lesen, was erhebliche I/O-Anforderungen mit sich bringt und eine Flash-Infrastruktur unverzichtbar macht.

Ein zeitgemäßer Ansatz sieht vor, das gesamte Marktdatenarchiv auf einer kostengünstigen, skalierbaren Flash-Speicherebene vorzuhalten, was Backtests und das Training aller Handelsmodelle in Echtzeit ermöglicht. Handelsabteilungen hatten schon immer Schwierigkeiten, die I/O-Leistung mit der Kapazität der Daten, die in ihren Marktdaten- und Analysearchiven gespeichert werden müssen, in Einklang zu bringen. Um dies zu erreichen, werden die Backtest-Daten oft auf eine Pyramide von Speichersystemen verteilt, die entweder für schnelle I/O oder große Kapazität ausgelegt sind. Andererseits bietet die Fülle an Marktdaten, die jedes Unternehmen vorhält, zusätzliche Möglichkeiten, neue Korrelationen zu finden und die Genauigkeit der Handelsmodelle zu verbessern. Quantitative Händler entwickeln die Fragen, die sie an ihre Daten stellen, ständig weiter. Somit wird es zunehmend unmöglich, Daten, die auf einem langsamen Archiv-Speicher gelagert wurden, neu zu verarbeiten oder neu zu analysieren.

Das Problem der Speicherengpässe ist mittlerweile so dringlich, dass Bewerber im Rahmen des Vorstellungsgesprächs die Frage stellen, mit welchem Speichertyp das Unternehmen arbeitet.”

Wettbewerbsvorteile durch geeignete Technologie

Wir, Jump Trading, sind eine in Chicago ansässige Handelsfirma. Als forschungsbasiertes Unternehmen haben wir uns dem Einsatz neuester Technologien verschrieben, um diese auf den Finanzmärkten rund um den Globus anzuwenden. Jump Trading betreibt über 20 Niederlassungen in den USA, Europa und Asien. Unser Erfolg hängt von unserer Fähigkeit ab, immer größere Datenmengen schnell für hochmoderne Anwendungen in der Forschung zur Verfügung zu stellen.

Jeden Tag entstehen auf den globalen Finanzmärkten unglaubliche Mengen neuer Daten, die wir nutzen müssen. Unser Erfolg hängt von der Fähigkeit ab, diese Daten unseren Forschern zur Verfügung zu stellen – und zwar schnell.”

In der wettbewerbsintensiven Welt des auf Algorithmen begründeten Handels können kleine Verbesserungen in der Genauigkeit der Modelle den Unterschied zwischen unerwarteten Gewinnen und katastrophalen Verlusten ausmachen. Die produktivsten Berechnungen bringen Wettbewerbsvorteile, und ein großer Teil dieser Produktivität hängt vom schnellen Zugriff auf riesige Datenmengen ab.

Entscheidung für neue Storage-Lösung

Autor Alex Davies, Jump Trading

Alex Davies ist “Technology Leader” bei Jump Trading (Webseite). Dort leitet er Technologieteams, die die innovativen Forschungs-, Handels- und Infrastrukturplattformen aufbauen und betreiben, die Jump einen Wettbewerbsvorteil auf den Finanzmärkten verschaffen, sowie kritische Teams wie Infosec und Corporate Infrastructure. Er ist verantwortlich für Cybersecurity & Datenschutz bei Jump. Davor war er Infrastruktur-Tech-Leader bei PartyGaming und Software-Ingenieur bei Google.

Flash-Speicher war bislang im großen Maßstab teuer und bei hohen Performanceansprüchen noch teurer. Mit Universal Storage von VAST Data haben wir nun eine ebenso leistungsfähige wie kosteneffiziente Lösung gefunden. Die Lösung kombiniert branchenführende Technologien zur Vereinfachung und Beschleunigung der Speicherung und des Zugriffs auf Daten in Echtzeit. Erreicht wird dies durch die Konsolidierung mehrerer Ebenen von Datenspeicher. Dies ermöglicht es uns, alle Daten auf einer einzigen schnellen, skalierbaren und kostengünstigen Flash-Ebene zu speichern. Damit ist Jump Trading nicht mehr wie zuvor mit komplexen Datenbewegungen oder langen Wartezeiten bei Anwendungen konfrontiert, wenn Daten zwischen verschiedenen Speicherebenen verschoben werden.

Die moderne Speicher-Lösung konsolidiert Anwendungen auf einem hoch skalierbaren All-Flash-Speichersystem, das die Leistungsanforderungen anspruchsvoller Workloads – wie in diesem Beispiel in der Finanzbranche – erfüllt. Der entscheidende Vorteil liegt in der Kombination aus kostengünstigem Flash-Speicher, hocheffizienter Datensicherung und branchenführender Datenreduzierung. Dies ermöglicht es, auch Volumina von mehreren Petabytes an All-Flash-Speicher kostengünstig zu nutzen. Die DASE-Architektur (Disaggregated, Shared-Everything) liefert dabei die erforderliche Skalierbarkeit und Leistung zur Unterstützung anspruchsvoller Workloads. Eine RDMA-fähige (Remote Direct Memory Access) Fabric mit hoher Bandbreite und niedriger Latenz verbindet durchgängig („End-to-End“) die Rechen- und Speicherkomponenten. Die Scale-Out-Lösung kombiniert dabei die Leistung eines parallelen RDMA-fähigen All-Flash-Dateisystems mit dem geringen Administrationsaufwand eines Scale-Out-NAS mit Standard-NFS-Protokollen.

Herkömmliche Festplatte überflüssig machen

Dieser auf Effizienz getrimmte Storage-Ansatz hat das Ziel, die herkömmliche Festplatte überflüssig zu machen. Unternehmen benötigen einen schnellen Zugriff auf die besonders großen Datenmengen in ihrem Rechenzentrum, um bei der Bearbeitung großer Sample-Datensätze ihre Anwendungen und Modelle genauer und effektiver zu machen. Wir haben uns für diese Lösung auch deshalb entschieden, weil sie die bisherigen Probleme lösen konnte, große Kapazitäten und zugleich hohe Performance zu erzielen.

Die Speicherplattform wird von Intel Optane SSDs und QLC 3D NAND angetrieben. Optane SSDs bieten Ausdauer und hohe Performance für Write-Prozesse, während QLC 3D NAND SSDs als erschwingliche NAND-Flash-Laufwerke hohe Kapazität für eine hervorragende Read-Performance liefern.”

Mehr Nachhaltigkeit verspricht zudem die Lebensdauer von zehn Jahren, verglichen mit dem bisherigen Industriestandard von drei bis fünf Jahren.

Als wir die Infrastruktur unseres Handelsarchivs auf die neue Speicherplattform umstellten, konnten wir schnell die positiven Auswirkungen feststellen. Die neue Speicherlösung leistet ihren Beitrag dazu, wie schnell die Mitarbeiter auf alle Elemente zugreifen können, wenn sie diese benötigen. Zugleich überzeugt die Kosteneffizienz, da sie in Relation zur Investition viele Daten auf einer Plattform speichern können. Dies zeigt, dass Flash nun in großem Maßstab erschwinglich wird für alle Arten von Daten und Datensätzen.

Schneller Datenzugriff nimmt Schlüsselrolle ein

Wir sind heute in der Lage, mehr Informationen in unsere Algorithmen einzuspeisen, um besonders fundierte Handelsentscheidungen treffen zu können.”

Handelsunternehmen sind jedoch bei weitem nicht der einzige Anwendungsfall für moderne Flash-Speicherlösungen. Immer mehr Unternehmen in Branchen, in denen es große Datenmengen mit hoher Geschwindigkeit zu analysieren gilt, greifen auf die Technologie zurück, um ihre Geschäfte voranzutreiben. Die Verbreitung von künstlicher Intelligenz (KI) und maschinellem Lernen (ML) in den Unternehmen schreitet voran und der schnelle Datenzugriff nimmt dabei eine Schlüsselrolle ein. Jetzt geht es darum, die Dateninfrastruktur so zu modernisieren, dass sie bereit für KI und ML ist und entsprechende Workloads in jeder Größenordnung bewältigen kann.Alex Davies, Jump Trading

 
Sie finden diesen Artikel im Internet auf der Website:
https://itfm.link/147589

• teilen 
• teilen 
• teilen 
• teilen 
• teilen 
• RSS-feed 
• E-Mail 
• drucken