- Erweiterung von h5bench um I/O-Zugriffsmuster in gängigen KI-Anwendungen
Djebarov, Dlyaver; Müller, Matthias S. (Thesis advisor); Neuwirth, Sarah (Thesis advisor); Liem, Radita Tapaning Hesti (Consultant)
Aachen : RWTH Aachen University (2024)
Bachelorarbeit
Bachelorarbeit, RWTH Aachen University, 2024
Kurzfassung
Die rasche Einführung von Künstlicher Intelligenz (KI) in der wissenschaftlichen Datenverarbeitung erfordert neue Werkzeuge zur effektiven Bewertung der I/O-Leistung. HDF5 ist eines der Datenformate, die nicht nur in HPC, sondern auch in modernen KI-Anwendungen häufig verwendet werden. Die bestehenden Benchmarks sind jedoch unzureichend, um die aktuellen Herausforderungen von KI-Workloads zu bewältigen. In diesem Beitrag wird eine Erweiterung des bestehenden HDF5-Benchmarks - h5bench - vorgestellt, indem die gleiche Arbeitslast aus dem MLPerf Storage - DLIO Benchmark integriert wird. Diese Erweiterung ermöglicht es Nutzern, KI-Workloads zu testen, ohne dass sie Bibliotheken für maschinelles Lernen installieren müssen, was die Komplexität reduziert und die Nutzbarkeit des Benchmarks verbessert. Die experimentelle Analyse zeigt, dass die Erweiterung in der Lage ist, die bestehenden I/O-Muster mit leicht anpassbaren Konfigurationen zu replizieren, um verschiedene Skalierbarkeitstests durchzuführen.
Einrichtungen
- IT Center [022000]
- Fachgruppe Informatik [120000]
- Lehrstuhl für Hochleistungsrechnen (Informatik 12) [123010]