Was sind die wichtigsten Datenqualitätsprüfungen für Machine-Learning-Algorithmen im Transportwesen?

1 Datenquellen

Die erste Datenqualitätsprüfung besteht darin, die Quellen der Daten zu überprüfen. Je nach Transportproblem können die Daten aus unterschiedlichen Quellen stammen, z. B. aus Sensoren, GPS, Kameras, Umfragen, Rechnungen oder externen Datenbanken. Jede Quelle kann ihr eigenes Format, ihre eigene Häufigkeit, ihre eigene Zuverlässigkeit und ihren eigenen Detaillierungsgrad haben. Daher ist es wichtig, die Glaubwürdigkeit, Validität und Kompatibilität der Datenquellen zu überprüfen und ihre Eigenschaften und Einschränkungen zu dokumentieren.

2 Datenbereinigung

Die zweite Datenqualitätsprüfung besteht darin, die Daten von Fehlern, Ausreißern, Duplikaten, fehlenden Werten oder irrelevanten Informationen zu befreien. Die Datenbereinigung ist ein Prozess der Identifizierung und Korrektur oder Entfernung von Daten, die die Analyse verzerren oder die Leistung der Algorithmen für maschinelles Lernen beeinträchtigen können. Zu den Datenbereinigungstechniken gehören das Filtern, Imputieren, Standardisieren, Normalisieren oder Transformieren der Daten. Die Datenbereinigung sollte sorgfältig und systematisch erfolgen, und die Ergebnisse sollten aufgezeichnet und überprüft werden.

3 Datenintegration

Die dritte Datenqualitätsprüfung besteht darin, die Daten aus unterschiedlichen Quellen und Formaten in eine einheitliche und konsistente Struktur zu integrieren. Datenintegration ist ein Prozess des Kombinierens und Ausrichtens von Daten, die unterschiedliche Attribute, Maßstäbe, Einheiten oder Konventionen aufweisen können. Zu den Datenintegrationstechniken gehören das Zusammenführen, Verknüpfen, Verketten oder Aggregieren der Daten. Die Datenintegration sollte unter Berücksichtigung der Geschäftslogik und der analytischen Ziele erfolgen, und die Ergebnisse sollten validiert und getestet werden.

4 Durchsuchen von Daten

Die vierte Datenqualitätsprüfung besteht darin, die Daten zu untersuchen, um ihre Verteilung, Muster, Beziehungen und Anomalien zu verstehen. Die Datenexploration ist ein Prozess der Visualisierung und Zusammenfassung der Daten mithilfe von deskriptiven Statistiken, Grafiken, Diagrammen oder Tabellen. Zu den Techniken zum Durchsuchen von Daten gehören das Zeichnen, Gruppieren, Sortieren oder Filtern der Daten. Die Datenexploration sollte durchgeführt werden, um Erkenntnisse zu gewinnen, Trends zu identifizieren, Probleme zu erkennen oder Hypothesen zu generieren.

5 Datenaufbereitung

Die fünfte Datenqualitätsprüfung besteht darin, die Daten für die Algorithmen des maschinellen Lernens aufzubereiten. Die Datenaufbereitung ist ein Prozess der Auswahl, Transformation, Codierung oder Skalierung der Daten, um sie für die ausgewählten Algorithmen geeignet zu machen. Zu den Datenvorbereitungstechniken gehören die Merkmalsauswahl, das Feature-Engineering, die Reduzierung der Dimensionalität oder die Datenaufteilung. Die Datenaufbereitung sollte erfolgen, um die Genauigkeit, Effizienz und Interpretierbarkeit der Algorithmen für maschinelles Lernen zu verbessern.

6 Datenauswertung

Die sechste und letzte Datenqualitätsprüfung besteht darin, die Daten mit Hilfe der Machine-Learning-Algorithmen auszuwerten. Die Datenauswertung ist ein Prozess, bei dem die Leistung der Algorithmen anhand verschiedener Metriken, Methoden oder Kriterien gemessen und verglichen wird. Zu den Datenauswertungstechniken gehören Genauigkeit, Präzision, Abruf, F1-Score, ROC-Kurve, AUC,, RMSE, MAE, R-Squared oder Kreuzvalidierung. Die Datenauswertung sollte durchgeführt werden, um die Validität, Zuverlässigkeit und Generalisierbarkeit der Algorithmen für maschinelles Lernen zu bewerten.