Welche Techniken können Sie verwenden, um Algorithmen für maschinelles Lernen zu entwerfen, die robust gegenüber Ausreißern sind?

1 Identifizieren von Ausreißern

Der erste Schritt besteht darin, Ausreißer in Ihren Daten zu identifizieren. Hierfür gibt es verschiedene Methoden, z. B. deskriptive Statistiken, Boxplots, Histogramme, Streudiagramme oder Z-Scores. Sie können auch Domänenwissen oder Geschäftsregeln verwenden, um zu definieren, was einen Ausreißer darstellt. Wenn Sie z. B. mit Kundendaten arbeiten, können Sie Werte, die außerhalb eines angemessenen Bereichs von Ausgaben, Häufigkeit oder Verhalten liegen, als Ausreißer betrachten.

3 Ersetzen von Ausreißern

Eine andere Technik besteht darin, Ausreißer durch repräsentativere Werte zu ersetzen. Dies kann mithilfe des Mittelwerts, des Medians, des Modus oder eines konstanten Werts Ihrer Daten erfolgen. Sie können z. B. Datenpunkte, die über dem 95. Perzentil oder unter dem 5. Perzentil liegen, durch den Medianwert ersetzen. Diese Technik kann die Auswirkungen von Ausreißern auf Ihre Algorithmen reduzieren, aber sie kann auch zu Verzerrungen führen und die Verteilung Ihrer Daten verzerren.

4 Transformieren von Ausreißern

Eine dritte Technik besteht darin, Ausreißer so zu transformieren, dass sie weniger extrem werden. Dies kann mithilfe mathematischer Funktionen wie Logarithmus, Quadratwurzel oder Potenztransformationen erfolgen. Sie können z. B. eine Protokolltransformation auf Ihre Daten anwenden, um die Schiefe und den Wertebereich zu reduzieren. Diese Technik kann Ihre Daten für einige Algorithmen besser geeignet machen, z. B. für lineare Regression oder k-Means-Clustering, aber sie kann auch die Interpretation und Bedeutung Ihrer Daten ändern.

5 Verwenden Sie robuste Algorithmen

Eine vierte Technik besteht darin, Algorithmen für maschinelles Lernen zu verwenden, die von Natur aus robust gegenüber Ausreißern sind. Dabei handelt es sich um Algorithmen, die nicht auf Annahmen über die Normalität oder Linearität Ihrer Daten beruhen oder robuste Schätzer oder Metriken verwenden. Sie können z. B. Entscheidungsbäume, Random Forests oder Support Vector Machines verwenden, die auf der Aufteilung oder Trennung Ihrer Daten basieren. Sie können auch die mittlere absolute Abweichung verwenden (WÜTEND) oder Interquartilsabstand (IQR) anstelle der Standardabweichung oder des mittleren absoluten Fehlers (MAE) anstelle des mittleren quadratischen Fehlers () als Maß für Variabilität oder Fehler.

6 Verwenden von Algorithmen zur Erkennung von Ausreißern

Eine fünfte Technik ist die Verwendung von Algorithmen für maschinelles Lernen, die speziell darauf ausgelegt sind, Ausreißer zu erkennen. Dabei handelt es sich um Algorithmen, die aus Ihren Daten lernen und die Datenpunkte identifizieren, die sich am meisten von den anderen unterscheiden. Sie können z. B. die Isolationsgesamtstruktur, den lokalen Ausreißerfaktor (LOF)oder eine Ein-Klassen-Support-Vektor-Maschine (OCSVM), die auf Isolations-, Dichte- oder Randmethoden basieren. Sie können dann die Ausgabe dieser Algorithmen verwenden, um Ihre Ausreißer zu kennzeichnen, zu entfernen oder zu analysieren.