K-Nearest Neighbors (KNN) in Python: Eine einfache und effektive Methode zum maschinellen Lernen

Einführung

Im Bereich des maschinellen Lernens ist es unser Ziel, Algorithmen zu entwickeln, die Muster in Daten erkennen und diese Erkenntnisse nutzen können, um Vorhersagen zu treffen oder Entscheidungen zu treffen. Der K-Nearest-Neighbors-Algorithmus (KNN) ist ein solcher Algorithmus, der zu den einfachsten und dennoch effektivsten Lernmethoden gehört. Er basiert auf der Idee, dass Datenpunkte, die sich im Feature-Raum nahe beieinander befinden, ähnliche Eigenschaften haben und daher zur Klassifizierung oder Regression von neuen Datenpunkten verwendet werden können.

Der KNN-Algorithmus arbeitet, indem er die K nächsten Nachbarn eines neuen Datenpunkts in einem Trainingsdatensatz sucht. Die Klasse oder der Wert des neuen Datenpunkts wird dann basierend auf der Klasse oder dem Wert der meisten seiner K nächsten Nachbarn bestimmt. Der Wert von K ist ein Hyperparameter, der vom Benutzer festgelegt wird und einen großen Einfluss auf die Leistung des Algorithmus haben kann. Eine große K-Zahl führt zu einer weicheren Entscheidungsgrenze, während eine kleine K-Zahl zu einer genaueren aber möglicherweise überangepassten Entscheidungsgrenze führen kann.

. Was sind die Vorteile von KNN?

* Einfachheit: KNN ist ein einfach zu verstehendes und zu implementierendes Verfahren, was es zu einer guten Wahl für Anfänger im maschinellen Lernen macht.
* Vielseitigkeit: KNN kann sowohl für Klassifizierungs- als auch für Regressionsaufgaben verwendet werden.
* Nicht-parametrisch: KNN macht keine Annahmen über die Verteilung der Daten, was es zu einem robusten Algorithmus für verschiedene Datensätze macht.
* Intuitiv: Die Idee, ähnliche Datenpunkte zu betrachten, um Vorhersagen zu treffen, ist intuitiv und leicht zu verstehen.

. Was sind die Nachteile von KNN?

* Berechnungskosten: Die Suche nach den K nächsten Nachbarn kann für große Datensätze rechenintensiv sein.
* Anfälligkeit für das „Curse of Dimensionality“: Die Leistung von KNN nimmt mit zunehmender Anzahl von Dimensionen ab, da die Distanzmessung in hochdimensionalen Räumen weniger effektiv wird.
* Empfindlichkeit gegenüber Ausreißern: Ausreißer können einen erheblichen Einfluss auf die Ausgabe von KNN haben, da sie die Distanzmessung verzerren können.

Implementierung von KNN in Python

Python ist eine beliebte Programmiersprache für maschinelles Lernen, und verschiedene Bibliotheken bieten einfache Methoden zur Implementierung von KNN. Die Scikit-learn-Bibliothek ist eine der beliebtesten und bietet eine benutzerfreundliche Schnittstelle zum Erstellen und Ausführen von KNN-Modellen.

. Schritt 1: Importieren der notwendigen Bibliotheken

python
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score


. Schritt 2: Laden und Vorbereiten des Datensatzes

python
data = pd.read_csv('data.csv')

Ersetzen Sie 'data.csv' durch Ihren Datensatz

X = data.drop('target_variable', axis=1)

Ersetzen Sie 'target_variable' durch Ihre Zielvariable

y = data['target_variable']


. Schritt 3: Aufteilen des Datensatzes in Trainings- und Testdaten

python
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)


. Schritt 4: Erstellen und Trainieren des KNN-Modells

python
knn = KNeighborsClassifier(n_neighbors=5)

Hier können Sie den Wert von k einstellen

knn.fit(X_train, y_train)


. Schritt 5: Vorhersagen mit dem trainierten Modell treffen

python
y_pred = knn.predict(X_test)


. Schritt 6: Bewerten der Modellleistung

python
accuracy = accuracy_score(y_test, y_pred)
print(f'Genauigkeit: {accuracy}')


. KNN-Variationen

Während der Standard-KNN-Algorithmus relativ einfach ist, gibt es verschiedene Variationen, die die Leistung verbessern oder die Anpassung an bestimmte Datensätze verbessern können.

1. Weighted KNN: Bei dieser Variation werden die Beiträge der nächsten Nachbarn basierend auf ihrer Entfernung gewichtet. Nachbarn, die näher am neuen Datenpunkt liegen, erhalten ein höheres Gewicht.
2. Adaptive KNN: Diese Variante passt den Wert von K lokal an, basierend auf der Dichte der Datenpunkte in der Nachbarschaft des neuen Datenpunkts.
3. Radius-basierter KNN: Anstatt eine feste Anzahl von Nachbarn zu verwenden, betrachtet diese Variante alle Nachbarn innerhalb eines bestimmten Radius um den neuen Datenpunkt.

KNN-Anwendungen

KNN hat sich in verschiedenen Bereichen als effektiv erwiesen, darunter:

* Bilderkennung: Klassifizierung von Bildern basierend auf Ähnlichkeiten mit anderen Bildern in einer Trainingsmenge.
* Empfehlungsdienste: Empfehlungen für Produkte oder Dienste basierend auf dem Kaufverhalten oder den Präferenzen ähnlicher Benutzer.
* Finanzanalyse: Erkennung von Betrugstransaktionen durch die Analyse von Transaktionsmustern.
* Medizinische Diagnostik: Unterstützung bei der Diagnose von Krankheiten basierend auf Patientendaten.
* Textklassifizierung: Klassifizierung von Textdokumenten basierend auf ihrem Inhalt und Stil.

Schlussfolgerung

Der K-Nearest-Neighbors-Algorithmus ist ein leistungsstarkes und vielseitiges Werkzeug für maschinelles Lernen, das eine Vielzahl von Aufgaben bewältigen kann. Es ist ein ausgezeichneter Ausgangspunkt für Anfänger im maschinellen Lernen, da es einfach zu verstehen und zu implementieren ist. Obwohl KNN in einigen Fällen möglicherweise nicht so hochentwickelt ist wie andere Algorithmen, kann es in vielen Kontexten überraschend gute Ergebnisse liefern.

Die Wahl des richtigen K-Wertes und die Berücksichtigung von Faktoren wie dem Dimensionsfluch und der Anfälligkeit für Ausreißer sind entscheidend für die Optimierung der Leistung von KNN. Durch Anpassung des Algorithmus an die spezifischen Anforderungen einer Aufgabe und die Verwendung geeigneter Techniken zur Datenvorverarbeitung kann KNN zu einem wertvollen Werkzeug für die Lösung von Problemen im maschinellen Lernen werden.

FAQs

1. Was ist der beste Wert für K?
> Der beste Wert für K hängt von den spezifischen Daten ab. Es gibt keine allgemeingültige Antwort, und Sie müssen verschiedene Werte ausprobieren und denjenigen auswählen, der die beste Leistung für Ihre Aufgabe erzielt.

2. Wie kann ich die Leistung von KNN verbessern?
> Sie können die Leistung von KNN verbessern, indem Sie die Daten vorverarbeiten, verschiedene Distanzmetriken ausprobieren, den Wert von K optimieren und andere Variationen des KNN-Algorithmus ausprobieren.

3. Was ist der Unterschied zwischen KNN und logistischer Regression?
> KNN ist ein nicht-parametrisches Verfahren, während logistische Regression ein parametrisches Verfahren ist. KNN macht keine Annahmen über die Verteilung der Daten, während logistische Regression eine lineare Beziehung zwischen den Eingabevariablen und der Ausgabe annimmt.

4. Wann ist KNN eine gute Wahl für eine Aufgabe?
> KNN ist eine gute Wahl für Aufgaben mit einem relativ kleinen Datensatz, bei denen die Daten nicht stark nichtlinear sind und bei denen die Leistung nicht überempfindlich gegenüber der Wahl des K-Wertes ist.

5. Was ist der Dimensionsfluch in Bezug auf KNN?
> Der Dimensionsfluch bezieht sich auf das Phänomen, dass die Leistung von KNN mit zunehmender Anzahl von Dimensionen abnimmt. Dies liegt daran, dass die Distanzmessung in hochdimensionalen Räumen weniger effektiv wird und die Daten sparsamer werden.

6. Wie kann ich KNN für unüberwachtes Lernen verwenden?
> KNN kann auch für unüberwachtes Lernen verwendet werden, beispielsweise für Clusteranalyse. Anstatt die Klasse eines neuen Datenpunkts vorherzusagen, versucht KNN, Datenpunkte in Gruppen basierend auf ihrer Ähnlichkeit zu gruppieren.

7. Gibt es andere Algorithmen, die KNN ähneln?
> Ja, es gibt andere Algorithmen, die KNN ähneln, wie z. B. k-medoides Clustering und Support Vector Machines (SVMs).

8. Wie kann ich KNN in Python für Regression verwenden?
> Sie können KNN für Regression verwenden, indem Sie die KNeighborsRegressor-Klasse aus der scikit-learn-Bibliothek verwenden.

9. Kann KNN für Zeitreihendaten verwendet werden?
> Ja, KNN kann für Zeitreihendaten verwendet werden, indem die Zeit als zusätzliche Dimension in den Datensatz einbezogen wird.

10. Welche Bibliotheken gibt es neben Scikit-learn, um KNN in Python zu implementieren?
> Neben Scikit-learn können Sie KNN auch mit anderen Bibliotheken wie neighbors aus der scipy-Bibliothek oder kneighbors aus der sklearn.neighbors-Bibliothek implementieren.

Tags: KNN, K-Nearest-Neighbors, Machine Learning, Python, Scikit-learn, Klassifizierung, Regression, Algorithmus, Distanzmessung, Dimensionsfluch, Vorhersage, Datenanalyse, Algorithmen, Machine-Learning-Algorithmen, Mustererkennung, Datenwissenschaft, Data-Mining,

Links:
* Scikit-learn Dokumentation: KNeighborsClassifier
* Scikit-learn Dokumentation: KNeighborsRegressor
* Wikipedia: K-Nearest Neighbors Algorithm