K-means算法介紹

簡單來說，K-means算法是一種無監督算法，不需要事先對數據集打上標簽，即ground-truth，也可以對數據集進行分類，并且可以指定類別數目 牧師-村民模型

K-means 有一個著名的解釋：牧師—村民模型：

有四個牧師去郊區布道，一開始牧師們隨意選了幾個布道點，并且把這幾個布道點的情況公告給了郊區所有的村民，于是每個村民到離自己家最近的布道點去聽課。聽課之后，大家覺得距離太遠了，于是每個牧師統計了一下自己的課上所有的村民的地址，搬到了所有地址的中心地帶，并且在海報上更新了自己的布道點的位置。牧師每一次移動不可能離所有人都更近，有的人發現A牧師移動以后自己還不如去B牧師處聽課更近，于是每個村民又去了離自己最近的布道點……就這樣，牧師每個禮拜更新自己的位置，村民根據自己的情況選擇布道點，最終穩定了下來。

牧師的目的非常明顯，就是要讓每個來上自己課的村民走的路程最少

算法步驟 指定k個中心點 更新數據點所屬類別：計算每個數據點到這k個點的歐氏距離，距離最小即為這個數據點的類別 更新中心點坐標：對每一個類別的數據點求平均，平均值即為新的中心點位置偽代碼

獲取m個n維的數據隨即選取k個點作為初始中心點while keep_changing:for i in range(m):for j in range(k):計算每個點到center的距離判斷離哪個點更近for center in range(k):更新類別中心點的坐標

用Python實現K-means聚類算法

import numpy as npimport matplotlib.pyplot as pltimport sklearn.datasets as datasetsdef create_data(): X,y = datasets.make_blobs(n_samples=1000,n_features=2,centers=[[1,0],[5,4],[2,3],[10,8],[7,4]]) return X,ydef init_centers(data,k): m, n =data.shape # m 樣本個數，n特征個數 center_ids = np.random.choice(m,k) centers = data[center_ids] return centersdef cal_dist(ptA,ptB): return np.linalg.norm(ptA-ptB)def kmeans_process(data,k): centers = init_centers(data, k) m, n = data.shape keep_changing = True pred_y = np.zeros((m,)) while keep_changing:keep_changing = False# 計算剩余樣本所屬類別for i in range(m): min_distance = np.inf for center in range(k):distance = cal_dist(data[i,:],centers[center,:])if distance<min_distance: # 判斷離哪個更近 min_distance = distance idx = center # 類別換下 if pred_y[i] != idx: # 判斷是否發生了改變keep_changing = True pred_y[i] = idx# 更新類別中心點坐標for center in range(k): cluster_data = data[pred_y==center] centers[center,:] = np.mean(cluster_data, axis=0) # 求相同類別數據點的質心點print(centers) return centers, pred_yif __name__ == ’__main__’: X, y = create_data() centers , pred_y = kmeans_process(data=X, k=5) plt.scatter(X[:,0], X[:,1], s=3, c=pred_y) plt.scatter(centers[:,0], centers[:,1], s=10, c=’k’) plt.show()

效果圖

到此這篇關于Python實現K-means聚類算法并可視化生成動圖步驟詳解的文章就介紹到這了,更多相關Python可視化K-means聚類算法內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網！