KNN&DC&Grabcut

Author: JimmyHHua

README.md

@@ -153,4 +153,8 @@ code_111 | [KMeans Image Segmentation](python/code_111)   | ✔️
 code_112 | [KMeans Background Change](python/code_112)   | ✔️
 code_113 | [KMeans Extract Image Color Card](python/code_113)   | ✔️
 code_114 | [KNN Classification](python/code_114)   | ✔️
-code_115 | [KNN-Train Data Save and Load](python/code_115)   | ✔️
+code_115 | [KNN-Train Data Save and Load](python/code_115)   | ✔️
+code_116 | [Decision Tree Algorithm](python/code_116)   | ✔️
+code_117 | [Image Mean-shift Segmentation](python/code_117)   | ✔️
+code_118 | [Grabcut-Image Segmentation](python/code_118)   | ✔️
+code_119 | [Grabcut-Background Change](python/code_119)   | ✏️

README_CN.md

@@ -152,4 +152,8 @@ code_111 | [KMeans 图像分割](python/code_111)   | ✔️
 code_112 | [KMeans 图像替换](python/code_112)   | ✔️
 code_113 | [KMeans 图像色卡提取](python/code_113)   | ✔️
 code_114 | [KNN 分类模型](python/code_114)   | ✔️
-code_115 | [KNN 数据保存](python/code_115)   | ✔️
+code_115 | [KNN 数据保存](python/code_115)   | ✔️
+code_116 | [决策树算法](python/code_116)   | ✔️
+code_117 | [图像均值漂移分割](python/code_117)   | ✔️
+code_118 | [Grabcut-图像分割](python/code_118)   | ✔️
+code_119 | [Grabcut-背景替换](python/code_119)   | ✏️

python/code_116/README.md

@@ -0,0 +1,46 @@
+# Opencv 决策树算法
+
+ ✔️ OpenCV中机器学习模块的决策树算法分为两个类别：
+ 
+-  一个是随机森林(Random Trees)
+-  强化分类(Boosting Classification)
+
+Opencv的函数使用方法和前面的KNN一样，都是通过`cv2.ml` 创建。
+
+eg. 随机森林
+
+```python
+import numpy as np
+import cv2 as cv
+from sklearn import metrics
+
+# 读取数据
+img = cv.imread('../code_114/digits.png')
+gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
+cells = [np.hsplit(row,100) for row in np.vsplit(gray,50)]
+x = np.array(cells)
+print('data loading...')
+
+# 创建训练与测试数据
+train = x[:,:50].reshape(-1,400).astype(np.float32)
+test = x[:,50:100].reshape(-1,400).astype(np.float32)
+k = np.arange(10)
+train_labels = np.repeat(k,250)[:,np.newaxis]
+test_labels = train_labels.copy()
+
+# 训练随机树
+dt = cv.ml.RTrees_create()
+dt.train(train, cv.ml.ROW_SAMPLE, train_labels)
+retval, results = dt.predict(test)
+
+# 计算准确率
+matches = results==test_labels
+correct = np.count_nonzero(matches)
+accuracy = correct*100.0/results.size
+print('acc is : ', accuracy)
+```
+输出：
+```
+data loading...
+acc is :  83.72
+```

python/code_116/opencv_116.py

@@ -0,0 +1,28 @@
+import numpy as np
+import cv2 as cv
+from sklearn import metrics
+
+# 读取数据
+img = cv.imread('../code_114/digits.png')
+gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
+cells = [np.hsplit(row,100) for row in np.vsplit(gray,50)]
+x = np.array(cells)
+print('data loading...')
+
+# 创建训练与测试数据
+train = x[:,:50].reshape(-1,400).astype(np.float32)
+test = x[:,50:100].reshape(-1,400).astype(np.float32)
+k = np.arange(10)
+train_labels = np.repeat(k,250)[:,np.newaxis]
+test_labels = train_labels.copy()
+
+# 训练随机树
+dt = cv.ml.RTrees_create()
+dt.train(train, cv.ml.ROW_SAMPLE, train_labels)
+retval, results = dt.predict(test)
+
+# 计算准确率
+matches = results==test_labels
+correct = np.count_nonzero(matches)
+accuracy = correct*100.0/results.size
+print('acc is : ', accuracy)

python/code_117/README.md

@@ -0,0 +1,40 @@
+# 图像均值漂移
+
+## 概述
+
+✔️ MeanShfit 均值漂移算法是一种通用的聚类算法，通常可以实现彩色图像分割。
+
+**基本原理**
+
+✔️ 对于给定的一定数量样本，任选其中一个样本，以该样本为中心点划定一个圆形区域，求取该圆形区域内样本的质心，即密度最大处的点，再以该点为中心继续执行上述迭代过程，直至最终收敛。
+
+**彩色图像分割**
+
+✔️ 均值迁移可以不断分割找到空间颜色分布的峰值，然后根据峰值进行相似度合并，解决过度分割问题，得到最终的分割图像，对于图像多维度数据颜色值(RGB)与空间位置(x,y)，所以需要两个窗口半径，一个是空间半径、另外一个是颜色半径，经过均值漂移窗口的所有的像素点会具有相同的像素值。
+
+> 严格来说并不是图像的分割，而是图像在色彩层面的平滑滤波，它可以中和色彩分布相近的颜色，平滑色彩细节，侵蚀掉面积较小的颜色区域。
+
+## 函数
+
+```
+dst = cv.pyrMeanShiftFiltering(src, sp, sr, maxLevel, termcrit)
+```
+其中：
+- src --> 输入图像;
+- dst --> 输出结果;
+- sp --> 表示空间窗口大小;
+- sr --> 表示表示颜色空间;
+- maxLevel --> 表示金字塔层数，总层数为maxlevel+1;
+- termcrit --> 表示停止条件;
+
+## 代码示例
+
+```python
+import cv2 as cv
+import numpy as np
+
+src = cv.imread("master.jpg")
+dst = cv.pyrMeanShiftFiltering(src, 25, 40, None, 2)
+cv.imshow("result", np.hstack((src,dst)))
+```
+<img src=https://i.loli.net/2019/09/20/s9MjNbZPvnDhHeg.jpg width=350>

python/code_117/master.jpg

@@ -0,0 +1,9 @@
+import cv2 as cv
+import numpy as np
+
+src = cv.imread("master.jpg")
+dst = cv.pyrMeanShiftFiltering(src, 25, 40, None, 2)
+cv.imshow("result", np.hstack((src,dst)))
+cv.imwrite("result.jpg", np.hstack((src,dst)))
+cv.waitKey(0)
+cv.destroyAllWindows()

python/code_117/opencv_117.py

@@ -0,0 +1,96 @@
+# Grabcut图像分割
+
+## 概述
+
+✔️ Grabcut是基于图割(graph cut)实现的图像分割算法，它需要用户输入一个bounding box作为分割目标位置，实现对目标与背景的分离/分割。
+
+✔️ Grabcut分割速度快，效果好，支持交互操作，因此在很多APP图像分割/背景虚化的软件中经常使用。
+
+**算法流程**
+
+- 在图片中定义含有（一个或多个）物体的矩形；
+- 矩形外的区域被自动认为是背景；
+- 对于用户定义的矩形区域，可用背景中数据来区分是前景还是背景；
+- 用高斯混合模型（GMM）来对被禁和前景见面，并将未定义的像素标记为可能的前景或背景；
+- 图像中的每一个像素都被看作通过通过虚拟变与周围像素连接，而每条边都有一个属于前景或背景的概率这基于它和周围像素颜色上的相似性；
+- 每一个像素（即算法中的节点）会与前一各前景或背景节点连接；
+- 在节点连接完成后，用图论中最大流最小割的方法来分割。
+
+## 函数
+
+```python
+cv2.grabCut(img, rect, mask,
+            bgdModel, fgdModel, 
+            iterCount, mode = GC_EVAL)
+```
+其中
+- img --> 输入的三通道图像；
+- mask --> 输入的单通道图像，初始化方式为GC_INIT_WITH_RECT表示ROI区域可以被初始化为：
+    - GC_BGD --> 定义为明显的背景像素 0
+    - GC_FGD --> 定义为明显的前景像素 1
+    - GC_PR_BGD --> 定义为可能的背景像素 2
+    - GC_PR_FGD --> 定义为可能的前景像素 3
+- rect --> 表示roi区域；
+- bgdModel --> 表示临时背景模型数组；
+- fgdModel --> 表示临时前景模型数组；
+- iterCount --> 表示图割算法迭代次数, 次数越多，效果越好；
+- mode --> 当使用用户提供的roi时候使用GC_INIT_WITH_RECT。
+
+## 示例代码
+
+```
+import cv2 as cv
+import numpy as np
+
+src = cv.imread("m1.jpg")
+src = cv.resize(src, (0,0), fx=0.5, fy=0.5)
+r = cv.selectROI('input', src, False)  # 返回 (x_min, y_min, w, h)
+
+# roi区域
+roi = src[int(r[1]):int(r[1]+r[3]), int(r[0]):int(r[0]+r[2])]
+
+# 原图mask
+mask = np.zeros(src.shape[:2], dtype=np.uint8)
+
+# 矩形roi
+rect = (int(r[0]), int(r[1]), int(r[2]), int(r[3])) # 包括前景的矩形，格式为(x,y,w,h)
+
+bgdmodel = np.zeros((1,65),np.float64) # bg模型的临时数组
+fgdmodel = np.zeros((1,65),np.float64) # fg模型的临时数组
+
+cv.grabCut(src,mask,rect,bgdmodel,fgdmodel, 11, mode=cv.GC_INIT_WITH_RECT)
+
+# 提取前景和可能的前景区域
+mask2 = np.where((mask==1) + (mask==3), 255, 0).astype('uint8')
+
+print(mask2.shape)
+
+result = cv.bitwise_and(src,src,mask=mask2)
+cv.imwrite('result.jpg', result)
+cv.imwrite('roi.jpg', roi)
+
+cv.imshow('roi', roi)
+cv.imshow("result", result)
+cv.waitKey(0)
+cv.destroyAllWindows()
+```
+
+输入：
+
+采用 selectROI, 可以在图中自己选定ROI区域：
+- 选定后，按enter 或则 Space 进行grabcut；
+- 重新选ROI，只需用鼠标重新选择即可；
+- 按 c 结束程序。
+
+1）显示原图：
+
+<img src=https://i.loli.net/2019/09/20/UyJQqzXd7bwfg1u.jpg>
+
+
+2）选择ROI：
+
+<img src=https://i.loli.net/2019/09/20/muQ1S62YtLfUjkT.jpg>
+
+3）输出结果:
+
+<img src= https://i.loli.net/2019/09/20/5F1w7pY6mPDWock.jpg>

python/code_118/README.md

@@ -0,0 +1,38 @@
+import cv2 as cv
+import numpy as np
+
+src = cv.imread("m1.jpg")
+src = cv.resize(src, (0,0), fx=0.5, fy=0.5)
+cv.imwrite('mm1.jpg', src)
+r = cv.selectROI('input', src, False)  # 返回 (x_min, y_min, w, h)
+
+# roi区域
+roi = src[int(r[1]):int(r[1]+r[3]), int(r[0]):int(r[0]+r[2])]
+img = src.copy()
+cv.rectangle(img, (int(r[0]), int(r[1])),(int(r[0])+int(r[2]), int(r[1])+ int(r[3])), (255, 0, 0), 2)
+cv.imwrite('img.jpg', img)
+
+# 原图mask
+mask = np.zeros(src.shape[:2], dtype=np.uint8)
+
+# 矩形roi
+rect = (int(r[0]), int(r[1]), int(r[2]), int(r[3])) # 包括前景的矩形，格式为(x,y,w,h)
+
+bgdmodel = np.zeros((1,65),np.float64) # bg模型的临时数组  13 * iterCount
+fgdmodel = np.zeros((1,65),np.float64) # fg模型的临时数组  13 * iterCount
+
+cv.grabCut(src,mask,rect,bgdmodel,fgdmodel, 11, mode=cv.GC_INIT_WITH_RECT)
+
+# 提取前景和可能的前景区域
+mask2 = np.where((mask==1) + (mask==3), 255, 0).astype('uint8')
+
+print(mask2.shape)
+
+result = cv.bitwise_and(src,src,mask=mask2)
+#cv.imwrite('result.jpg', result)
+#cv.imwrite('roi.jpg', roi)
+
+cv.imshow('roi', roi)
+cv.imshow("result", result)
+cv.waitKey(0)
+cv.destroyAllWindows()

python/code_118/m1.jpg

@@ -0,0 +1,90 @@
+# Grabcut应用背景替换
+
+## 概述
+
+✔️ 使用Grabcut实现图像对象提取，通过背景图像替换，实现图像合成，通过对背景图像高斯模糊实现背景虚化效果，完整的步骤如下：
+
+1. ROI区域选择；
+2. Grabcut对象分割；
+3. Mask生成，并转化为alpha值；
+4. 使用 `com = alpha*fg + (1-alpha)*bg` 公式融合图片。
+
+## 示例代码
+
+```python
+import cv2 as cv
+import numpy as np
+
+src = cv.imread("../code_118/m1.jpg")
+src = cv.resize(src, (0,0), fx=0.5, fy=0.5)
+r = cv.selectROI('input', src, False)  # 返回 (x_min, y_min, w, h)
+
+# roi区域
+roi = src[int(r[1]):int(r[1]+r[3]), int(r[0]):int(r[0]+r[2])]
+img = src.copy()
+cv.rectangle(img, (int(r[0]), int(r[1])),(int(r[0])+int(r[2]), int(r[1])+ int(r[3])), (255, 0, 0), 2)
+
+# 原图mask
+mask = np.zeros(src.shape[:2], dtype=np.uint8)
+
+# 矩形roi
+rect = (int(r[0]), int(r[1]), int(r[2]), int(r[3])) # 包括前景的矩形，格式为(x,y,w,h)
+
+bgdmodel = np.zeros((1,65),np.float64) # bg模型的临时数组  13 * iterCount
+fgdmodel = np.zeros((1,65),np.float64) # fg模型的临时数组  13 * iterCount
+
+cv.grabCut(src,mask,rect,bgdmodel,fgdmodel, 11, mode=cv.GC_INIT_WITH_RECT)
+
+# 提取前景和可能的前景区域
+mask2 = np.where((mask==1) + (mask==3), 255, 0).astype('uint8')
+background = cv.imread("flower.png")
+
+h, w, ch = src.shape
+background = cv.resize(background, (w, h))
+cv.imwrite("background.jpg", background)
+
+mask = np.zeros(src.shape[:2], dtype=np.uint8)
+bgdmodel = np.zeros((1,65),np.float64)
+fgdmodel = np.zeros((1,65),np.float64)
+
+cv.grabCut(src,mask,rect,bgdmodel,fgdmodel,5,mode=cv.GC_INIT_WITH_RECT)
+mask2 = np.where((mask==1) + (mask==3), 255, 0).astype('uint8')
+
+# 高斯模糊
+se = cv.getStructuringElement(cv.MORPH_RECT, (3, 3))
+cv.dilate(mask2, se, mask2)
+mask2 = cv.GaussianBlur(mask2, (5, 5), 0)
+cv.imshow('background-mask',mask2)
+cv.imwrite('background-mask.jpg',mask2)
+
+
+# 虚化背景
+background = cv.GaussianBlur(background, (0, 0), 15)
+mask2 = mask2/255.0
+a =  mask2[..., None]
+
+# 融合方法 com = a*fg + (1-a)*bg
+result = a* (src.astype(np.float32)) +(1 - a) * (background.astype(np.float32))
+
+
+cv.imshow("result", result.astype(np.uint8))
+cv.imwrite("result.jpg", result.astype(np.uint8))
+
+cv.waitKey(0)
+cv.destroyAllWindows()
+```
+1）选择ROI：
+
+<img src=https://i.loli.net/2019/09/20/muQ1S62YtLfUjkT.jpg>
+
+2）生成mask并高斯化：
+
+<img src=https://i.loli.net/2019/10/08/GsS7M9LNo4wtZCV.jpg>
+
+3）读取背景图：
+
+<img src=https://i.loli.net/2019/10/08/aIMcoHjm3KNbvtd.jpg>
+
+4）融合前景背景：
+
+<img src=https://i.loli.net/2019/10/08/PiucCeAOflsXJIj.jpg>