
第一章:核方法与SVM进阶1.1 从线性可分到线性不可分想象一下,你是一个垃圾分类机器人。最初,你遇到的垃圾都很容易分开——可回收的和不可回收的之间有一条明确的界限。这就是我们之前学的线性可分问题。但是有一天,你遇到了这样的数据:○●●●○ ○●●●○ ○●●●○ ○●●●○ ○●●●○嗯,看起来不太妙。圆圈在外边,方块在中间,这怎么用一条直线分开?别担心!核方法(Kernel Method)就是来解决这个问题的。1.2 核函数的思想让我们先理解一下核函数的核心思想。问题的关键在于:在低维空间线性不可分的数据,在高维空间可能是线性可分的!还是刚才那个例子,如果我们能把数据映射到三维空间呢?原始空间(二维): ○●●●○ ○●●●○ ○●●●○ ○●●●○ ○●●●○ 高维空间(三维): 假设我们映射到 (x, y, x² + y²) 这样圆圈和方块可能就在三维空间分开了!核函数的神奇之处在于:它不需要我们显式地计算高维映射,而是直接计算高维空间中的内积!这就是著名的"核技巧"(Kernel Trick)。1.3 常用核函数让我