了得網自然科學_核學習中的非光滑分析法

內容簡介

學習理論是在神經網絡學習、支持向量機、數據挖掘、模式識別、回歸和分類分析等具有學習機理的應用領域的基礎上發展起來的應用新領域。本書詳細敘述了正則化學習算法的由來，並應用非光滑分析法對正則化回歸學習算法、分類學習算法的收斂性進行了分析，給出了學習速度的概率估計。

本書可以作為學習理論的入門讀物，也適合高等院校高年級本科生、研究生、教師和相關科研人員參考。

前言
符號表
第1章 Hilbert空間基礎知識
1.1 實賦範線性空間
1.2 實Hilbert空間
1.3 中線公式
1.4 Hilbert空間中的正交繫
1.5 投影定理
1.6 全連續算子
1.7 自共軛線性算子
第2章再生核Hilbert空間基礎知識
2.1 Mercer核與再生核Hilbert空間
2.2 Mercer定理
2.3 再生核Hilbert空間中的正交基前言
符號表
第1章 Hilbert空間基礎知識
1.1 實賦範線性空間
1.2 實Hilbert空間
1.3 中線公式
1.4 Hilbert空間中的正交繫
1.5 投影定理
1.6 全連續算子
1.7 自共軛線性算子
第2章再生核Hilbert空間基礎知識
2.1 Mercer核與再生核Hilbert空間
2.2 Mercer定理
2.3 再生核Hilbert空間中的正交基
第3章凸函數與廣義梯度
3.1 凸集、凸錐及凸函數
3.2 廣義梯度及其性質
3.3 凸函數的次微分
3.4 凸規劃
第4章概率不等式
4.1 概率空間
4.2 隨機變量及分布
4.3 條件分布及條件數學期望
4.4 抽像空間中的隨機變量
4.5 Hilbert空間上的Hoeffding不等式
第5章正則化學習模型
5.1 正則化分類學習
5.2 正則化回歸學習算法
5.3 繫數正則化算法
第6章學習速度與K泛函
6.1 學習速度
6.2 學習速度與K泛函
6.3 學習速度的概率表示
第7章正則化回歸算法的收斂速度
7.1 小平方損失下範數正則化回歸算法的收斂速度
7.2 Lipschitz損失下正則化回歸算法的收斂速度
7.3 小平方損失下ι²繫數正則化回歸算法的收斂速度
第8章正則化分類算法的收斂速度
8.1 範數正則化分類算法收斂速度
8.2 繫數正則化分類算法收斂速度
8.3 基於折葉型損失的分類算法收斂速度
8.4 基於小平方損失的分類算法收斂速度
第9章幾個相關研究方向
9.1 半監督學習算法
9.2 在線學習算法
9.3 非獨立樣本學習算法
9.4 Shannon函數采樣點值重構學習
參考文獻
索引

在線試讀

第1 章Hilbert 空間基礎知識
本章簡要介紹學習理論中用到的內積空間及Hilbert 空間的基本知識.我們假
設讀者已經掌握線性空間以及線性映射的基本概念，也具有高等代數和空間解析
幾何的基本知識.
1 .1 實賦範線性空間
定義1 .1 設H 為實數域R 上的線性空間.如果存在某種運算使得每個x ∈
H 均有實數x 與之對應，並滿足以下範數三條公理：
（i）齊次性：對任意x ∈ H 及任意實數α 成立αx ＝ | α | x ；
（ii）三角不等式：對任意x ，y ∈ H 有x + y ≤ x + y ；
（iii）正定性：對任意x ∈ H 有x ≥ 0 且x ＝ 0 騁x ＝ 0 ，
則稱H ， ? 為實賦範線性空間.
例1 .1 記n 維Euclid 空間Rn ＝｛α ＝｛α1 ，… ，αn ｝：αi ∈ R ，i ＝ 1 ，2 ，… ，n .對
α ∈ Rn 賦以運算α 2 ＝鈔
n
i ＝ 1
α2i
1
2 ，則? 2 滿足範數的三條公理，因而（ Rn ， ? 2 ）
為實賦範線性空間.第1 章Hilbert 空間基礎知識

本章簡要介紹學習理論中用到的內積空間及Hilbert 空間的基本知識.我們假

設讀者已經掌握線性空間以及線性映射的基本概念，也具有高等代數和空間解析

幾何的基本知識.

1 .1 實賦範線性空間

定義1 .1 設H 為實數域R 上的線性空間.如果存在某種運算使得每個x ∈

H 均有實數x 與之對應，並滿足以下範數三條公理：

（i）齊次性：對任意x ∈ H 及任意實數α 成立αx ＝ | α | x ；

（ii）三角不等式：對任意x ，y ∈ H 有x + y ≤ x + y ；

（iii）正定性：對任意x ∈ H 有x ≥ 0 且x ＝ 0 騁x ＝ 0 ，

則稱H ， ? 為實賦範線性空間.

例1 .1 記n 維Euclid 空間Rn ＝｛α ＝｛α1 ，… ，αn ｝：αi ∈ R ，i ＝ 1 ，2 ，… ，n .對

α ∈ Rn 賦以運算α 2 ＝鈔

n

i ＝ 1

α2i

1

2 ，則? 2 滿足範數的三條公理，因而（ Rn ， ? 2 ）

為實賦範線性空間.

例1 .2 用C［ a ，b］表示閉區間a ，b 上所有連續實函數x（ t）所構成的線性

空間，並且對x（ t） ∈ C［ a ，b］定義

x C［ a ，b］＝ max t ∈ ［ a ，b］ x（ t），

則（ C a ，b ， ? ）為賦範線性空間.

例1 .3 設X 為緊距離空間， μ（ x）為在X 上定義的概率測度， L2 （ μ）＝

f ：f（ x）關於μ（ x）可測且f μ ＝ ∫X | f（ x） | 2 dμ（ x）

12

＜ + ∞ ，則L2 （ μ）在

範數? μ 下為賦範線性空間.

例1 .4 記l2 ＝ x ＝ xi

∞

i ＝ 1 ： x l2 ＝鈔

∞

i ＝ 1

| xi | 2

1

2 ＜ + ∞ ，則（ l2 ，

? l2 ）構成賦範線性空間.

1 .2 實Hilbert 空間

下面介紹實Hilbert 空間.為此，先給出內積空間的定義.

1 .2 .1 實內積空間

定義1 .2 設H 為一個實線性空間.如果運算?? ，??：H × H → R 滿

足

（i）對稱性：?x ，x'?＝ ?x' ，x?， x ，x' ∈ H ；

（ii）正定性：?x ，x?≥ 0 ，且?x ，x?＝ 0 騁x ＝ 0 ，x ∈ H ；

（iii）線性性：?αx + βy ，z?＝ α?x ，z?+ β?y ，z?， x ，y ，z ∈ H ，

則稱H ，?? ，??為實內積空間.

記x ＝ ?x ，x?，則容易證明H ， ? 為實賦範線性空間.稱x 為由內

積?x ，x'?所誘導的範數.

定理1 .1 設H ，?? ，??為內積空間， x ＝ ?x ，x?，則H ， ? 為賦範

線性空間.

為證明定理1 .1 .首先給出一個引理.

引理1 .1 設H 為實線性空間.雙線性運算?? ，??：H × H → R 滿足

（i） ?x ，x?≥ 0 ， x ∈ H ；

（ii）對任意x ，y ∈ H ，?x ，y?＝ ?y ，x?；

（iii）對於一切x ，y ，z ∈ H 及實數α 有

?αx + y ，z?＝ α?x ，z?+ ?y ，z?，

則有下列的Cauchy-Schwarz 不等式

| ?x ，y?| 2 ≤ ?x ，x??y ，y?. （1 .1）

等號成立當且僅當x 與y 線性相關.

證明取定x ，y ∈ H 及待定的實數α .由正定性有

0 ≤ ?x - αy ，x - αy?

＝ ?x ，x?- α?x ，y?- α?y ，x?+ α2 ?y ，y?.

取α ＝ ?x ，y?

?y ，y?（可設y ≠ 0 ，否則原式顯然成立）代入上式，整理後，即可得到

式（1 .1） .從證明過程可知，等號成立當且僅當x 與y 線性相關.

顯然， ? 滿足範數定義的（i）（ii） .由Cauchy-Schwarz 不等式（1 .1）知道對任

意x ，y ∈ H 有

x + y 2 ＝ ?x + y ，x + y?

＝ x 2 + ?y ，x?+ ?x ，y?+ y 2

≤ x 2 + 2 x × y + y 2 ＝（ x + y ）2 .

所以，

x + y ≤ x + y .

因此， ? 也滿足（iii） .這說明H ， ? 為賦範線性空間.

定理1 .2 實內積空間（ H ，?? ，??）中任意向量x 與x' 滿足關繫

x 2 - x' 2 ＝ 2?x - x' ，x'?+ x - x' 2 . （1 .2）

證明由等式

x + x' 2 ＝ x 2 + x' 2 + 2?x ，x'?（1 .3）

和

x - x' 2 ＝ x 2 + x' 2 - 2?x ，x'?（1 .4）

得到式（1 .2） .

1 .2 .2 實Hilbert 空間

我們稱完備的實內積空間為實Hilbert 空間，即，設? 為由內積?? ，??所誘

導的範數，點列設xn ∈ H 滿足

lim n ，m → + ∞ xn - xm ＝ 0 ，

則存在x ∈ H 使

lim n → + ∞ xn - x ＝ 0 .

在Euclid 空間Rn ， ? 2 中素a ＝｛a1 ，a2 ，… ，an ｝與b ＝｛ b1 ，b2 ，… ，

bn 的運算

?a ，b?2 ＝鈔

n

k ＝ 1

ak bk ，

則Rn ，?? ，??2 為Hilbert 空間.

在（ l2 ， ? l2 ）中素a ＝ al

∞

l ＝ 1 與b ＝ bl

∞

l ＝ 1 的運算為

?a ，b?l2 ＝鈔

∞

k ＝ 1

ak bk ，（1 .5）

則（ l2 ，?? ，??l2 ）為實Hilbert 空間.

設X 為緊距離空間，μ 為定義在X 上的概率測度， L2 （ μ）由例1 .3 所定義，定

義（ L2 （ μ）， ? μ ）中任意兩函數f 與g 之間的內積為

?f ，g?μ ＝ ∫X f （ x） g（ x）dμ（ x），（1 .6）

則（ L2 （ μ），?? ，??μ ）構成Hilbert 空間.

1 .3 中線公式

定理1 .1 說明內積空間一定為賦範線性空間.下面定理說明在什麼條件下賦

範線性空間構成內積空間.

定理1 .3 賦範空間H ， ? 為內積空間當且僅當範數? 滿足中線公式

x + y 2 + x - y 2 ＝ 2（ x 2 + y 2 ），x ，y ∈ H . （1 .7）

證明由式（1 .3）和式（1 .4）知道，當H ， ? 為內積空間時，式（1 .7）顯然

成立.反之，如果範數? 滿足式（1 .7） .對於任意x ，y ∈ H 定義運算

?x ，y?＝ 1

4 （ x + y 2 - x - y 2 ），（1 .8）

則運算?? ，??滿足內積定義的（i），（ii） .下面證明（iii）也滿足.對於任意x ，y ，z ∈ H ，

φ（ x ，y ，z）＝ 4［?x + y ，z?- ?x ，z?- ?y ，z?］

＝ x + y + z 2 - x + y - z 2 - x + z 2 + x - z 2

- y + z 2 + y - z 2 . （1 .9）

由式（1 .7）有

x + y ± z 2 ＝ 2 x ± z 2 + 2 y 2 - x ± z - y 2 . （1 .10）

將式（1 .10）代入式（1 .9）有

φ（ x ，y ，z）＝ - x + z - y 2 + x - z - y 2 + x + z 2 - x - z 2

- y + z 2 + y - z 2 . （1 .11）

將式（1 .9）和式（1 .11）相加有

φ（ x ，y ，z）＝ 1

2 （ y + z + x 2 + y + z - x 2 ）

- 1

2 （ y - z + x 2 + y - z - x 2 ） - y + z 2 + y - z 2

＝ y + z 2 + x 2 - y - z 2 - x 2 - y + z 2 + y - z 2

＝ 0 .

因此，

?x + y ，z?＝ ?x ，z?+ ?y ，z?.

類似地，對於任意實數c 及x ，y ∈ H ，令

ψ（ c）＝ ?cx ，y?- c?x ，y?.

由?x ，y?的定義有

ψ（0）＝ ψ（ - 1）＝ 0 .

因此，對於任意整數n 有

?nx ，y?＝ ?sgnn（ x + x + … + x），y?

＝ sgnn（?x ，y?+ … + ?x ，y?）

＝ | n | sgnn?x ，y?，

即ψ（ n）＝ 0 .於是對於任意整數n ，m（ m ≠ 0）有

?nmx ，y?＝ n?1m

x ，y?＝ nm

× m × ?1

m x ，y?＝ nm

?x ，y?，

即對於所有有理數r 有ψ（ r）＝ 0 .顯然，ψ（ c）關於c 為連續的，因此，對於一切實數

c 有ψ（ c）＝ 0 ，即?cx ，y?＝ c?x ，y?.所以， ?x ，y?為實線性空間H 上的內積，

H ，?? ，??為內積空間.

容易驗證，賦範空間（ C a ，b ， ? C ［ a ，b］）的範數? C ［ a ，b］不滿足中線公式.例

如，取

x（ t）＝ 1 ， y（ t）＝ t - a

b - a ，t ∈ ［ a ，b］，

則

x C ［ a ，b］＝ y C ［ a ，b］＝ 1

且

x + y C ［ a ，b］＝ 2 ，x - y C ［ a ，b］＝ 1 .

因而

x + y 2

C ［ a ，b］ + x - y 2

C ［ a ，b］＝ 5 ， 2（ x C ［ a ，b］ + y C ［ a ，b］）＝ 4 .

不滿足中線公式，所以，（ C［ a ，b］， ? C ［ a ，b］）不構成內積空間.

1 .4 Hilbert 空間中的正交繫

下面討論Hilbert 空間中的正交繫的性質.

1 .4 .1 正交繫

定義1 .3 設H 為Hilbert 空間，則有下列定義：

（i）對於x ，y ∈ H ，如果?x ，y?＝ 0 ，則稱x 與y 正交，記為x ⊥ y ；

（ii）設I 為指標集， xi i ∈ I 炒H .若i ≠ j 時x i ⊥ xj ，則稱xi i ∈ I 為H 中的

正交繫.進一步，如果對於任意i ∈ I 有xi ＝ 1 ，則稱xi i ∈ I 為規範正交繫；

（iii）對於A ，B 炒H ，約定A ⊥ B 騁橙a ∈ A ，橙b ∈ B ，有a ⊥ b ；對於橙a ∈

A ， x ⊥ a 騁x ⊥ A ； A⊥ ＝ x ∈ H ：x ⊥ A ， A ⊥ 稱為A 的正交補.

1 .4 .2 規範正交基

對於xl l ∈ I 炒H ，用span｛ xl ｝表示xl l ∈ I 中所有素的線性組合，

即span｛ xl ｝＝ x ＝鈔l

cl x l ：僅有有限個cl ≠ 0 .

設A 炒H 滿足A ≠ ?. A 的導集A' 定義為A' ＝｛ x' ：存在xn ∈ A ，使xn ≠

x' 且xn → x'｝ .稱A ＝ A ∪ A' 為A 的閉包.

例如，記A ＝｛ xn ：x ∈ ［0 ，1］，n ＝ 1 ，2 ，… ｝，則span A 為在［0 ，1］上所定義的

所有多項式之全體.由多項式的稠密性知道span A ＝ C［0 ，1］ .

設ei i ∈ N 炒H 為一組規範正交繫.如果對於任意x ∈ H 有

x ＝鈔

∞

i ＝ 1

?x ，ei ?ei ，

則稱ei i ∈ N 炒H 為H 中的規範正交基.有下面的定理.

定理1 .4 設ei ，i ∈ N 為Hilbert 空間（ H ，?? ，??）內的規範正交繫，則下

列條件互相等價：

（i） ei i ∈ N 為Hilbert 空間（ H ，?? ，??）內的規範正交基，即對每個x ∈ H 有

Fourier 展開式

x ＝鈔

∞

i ＝ 1

?x ，ei ?ei ，（1 .12）

其中?x ，ei ?稱為x 關於ei i ∈ N 的Fourier 繫數.

（ii） span ei i ∈ N ＝ H ；

（iii） ei i ∈ N 為H 中極大正交繫，即，如果x ⊥ ei ，i ＝ 1 ，2 ，3 ，… ，則x ＝ 0 ；

（iv）對於橙x ∈ H ，存在Parseval 恆等式

x 2 ＝鈔

∞

i ＝ 1

?x ，ei ?2 . （1 .13）

證明（i）痴（ii） .顯然成立.

（ii）痴（iii） .因為span ei i ∈ N ＝ H .所以，存在｛ xn ｝炒H 使xn → x ，n → ∞ ，

且xn 為ei i ∈ N 的有限線性組合.因為， x ⊥ ei ，i ＝ 1 ，2 ，… .所以?x ，xn ?＝ 0 ，n ＝

1 ，2 ，… ，從而

x 2 ＝ lim n → ∞

?x ，xn ?＝ 0 ，

因此， x ＝ 0 .

（iii）痴（i） .設（iii）滿足.取x ∈ H 滿足x ⊥ ei ，i ＝ 1 ，2 ，… .記sn ＝鈔

n

i ＝ 1

＾xi ei .直

接計算得到

x 2 - sn - x 2 ＝ sn

2 ＝鈔

n

i ＝ 1

| ＾xi | 2 ，n ＝ 1 ，2 ，3 ，… . （1 .14）

因此，

鈔∞

i ＝ 1

| ＾xi | 2 ＝ lim n → ∞ sn

2 ≤ x 2 .

所以，級數鈔

∞

i ＝ 1

| ＾xi | 2 收斂.由此推出，當m ＞ n 時，

sm - sn ＝鈔n ＜ i ≤ m

＾x i ei

2 ＝鈔n ＜ i ≤ m

| ＾xi | 2 → 0 ，n ，m → + ∞ .

因此， sn 為Cauchy 序列.設sn → y（ n → ∞ ），則對於任意i ∈ N 有

?y - x ，ei ?＝ lim n → + ∞

?sn - x ，ei ?＝ lim n → + ∞ ?鈔

n

j ＝ 1

＾xj ej ，ei ?- ＾xi ＝ 0 .

由條件（iii）知道y - x ＝ 0 ，即sn → x ，n → ∞ .所以， x ＝鈔

∞

i ＝ 1

＾xi ei .由式（1 .14）

知道sn → x 騁sn

2 → x 2 .因此（i）騁（iv）成立.

如果ei i ∈ N 為Hilbert 空間（ H ，?? ，??）中的規範正交基，則對於任意x ，y ∈

H 有

商品搜索

商品分类

【醫學】

【各大出版社】