●譯者序
前言
練習說明
第1章 整體情況
1.1 為什麼機器需要學習
1.1.1 學習任務
1.1.2 環境的符號和子符號表示
1.1.3 生物和人工神經網絡
1.1.4 學習的協議
1.1.5 基於約束的學習
1.2 原則和實踐
1.2.1 歸納的令人困惑的本質
1.2.2 學習原則
1.2.3 時間在學習過程中的作用
1.2.4 注意力機制的聚焦
1.3 實踐經驗
1.3.1 度量實驗的成功
1.3.2 手寫字符識別
1.3.3 建立機器學習實驗
1.3.4 試驗和實驗備注
1.4 機器學習面臨的挑戰
1.4.1 學習觀察
1.4.2 語言理解
1.4.3 生活在自己環境中的代理
1.5 注釋
第2章 學習原則
2.1 環境約束
2.1.1 損失函數與風險函數
2.1.2 約束引發的風險函數的病態
2.1.3 風險最小化
2.1.4 偏差——方差困境
2.2 統計學習
2.2.1 優選似然估計
2.2.2 貝葉斯推理
2.2.3 貝葉斯學習
2.2.4 圖形模式
2.2.5 頻率論和貝葉斯方法
2.3 基於信息的學習
2.3.1 一個啟發性的示例
2.3.2 優選熵原理
2.3.3 優選相互信息
2.4 簡約原則下的學習
2.4.1 簡約原則
2.4.2 最小描述長度
2.4.3 MDL與正則化
2.4.4 正則化的統計解釋
2.5 注釋
第3章 線性閾值機
3.1 線性機
3.1.1 正規方程
3.1.2 待定問題和廣義逆
3.1.3 嶺回歸
3.1.4 原始表示和對偶表示
3.2 包含的線性機
3.2.1 謂詞階數和表示性問題
3.2.2 線性可分示例的很優性
3.2.3 無法分離的線性可分
3.3 統計視圖
3.3.1 貝葉斯決策和線性判別分析
3.3.2 邏輯回歸
3.3.3 符合貝葉斯決策的獨立原則
3.3.4 統計框架中的LMS
3.4 算法問題
3.4.1 梯度下降
3.4.2 隨機梯度下降
3.4.3 感知機算法
3.4.4 復雜性問題
3.5 注釋
第4章 核方法
4.1 特征空間
4.1.1 多項式預處理
4.1.2 布爾富集
4.1.3 不變的特征匹配
4.1.4 高維空間中的線性可分性
4.2 優選邊際問題
4.2.1 線性可分下的分類
4.2.2 處理軟約束問題
4.2.3 回歸
4.3 核函數
4.3.1 相似性與核技巧
4.3.2 內核表征
4.3.3 再生核映射
4.3.4 內核類型
4.4 正則化
4.4.1 正則化的風險
4.4.2 在RKHS上的正則化
4.4.3 最小化正則化風險
4.4.4 正則化算子
4.5 注釋
第5章 深層結構
5.1 結構性問題
5.1.1 有向圖及前饋神經網絡
5.1.2 深層路徑
5.1.3 從深層結構到松弛結構
5.1.4 分類器、回歸器和自動編碼器
5.2 布爾函數的實現
5.2.1 “與或”門的典型實現
5.2.2 通用的“與非”實現
5.2.3 淺層與深層實現
5.2.4 基於LTU的實現和復雜性問題
5.3 實值函數實現
5.3.1 基於幾何的計算實現
5.3.2 通用近似
5.3.3 解空間及分離表面
5.3.4 深層網絡和表征問題
5.4 卷積網絡
5.4.1 內核、卷積和感受野
5.4.2 合並不變性
5.4.3 深度卷積網絡
5.5 前饋神經網絡上的學習
5.5.1 監督學習
5.5.2 反向傳播
5.5.3 符號微分以及自動求導法則
5.5.4 正則化問題
5.6 復雜度問題
5.6.1 關於局部最小值的問題
5.6.2 面臨飽和
5.6.3 復雜性與數值問題
5.7 注釋
第6章 約束下的學習與推理
6.1 約束機
6.1.1 學習和推理
6.1.2 約束環境的統一視圖
6.1.3 學習任務的函數表示
6.1.4 約束下的推理
6.2 環境中的邏輯約束
6.2.1 形式邏輯與推理的復雜度
6.2.2 含符號和子符號的環境
6.2.3 t-範數
6.2.4 ukasiewicz命題邏輯
6.3 擴散機
6.3.1 數據模型
6.3.2 時空環境中的擴散
6.3.3 循環神經網絡
6.4 算法問題
6.4.1 基於內容的逐點約束
6.4.2 輸入空間中的命題約束
6.4.3 線性約束的監督學習
6.4.4 擴散約束下的學習
6.5 終身學習代理
6.5.1 認知行為及時間流動
6.5.2 能量平衡
6.5.3 焦點關注、教學及主動學習
6.5.4 發展學習
6.6 注釋
第7章 結語
第8章 練習答案
附錄A 有限維的約束優化
附錄B 正則算子
附錄C 變分計算
附錄D 符號索引
參考文獻（在線）

本書從全新的視角詮釋了機器學習的基本模型和算法，重點討論了當前的兩項研究熱點——神經網絡和核方法。全書緊緊圍繞從環境約束中學習的概念，將符號知識庫作為約束集合，通過采用多值邏輯形式的思想，實現了約束方法與機器學習的深度融合。特別是對深度學習的講解，很好地呈現了本書中所遵循的基於約束的方法。此外，本書還提供不同難度等級的練習及參考答案，適合高等院校計算機相關專業的學生參考，也適合業界研究人員和技術人員閱讀。

(意大利)馬可·戈裡 著 謝寧//羅宇軒//杜雲飛 譯