基本定义：
无监督学习，“超完备基（over-complete bases）”
完备基 & 超完备基
PCA通过协方差矩阵奇异值分解求得完备基
超完备基
稀疏编码代价函数
第一项可解释为一个“重构项（reconstruction term）”，这一项迫使稀疏编码算法为输入向量提供一个高拟合度的线性表达式；
第二项即“稀疏惩罚项（sparsity penalty term）”，它使输入向量的表达式变得“稀疏”，也就是系数向量a变得稀疏；
常量 λ 是一个变换量，由它来控制这两项式子的相对重要性
稀疏性量度
（L0范式）
（L1正则化）
（对数形式）
训练
（1）训练对象：超完备基Φ（字典）和系数向量a
（2）关于系数向量a的优化：
使用 L1 范式作为稀疏惩罚函数，对 a(j)i的学习过程就简化为求解“由 L1 范式正则化的最小二乘法问题”，这个问题函数在域 a(j)i内为凸，已经有很多技术方法来解决这个问题。 使用对数形式的稀疏惩罚函数，则可以采用基于梯度算法的方法，如共轭梯度法。
（3）关于字典Φ的优化：
使用 L2 范式约束来学习基向量，同样可以简化为一个带有二次约束的最小二乘问题，其问题函数在域 Φ 内也为凸。
