如何通俗易懂的解释稀疏表示与字典学习?

如何通俗易懂的解释稀疏表示与字典学习?

首先,信号处理主要是为了更好地揭示信号中的潜在信息,傅里叶变换和小波变换是常用的信号处理方法,但傅立叶变换是利用一系列正交的正弦基函数,小波变换则是利用一系列小波基函数对信号进行分解,二者往往需要大量的基函数来完整表征信号,不利于存储和运算。此外傅立叶变换和小波变换缺乏自适应性,如果信号特征与傅里叶变换中的正交基函数或小波变换中的小波基函数差别较大,信号就不能够获得有效表征。而信号的稀疏表征通过使用过完备字典,用尽量少的字典原子来表征信号,得到信号最稀疏的表征形式,能更好地反映信号蕴含的内在特征信息。稀疏系数求解和过完备字典构造是信号稀疏表征的两个关键问题。

其次,常用的稀疏系数求解算法包括松弛优化算法和贪婪算法两大类,其中松弛优化算法包括基追踪、框架算法和FOCUSS算法等,贪婪算法包括匹配追踪、正交匹配追踪和梯度追踪算法等。使用过完备字典求解稀疏系数时,字典原子即基函数只有与信号的内在结构接近,才能获得信号的稀疏表征,因此过完备字典的构造对信号的稀疏表征非常关键。过完备字典构造方法主要包括使用预定义的分析字典和使用字典学习算法两种。常用的预定义分析字典有Heaviside 字典、Gabor 字典、Dirac 字典、Fourier 字典和小波字典等,还可以组合这些分析字典得到组合字典。预定义字典虽然运算效率高,但和傅立叶变换及小波变换类似,缺乏自适应性。常用字典学习算法包括K-means、最大似然估计、最佳方向法、移不变字典学习算法和K-SVD算法等。字典学习算法虽然运算复杂度较高,但具有很强的自适应性,可以通过训练样本集训练获得最接近信号内在结构的字典原子,从而得到信号更稀疏的表征。