最小描述长度

最小描述长度

最小描述长度(Minimum Description Length,MDL)是计算机领域中的模型选择原理,由Jorma Rissanen于1978年提出。该原理以奥卡姆剃刀原则为基础,主张最优模型应使数据压缩编码长度与模型描述长度的总和最小 。

MDL的核心在于通过权衡模型复杂度与数据拟合度实现最佳压缩效果。描述长度由模型开销L(H)和假设下数据开销L(D|H)组成,采用局部最优替代全局最优的方法寻找最小总开销 。其数学基础与克拉夫特不等式相关联,通过限制代码类别解决柯氏复杂度不可计算的问题 。该方法被应用于特征选择、轨迹压缩、信源估计等领域,通过计算模型存储大小和预测错误数据大小实现属性评分 。

MDL理论起源于信息论与计算机学习理论的交叉研究 ,在深度学习中作为锐度量度理论依据被应用于泛化能力优化 。其衍生方法包括GDE-MDL信源估计方法、二阶段轨迹降维算法以及结合设计结构矩阵的模块优化方法 。联邦学习场景中,MDL可用于模型压缩与客户端选择 。

想要了解更多“最小描述长度”的信息,请点击:最小描述长度百科