摘要:现有的类属型数据子空间聚类方法大多基于特征间相互独立假设，未考虑属性间存在的线性或非线性相关性.提出一种类属型数据核子空间聚类方法.首先引入原作用于连续型数据的核函数将类属型数据投影到核空间，定义了核空间中特征加权的类属型数据相似性度量.其次，基于该度量推导了类属型数据核子空间聚类目标函数，并提出一种高效求解该目标函数的优化方法.最后，定义了一种类属型数据核子空间聚类算法.该算法不仅在非线性空间中考虑了属性间的关系，而且在聚类过程中赋予每个属性衡量其与簇类相关程度的特征权重，实现了类属型属性的嵌入式特征选择.还定义了一个聚类有效性指标，以评价类属型数据聚类结果的质量.在合成数据和实际数据集上的实验结果表明，与现有子空间聚类算法相比，核子空间聚类算法可以发掘类属型属性间的非线性关系，并有效提高了聚类结果的质量.

摘要:策略梯度作为一种能够有效解决连续空间决策问题的方法得到了广泛研究，但由于在策略估计过程中存在较大方差，因此，基于策略梯度的方法往往受到样本利用率低、收敛速度慢等限制.针对该问题，在行动者-评论家（actor-critic，简称AC）算法框架下，提出了真实在线增量式自然梯度AC（true online incremental natural actor-critic，简称TOINAC）算法.TOINAC算法采用优于传统梯度的自然梯度，在真实在线时间差分（true online time difference，简称TOTD）算法的基础上，提出了一种新型的前向观点，改进了自然梯度行动者-评论家算法.在评论家部分，利用TOTD算法高效性的特点来估计值函数；在行动者部分，引入一种新的前向观点来估计自然梯度，再利用资格迹将自然梯度估计变为在线估计，提高了自然梯度估计的准确性和算法的效率.将TOINAC算法与核方法以及正态策略分布相结合，解决了连续空间问题.最后，在平衡杆、Mountain Car以及Acrobot等连续问题上进行了仿真实验，验证了算法的有效性.

摘要:核方法是一类应用较为广泛的机器学习算法,已被应用于分类、聚类、回归和特征选择等方面.核函数的选择与参数优化一直是影响核方法效果的核心问题,从而推动了核度量标准,特别是普适性核度量标准的研究.对应用最为广泛的5种普适性核度量标准进行了分析与比较研究,包括KTA,EKTA,CKTA,FSM和KCSM.发现上述5种普适性度量标准的度量内容为特征空间中线性假设的平均间隔,与支持向量机最大化最小间隔的优化标准存在偏差.然后,使用模拟数据分析了上述标准的类别分布敏感性、线性平移敏感性、异方差数据敏感性,发现上述标准仅是核度量的充分非必要条件,好的核函数可能获得较低的度量值.最后,在9个UCI数据集和20Newsgroups数据集上比较了上述标准的度量效果,发现CKTA是度量效果最好的普适性核度量标准.

摘要:模型选择是支持向量学习的关键问题.已有模型选择方法采用嵌套的双层优化框架,内层执行支持向量学习,外层通过最小化泛化误差的估计进行模型选择.该框架过程复杂,计算效率低.简化传统的双层优化框架,提出一个支持向量学习的多参数同时调节方法,在同一优化过程中实现模型选择和学习器训练.首先,将支持向量学习中的参数和超参数合并为一个参数向量,利用序贯无约束极小化技术(sequential unconstrained minimization technique,简称SUMT)分别改写支持向量分类和回归的有约束优化问题,得到多参数同时调节模型的多元无约束形式定义;然后,证明多参数同时调节模型目标函数的局部Lipschitz连续性及水平集有界性.在此基础上,应用变尺度方法(variable metric method,简称VMM)设计并实现了多参数同时调节算法.进一步地,基于多参数同时调节模型的性质,证明了算法收敛性,对比分析了算法复杂性.最后,实验验证同时调节算法的收敛性,并实验对比同时调节算法的有效性.理论证明和实验分析表明,同时调节方法是一种坚实、高效的支持向量模型选择方法.

摘要:支撑向量数据域描述(support vector data description,简称SVDD)作为一种已经得到广泛应用的核方法,研究主要集中在其性能和效率的提高上,然而该算法优化问题最优解性质的理论性质却没有得到足够的关注.,首先把SVDD 定义的原始优化问题等价转化为一个凸约束二次优化问题,然后从理论上证明了其构建的超球具有唯一性,然而超球半径在一定条件下却存在不唯一性,并且给出了半径存在不唯一性的充分必要条件.还从优化问题的角度分析了超球的圆心和半径性质,并且给出了SVDD 算法中在根据优化问题最优解构建超球半唯一情况下计算超球半径的方法.完善了该算法的理论和方法体系,从而为其更深入的研究和应用奠定了理础.

摘要:文本自动分类是信息检索与数据挖掘领域的研究热点与核心技术,近年来得到了广泛的关注和快速的发展.提出了基于机器学习的文本分类技术所面临的互联网内容信息处理等复杂应用的挑战,从模型、算法和评测等方面对其研究进展进行综述评论.认为非线性、数据集偏斜、标注瓶颈、多层分类、算法的扩展性及Web页分类等问题是目前文本分类研究的关键问题,并讨论了这些问题可能采取的方法.最后对研究的方向进行了展望.

摘要:支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法,提出了实现回归支持向量机的一种改进的SMO(sequential minimal optimization)算法,给出了两变量子优化问题的解析解,设计了新的工作集选择方法和停止条件,仿真实例说明,所提出的SMO算法比原始SMO算法具有更快的运算速度.