主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2018-2019年专刊出版计划 微信服务介绍 最新一期:2018年第12期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
邵言剑,陶卿,姜纪远,周柏.一种求解强凸优化问题的最优随机算法.软件学报,2014,25(9):2160-2171
一种求解强凸优化问题的最优随机算法
Stochastic Algorithm with Optimal Convergence Rate for Strongly Convex Optimization Problems
投稿时间:2014-01-23  修订日期:2014-04-09
DOI:10.13328/j.cnki.jos.004633
中文关键词:  机器学习  随机优化  强凸问题  混合正则化项  COMID (composite objective mirror descent)
英文关键词:machine learning  stochastic optimization  strongly-convex  hybrid regularization  COMID (composite objective mirror descent)
基金项目:国家自然科学基金(61273296)
作者单位E-mail
邵言剑 中国人民解放军陆军军官学院 十一系, 安徽 合肥 230031 shy.jian@gmail.com 
陶卿 中国人民解放军陆军军官学院 十一系, 安徽 合肥 230031  
姜纪远 中国人民解放军陆军军官学院 十一系, 安徽 合肥 230031  
周柏 中国人民解放军陆军军官学院 十一系, 安徽 合肥 230031  
摘要点击次数: 2772
全文下载次数: 2698
中文摘要:
      随机梯度下降(SGD)算法是处理大规模数据的有效方法之一.黑箱方法SGD在强凸条件下能达到最优的O(1/T)收敛速率,但对于求解L1+L2正则化学习问题的结构优化算法,如COMID(composite objective mirror descent)仅具有O(lnT/T)的收敛速率.提出一种能够保证稀疏性基于COMID的加权算法,证明了其不仅具有O(1/T)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.
英文摘要:
      Stochastic gradient descent (SGD) is one of the efficient methods for dealing with large-scale data. Recent research shows that the black-box SGD method can reach an O(1/T) convergence rate for strongly-convex problems. However, for solving the regularized problem with L1 plus L2 terms, the convergence rate of the structural optimization method such as COMID (composite objective mirror descent) can only attain O(lnT/T). In this paper, a weighted algorithm based on COMID is presented, to keep the sparsity imposed by the L1 regularization term. A prove is provided to show that it achieves an O(1/T) convergence rate. Furthermore, the proposed scheme takes the advantage of computation on-the-fly so that the computational costs are reduced. The experimental results demonstrate the correctness of theoretic analysis and effectiveness of the proposed algorithm.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利