基于点的POMDP算法的预处理方法
DOI:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

Supported by the National Natural Science Foundation of China under Grant No.60503021 (国家自然科学基金); the High-Tech Research Program of Jiangsu Province of China under Grant No.BG2006027 (江苏省高技术研究计划)


Preprocessing for Point-Based Algorithms of POMDP
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    基于点的算法是部分可观察马尔可夫决策过程(partially observable Markov decision processes,简称POMDP)的一类近似算法.它们只在一个信念点集上进行Backup操作,避免了线性规划并使用了更少的中间变量,从而将计算瓶颈由选择向量转向了生成向量.但这类算法在生成向量时含有大量重复和无意义计算,针对于此,提出了基于点的POMDP算法的预处理方法(preprocessing method for point-based algorithms,简称PPBA).该方法对每个样本信念点作预处理,并且在生成α-向量之前首先计算出该选取哪个动作和哪些α-向量,从而消除了重复计算.PPBA还提出了基向量的概念,利用问题的稀疏性避免了无意义计算.通过在Perseus上的实验,表明PPBA很大地提高了算法的执行速度.

    Abstract:

    Point-Based algorithms are a class of approximation methods for partially observable Markov decision processes (POMDP). They do backup operators on a belief set only, so linear programming is avoided and fewer intermediate variables are needed, and the bottleneck turns from selecting vectors to generating vectors. But when generate vectors, there will be a great deal of repeated and meaningless computing. This paper will propose a preprocessing method for point-based algorithms (PPBA). This method preprocesses each sampled belief point, and before generating α-vectors it estimates which action and α-vectors to be selected first, in so doing repeated computing is eliminated. Base-vector is also defined in this paper, which cancels meaningless computing with sparseness of problem. Experiments on Perseus show that, PPBA accelerates the performance greatly.

    参考文献
    相似文献
    引证文献
引用本文

卞爱华,王崇骏,陈世福.基于点的POMDP算法的预处理方法.软件学报,2008,19(6):1309-1316

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2007-08-13
  • 最后修改日期:2007-10-12
  • 录用日期:
  • 在线发布日期:
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号