基于一种条件熵距离惩罚的生成式对抗网络
作者:
作者单位:

作者简介:

谭宏卫(1983-),男,博士,讲师,CCF学生会员,主要研究领域为海量数据分析,深度学习.
王国栋(1990-),男,硕士,CCF学生会员,主要研究领域为知识图谱,表示学习.
周林勇(1987-),男,博士,主要研究领域为深度学习,图像识别.
张自力(1964-),男,博士,教授,博士生导师,CCF杰出会员,主要研究领域为海量数据分析,人工智能,多Agent系统,Bio-Inspired AI.

通讯作者:

张自力,E-mail:zhangzl@swu.edu.cn

中图分类号:

TP183

基金项目:

国家自然科学基金(61732019)


Generative Adversarial Networks Based on Penalty of Conditional Entropy Distance
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61732019)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    生成高质量的样本一直是生成式对抗网络(generative adversarial networks,简称GANs)领域的主要挑战之一.鉴于此,利用条件熵构建一种距离,并将此直接惩罚于GANs生成器目标函数,在尽可能保持熵不变的条件下,迫使生成分布逼近目标分布,从而大幅度地提高网络生成样本的质量.除此之外,还通过优化GANs的网络结构以及改变两个网络的初始化策略,以进一步提高GANs的训练效率.在多个数据集上的实验结果显示,所提出的算法显著提高了GANs生成样本的质量;尤其是在CIFAR10、STL10和CelebA数据集上,将最佳的FID值从20.70、16.15、4.65分别降低到14.02、12.83、3.22.

    Abstract:

    Generating high-quality samples is always one of the main challenges in generative adversarial networks (GANs) field. To this end, in this study, a GANs penalty algorithm is proposed, which leverages a constructed conditional entropy distance to penalize its generator. Under the condition of keeping the entropy invariant, the algorithm makes the generated distribution as close to the target distribution as possible and greatly improves the quality of the generated samples. In addition, to improve the training efficiency of GANs, the network structure of GANs is optimized and the initialization strategy of the two networks is changed. The experimental results on several datasets show that the penalty algorithm significantly improves the quality of generated samples. Especially, on the CIFAR10, STL10, and CelebA datasets, the best FID value is reduced from 16.19, 14.10, 4.65 to 14.02, 12.83, and 3.22, respectively.

    参考文献
    相似文献
    引证文献
引用本文

谭宏卫,王国栋,周林勇,张自力.基于一种条件熵距离惩罚的生成式对抗网络.软件学报,2021,32(4):1116-1128

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-06-13
  • 最后修改日期:2020-07-28
  • 录用日期:
  • 在线发布日期: 2020-10-12
  • 出版日期: 2021-04-06
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号