炼数成金 门户 商业智能 深度学习 查看内容

一个GAN生成ImageNet全部1000类物体

2017-11-22 11:33| 发布者: 炼数成金_小数| 查看: 19901| 评论: 0|原作者: 费欣欣|来自: 新智元
摘要: Goodfellow表示,虽然GAN十分擅长于生成逼真的图像,但仅仅限于单一类型,比如一种专门生成人脸的GAN,或者一种专门生成建筑物的GAN,要用一个GAN生成ImageNet全部1000种类的图像是不可能的。但是,这篇ICLR论文做到 ...
网络 工具 测试 商业智能 ETL 权重
就在几小时前,生成对抗网络(GAN)的发明人Ian Goodfellow在Twitter上发文,激动地推荐了一篇论文:


Goodfellow表示,虽然GAN十分擅长于生成逼真的图像,但仅仅限于单一类型,比如一种专门生成人脸的GAN,或者一种专门生成建筑物的GAN,要用一个GAN生成ImageNet全部1000种类的图像是不可能的。但是,这篇ICLR论文做到了。

是什么论文这么厉害?
点开链接,可以看到Ian Goodfellow更加热情的赞美:

这是一篇很棒的论文!

这是一篇很棒的论文!我认为这篇论文没有充分说明它结论的重要性,我担心仅仅浏览摘要会让人错过这项突破。

“我们在CIFAR10,STL-10和ILSVRC2012数据集上测试了谱归一化的功效,通过实验证实了相对于那些使用此前提出的训练稳定技术训练的GAN,谱归一化GAN(SN-GAN)能够生成质量相同乃至更好的图像。”这个描述太低调了,这篇论文展现了在ILSVRC2012数据集上的一个超大的飞跃。

在这篇论文之前,仅有一种GAN在ILSVR2012数据集上表现很好,那就是AC-GAN。但AC-GAN实际上有点作弊,因为它把ImageNet分成了100个更小的数据集,每个数据集仅含10个种类的数据。新的SN-GAN是第一个用一种GAN就覆盖ImageNet全部1000种类数据的GAN变体。

将GAN扩展到更大的种类上面去一直以来都没有得到很好解决,现在这篇论文为我们带来了10倍的飞跃。

生成对抗网络的谱归一化,稳定判别器训练
看上去真的很厉害的样子。虽然Goodfellow说仅仅浏览摘要无法充分体会这篇论文的好,但是我们还是从摘要开始看起:

题目:生成对抗网络的谱归一化
摘要:生成对抗网络的研究面临的挑战之一是其训练的不稳定性。在本文中,我们提出了一种叫做“谱归一化”(spectral normalization)的新的权重归一化(weight normalization)技术,来稳定判别器的训练。这种新归一化技术计算轻巧,易于并入现有的部署当中。我们在CIFAR10,STL-10和ILSVRC2012数据集上测试了谱归一化的功效,通过实验证实了相对于那些使用此前提出的训练稳定技术训练的GAN,谱归一化GAN(SN-GAN)能够生成质量相同乃至更好的图像。

简单说,论文提出了一种新的权重归一化方法,用于稳定判别器的训练。作者在论文中写道,他们的归一化方法需要调整的超参数只要一个,就是Lipschitz常数,而且即使不调整这个超参数,也能获得满意的性能。此外,算法实现简单,额外的计算成本很小。

作者在论文中将这种新的“谱归一化”方法与其他归一化技术,比如权重归一化(Salimans&Kingma,2016)、权重削减clipping(Arjovsky等,2017)和梯度惩罚gradient penalty(Gulrajani等,2017)做了比较,并通过实验表明,在没有批量归一化、权重衰减和判别器特征匹配的情况下,谱归一化改善生成的图像质量,效果比权重归一化和梯度惩罚更好。


第一个成功应用于ImageNet全部1000个类别的GAN变体

最后,来看让Ian Goodfellow觉得没有充分强调的部分。

在论文的4.2这节,作者简单描述了他们的方法在ImageNet训练的情况,如作者所写,“我们将我们的方法应用于ILRSVRC2012数据集,训练类别conditional GANs……我们的SN-GAN是所有方法中训练成功了的,据我们所知,这也是首次用单对判别器和生成器从ImageNet数据集生成不错图像的尝试”。



论文地址:https://openreview.net/pdf?id=B1QRgziT-
OpenReview:https://openreview.net/forum?id=B1QRgziT-

P.S. 希望Ian Goodfellow的推荐不要让这篇论文“过火”才好……

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

  GMT+8, 2017-12-17 20:03 , Processed in 0.135201 second(s), 26 queries .