Mimosa的小站
Mimosa的小站

几个GAN算法训练模型的表现:

概念 理解 正常表现 异常表现
模式坍塌 生成器偷懒,只生成一种样本 生成多样化样本 生成单一或重复样本
梯度爆炸 模型更新太猛,直接崩溃 梯度在合理范围内波动 梯度突然变得极大(如几百或NaN)
梯度消失 模型更新不动,训练停滞 梯度稳定更新 梯度接近0,模型不更新

 

添加一个reaction吧!

讨论区

评论

2 条
  1. 亮剑

    现在初中都学这些了? 感觉这都是大学的知识了吧,还是博主多年前是初中,现在都已经工作了?

    1. Mimosa233 作者 回复 @亮剑

      不不不,真的是初三学牲啦 :yuki_4:
      就当成我的业余爱好吧(用python写各种奇奇怪怪的东西),我只是用GitHub上大佬们写好的程序调调参、训练个模型玩玩,然后稍微琢磨了一下最最最表层的基本原理罢了
      (这玩意对我来说还蛮有意思的)
      不过,之前在B站看到一位高一学生训练的语言模型,效果已经惊艳到我了,现在的高人满地皆是呀

发表评论

[annotate]术语||注释[/annotate]悬停术语注释
[blur]模糊文本[/blur]高斯模糊
[black]黑幕文本[/black]黑幕遮挡
[img]图片地址[/img]内嵌图片
[b]粗体[/b] [i]斜体[/i] [s]删除线[/s] [u]下划线[/u]文字样式
[url=链接地址]文字[/url]超链接
[quote]引用内容[/quote]引用块
[h1]~[h5]标题[/h1]~[/h5]多级标题