用各decode层的输出,做为输入创建一个模块,是否可以捕捉到各层之间的更高一阶抽象特征

[smd-1886]

Feature request / 功能建议

对于基于Decode结构的大模型,我有一个想法,但由于客观原因我无法进行实验.
我想数据在各层Decode之间传递,经过训练后各层的输出之间是否也会有一种更高一阶的特征抽象, 如果会有,那么我想是否可以添加一个对这一抽象的捕捉模块.
比如,将每个或多个Decode层的输出拼到一起, 做为一个或各个线性或其它网络层的输入,并将其输出拼接或以权重叠加到最后一个Decode层的输出上,

Motivation / 动机

我是一个普通程序员,从事也算和AI相关的工作, 之前了解过bert, 最近在看大模型及chatglm相关的资料及做一些小测试, 感觉现在的大模型,基础本能不足,比如更高一层的抽象能力, 比如,人类对于一个苹果的识别,无论这个苹果是大的小的红的青的还是画在纸上的无颜色的甚至没有见过的某个品种的苹果,人类能很容易识别出来,我想可能是人类有更高层次的抽象能力, 所在想让大模型还有这种能力,所在就想到是不是可以捕捉各decode层的输出之间某些特征,或各层输出之间的对比特征, 但客观条件下,本人只有这个想法,没有条件去做这样的实验,所以希望有条件感兴趣的人可以试试,

Your contribution / 您的贡献

https://github.com/THUDM/ChatGLM3/