Transformer和LSTM选谁?
LSTM和Transformer都是当下主流的特征抽取结构,被应用到非常多的领域,当然每一种都各有它的优缺点。关于LSTM与Transformer结构的强弱争论,在很长一段时间可以说甚嚣尘上。
虽然绝大部分人都认为在很多场景下,transformer都优于LSTM RNN,但是依然也有很多研究者抱持不同意见。
一方面,从transforemr的核心self-attention来看,是将序列中的每个输入与所有输入做attention,构建自己与其他输入之间的关系。它的第一个场景就是替代lstm/rnn,self-attention构建时序信息,缓解partial observation问题,但是,在学术界,理论研究方面partial observation问题只算是一个衍生问题,并不主流,而各种实验研究的env在PO问题上并不算特别复杂,transformer暂时没有体现出比lstm更好的结果。而在工业界,partial observation问题在大部分游戏下都不是AI能力的重要瓶颈,通过特征构造可以在一定程度上缓解PO问题。
另一方面,目前的强化学习里深度网络很少用transformer ,更多的是lstm rnn 这类网络。因为,Transformer目前的训练速度较慢,资源消耗较大;而且当时序上下文窗口过大时,需要相对较长的时间去计算动作,实时控制场景中很难部署应用。所以当需要处理纯粹的反应型环境,且数据维度较低时,使用Transformer架构的优势并不明显。
3月22日,我们邀请人工智能科学家方老师,从神经元网络讲起,梳理发展脉络,讲解RNN、LSTM、注意力机制,以机器翻译作为场景切入,带大家一起探讨transformer和lstm孰强孰弱。
方老师拥有超30年程序设计、软件开发、计算机科研和教育培训经验。曾独立开发成功通用问题求解框架、零和博弈框架、自动微分系统、Java编译器和反编译器等系统软件。在科研上揭示了神经元网络的本质和局限,提出了强人工智能的可能路径,独立证明了神经网络能够拟合任意连续函数,提出了样本质量的四个要素,揭示了过拟合、欠拟合的本质。
扫码预约直播
领取深度学习必读论文
很多童鞋的终极目标是拿着论文当敲门砖,去某某大厂开启人生新篇章。
那么剩下的问题就是,怎么发论文?
想要快速发论文有两点至关重要。
1.紧跟风口。
想发文章最容易的方法就是紧跟风口,顺着领域内的研究趋势确定自己的方向,毕竟在热门领域内,创新点和idea远比其他非热门领域多。
2.有一位有经验有能力的前辈指导。
大家都在努力的设计新网络、新策略、新training算法,只要能够在某一问题上做到一个很好的performance,论文就水到渠成。而想要快速达到,来自前辈的指点不可或缺。
所以,要解决的问题就是:
1.找到风口
2.找到领域内的大神做导师
扫码免费领取论文指导攻略
快速打通写论文的任督二脉
(文末福利)
创新是论文的灵魂,有的学术文章可以很快被录用并被见刊,而有的文章屡次被拒稿,迟迟不能发表,很重要的一个决定因素就是论文的创新点,就拿博士来说,不少高校都要求博士毕业论文至少要有3-5个创新点。
没有多少科研经验的小白和从业新手,想在学术论文和科研中少走弯路,想要要保证创新性,搞定论文,获得必要的科研指导是不可或缺的。
创新点主要有以下表现形式:
①第一次用书面文字的形式把新信息的主要部分记录下来,这可以称为"发现"。
②继续前人做出的独创性工作。
③将某一方法应用于新的研究领域。
④使用已有的材料作出新的解释。
⑥使用不同的方法在交叉学科进行研究
…………
一个有想象力的idea对科研人的重要性不言而喻。那么如何获取一个值得死磕的idea?
idea的形式多种多样,有原创的突破性工作,就像发明衬衫;也有排列组合、迁移、渐进的补充性工作,就像给衬衫装上纽扣和前衣口袋;而灌水就像是在衣服背后缝了个口袋。
当然关于如何写一篇不水的论文,如何找到创新点,需要关注的远不止这些。
写论文对于每一个童鞋都不容易。那些你所踩过的坑,需要避免再次踏入,那些你还没有碰到过的问题,要被指导如何规避。
扫码免费领取论文指导攻略
快速打通写论文的任督二脉
(文末福利)
作为日常为了论文而忙碌的科研人,小编知道大家一定很需要一些资料。因此,小编精心整理了一份超过20G的AI顶会论文大礼包!包含最新顶会论文、书籍等资料,以及英文论文写作指导保姆级资料,从文献阅读到论文写作,全部帮你整理好~
扫码免费领课程资料↑
-END-