【PyTorch】教程：torch.nn.GELU
创始人
2025-05-29 07:17:04

torch.nn.GELU

原型

CLASS torch.nn.GELU(approximate='none')

参数

  • approximate (str, optional) – gelu 近似算法用 none 或者 tanh， 默认为 none;

定义

高斯误差线性单元函数

GELU(x)=x∗ϕ(x)\text{GELU}(x) = x * \phi(x) GELU(x)=x∗ϕ(x)

其中 ϕ(x)\phi(x)ϕ(x) 为高斯分布的累积分布函数；

当参数为 tanh， Gelu 估计为

GELU(x)=0.5∗x∗(1+Tanh((2/π)∗(x+0.044715∗x3)))\text{GELU}(x)=0.5∗x∗(1+\text{Tanh}((2/\pi)∗(x+0.044715∗x^3))) GELU(x)=0.5∗x∗(1+Tanh((2/π)∗(x+0.044715∗x3)))

图

在这里插入图片描述

代码

import torch
import torch.nn as nnm = nn.GELU()
input = torch.randn(4)
output = m(input)print("input: ", input)   # input:  tensor([-1.2732, -0.4936, -0.8219,  0.1772])
print("output: ", output) # output:  tensor([-0.1292, -0.1534, -0.1690,  0.1010])

【参考】

GELU — PyTorch 1.13 documentation

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：考研复试——C、C++

下一篇：PMP第十二章重要知识点

相关内容

热门资讯

央企控股上市公司密集发声，多措... 今年以来，国务院国资委多次部署提高央企控股上市公司质量，加强市值管理，传递信心、稳定预期。近期多家央...
上交所：将推动上市公司进一步加... 上海6月6日电 (高志苗)上海证券交易所6日发布消息称，上交所近日召开高分红重回报暨上市公司价值提升...
特斯拉“跌下神坛”？ 6月5日，马斯克与特朗普反目互怼后不久，特斯拉股价当日一度暴跌16%，截至当天收盘，特斯拉股价较开盘...
汉武帝都点赞的一次复仇 汉武帝... 上文讲到齐景公复霸，复哪个霸呢？春秋五霸之首，齐桓公。不过今天我们不讲著名的齐桓公，而是讲他的哥哥，...
“普五”破价到了756元，五粮... 随着“618”大促的到来，白酒企业的价格体系，再次遭受强烈冲击。去年，各大电商平台以“百亿补贴”为主...
比买黄金还赚钱！“塑料茅台”L... 年轻人的“茅台”竟然是个“娃娃”？泡泡玛特旗下的Labubu，正借着爆火的流量红利，身价一路飙升。据...
聚焦“两高四着力” 人大代表在... 河南日报客户端记者 陈小平 “今年，我们将采取‘建租结合’的方式，在北京、上海、武汉、沈阳、西安、成...
原创 促... 周末，市场没有利空，大家的情绪慢慢平静了，上证指数再次临近3400点，已经是物是人非了。银行分化，白...
江西“首富”李德仙，财富缩水超... 光伏行业分化，已成大趋势。今年一季度如果说哪家光伏巨头的表现最让外界大跌眼镜，那么晶科能源一定“榜上...
福莱新材推“三维力”电子皮肤 ... 21世纪经济报道记者 赵云帆 上海报道从未来终局角度思考，柔性多模态电子皮肤无疑是通用型人形机器人的...
2025年6月7日比特币与以太... 特朗普马斯克公开决裂引发市场巨震，比特币反弹至104,472美元，以太坊大幅反弹至2,474美元 一...
广州首批配售型保障房摇出选房序... 6月7日上午，广州今年首批配售型保障房迎来了第二次摇号确定选房序号的关键环节。在前期经过递交申请、第...
贬低业绩可以忍，贬低颜值不能忍... 6月7日，金石杂谈近期太关注公募了，不曾想对私募圈消息闭塞了。在6月5日深夜，私募小魔女李蓓开通个人...
热搜！“全智贤老公炒币亏了15... 6月7日午后，“全智贤老公炒币亏了150亿韩元”相关话题一度登上微博热搜。据观察者网援引韩媒报道，随...
中信建投：持续看好创新药产业技... 人民财讯6月7日电，中信建投研报表示，美国临床肿瘤学会（ASCO）年会是世界上规模最大、学术水平最高...
特斯拉“擎天柱”人形机器人项目... 来源：中国新闻网中新网6月7日电(吴家驹)综合外媒报道，特斯拉“擎天柱”(Optimus)人形机器人...
周鸿祎：准备干掉360整个市场... 周鸿祎称准备干掉360整个市场部。360集团创始人、董事长兼首席执行官周鸿祎发视频称，“我准备干掉3...
一娃难求的Labubu，捧出河... 如今，河南 “消费三象”胖东来、蜜雪冰城和泡泡玛特，已成为商超、茶饮、潮玩领域 “新标杆”。相较其他...
年轻人氪金“塑料茅台”，Lab... 来源|Tech星球文|张宁洢去年开始，一个名叫Labubu的新系列潮玩在北美悄然走红。这个有着尖耳朵...
千亿A股创新药公司，现重大研发... 本周 （6月2日—6月6日） 机构调研公司数量仍在百家以上，截至6月6日18时，共有141家上市公司...
比亚迪、小米超特斯拉成国人买车... 在中国汽车市场上，特斯拉一直都是非常特殊的存在，作为新能源汽车的龙头，特斯拉的号召力可谓是无与伦比，...
截至4月底首次突破33万亿元—... 公募基金总规模仍在持续上涨。截至今年4月底，我国境内公募基金规模首次突破33万亿元大关，这也是自20...
法网-高芙2-1逆转萨巴伦卡首... 北京时间6月8日凌晨，2025赛季网球大满贯法国公开赛继续进行，在女单决赛中，赛会2号种子高芙在先丢...
险资年内举牌15次，半年不到举... 如果要问最近几个月最火的资本力量是什么？各大保险公司的保险资本无疑是其中最亮眼的明星，险资不断大规模...
深度｜券商托管私募这十年：从零... 编者按：十载春华秋实，鉴往知来；十年星河璀璨，与光同行。自破茧初啼至引领风潮，“金长江”评选始终以专...
美联储系统高管：特朗普关税政策... 新华社北京6月7日电　美国圣路易斯联邦储备银行行长阿尔韦托·穆萨莱姆日前接受英国《金融时报》采访时说...
中央汇金成为8家金融机构实控人... 6月6日，证监会发布公告称，长城国瑞证券、东兴证券、信达证券、东兴基金、信达澳亚基金、长城期货、东兴...
至信股份欲登陆上交所主板 打造... 重庆至信实业股份有限公司6月6日在上海证券交易所网站披露招股说明书（申报稿），拟在上交所主板首次公开...
无证电焊电动自行车支架，北京丰... 新京报讯（记者彭镜陶）近期，北京市丰台区消防救援支队开展了人员密集场所动火作业全链条整治行动，查处一...
知名连锁品牌济南一门店，运营一... 近两年，火遍全网的“谷子经济”正在经历一次行业洗牌。6月6日，新黄河记者走访市场发现，省内知名二次元...