复旦 MOSS 大模型开源了！Github 和 Hugging Face 同时上线 - 大众能源网

当前位置：首页>关注 >

复旦 MOSS 大模型开源了！Github 和 Hugging Face 同时上线

2023-04-23 08:10:50 来源：量子位

复旦大模型MOSS，正式开源了！

作为国内首个开放测试的类 ChatGPT 产品，MOSS 开源地址一放出，又冲上知乎热搜：

【资料图】

从官网介绍来看，MOSS 是一个拥有160 亿参数的开源对话语言模型。

它由约 7000 亿中英文及代码单词预训练得到，精度要求不那么高的话，甚至可以在单张 3090 显卡上运行。

MOSS 支持中英双语，拥有多轮对话和使用多种插件双重能力，具备搜索引擎、文生图、计算器、方程求解的 " 技能点 "。

目前，MOSS 在 GitHub 上已有 2.3k Star，热度还在持续上涨中。那么，MOSS 究竟开源了哪些项目，目前有哪些功能？一起来看看。

会解方程，也能生成图片

据了解，这次 MOSS 开源的是第三轮迭代版本，名叫 MOSS 003。

当然，MOSS 003 也并非开源了全部模型，目前主要开放的是基座预训练模型，最终模型即将在近期开源：

此前，MOSS 已经经历了两版迭代，一版是公开邀请内测的 MOSS 002 版本，另一版是内部测试版本 OpenChat 001。

三月份大伙儿见证的 " 国内首个开放测试的 ChatGPT"，正是 MOSS 002 版本。

最新这个版本展现的功能效果如何？

MOSS 团队放出了它多轮对话、解方程、写代码、生成图片和回答道德伦理等示例。

这是多轮对话的展示效果，具备资料追根溯源的能力：

这是做数学题的示例，包括鸡兔同笼问题：也包括生成图片功能：还有近期网友热议的 AI 道德性问题：当然，这波里面也不乏 " 砸场子 " 的网友。例如官方 GitHub 问答中，有网友很想了解它的中文能力和 chatglm6b 相比谁更好，下面有网友调侃：

你是来砸场子的么？

这也是因为此前团队在 MOSS 002 公开测试时曾经表示过，MOSS 的中文能力不算太好，这也与训练数据有关。

除此之外，团队这次还开源了一部分训练数据。

至于完整数据，复旦 MOSS 团队表示 " 近期会全部开源 "。

国内最先发布的 ChatGPT 产品

MOSS 取自于《流浪地球》里面那个拥有自我意识的 AI。

它由复旦自然语言处理实验室邱锡鹏团队研发，2 月 20 日正式发布。

当时国内一众大厂还在陆续高调官宣要造 ChatGPT，谁都没想到它就这么一声不吭地杀了出来。

所以尽管 MOSS 的参数量比 ChatGPT 小了一个量级，大家还是蜂拥而上，把服务器都给挤爆了。

而发布没过一周，复旦大学教授邱锡鹏就在演讲中提出，如果优化顺利，计划在三月底开源 MOSS。

因为在他看来：

人们之所以很容易有 " 卡脖子 " 问题，是因为缺乏一个好的行业生态。

就拿 ChatGPT 来说，OpenAI 公司只需专注做好模型，算力、数据和系统则交给其他公司。反观国内，很多公司在做大型语言模型时所有环节都需要自己做，每家的数据和算力也有限，结果是每家都做不大。在发展过程中，大型语言模型训练与在线推理成本过高也是一个重大问题。

因此，他们一开始就考虑要把 MOSS 开源而不是商业化。

有了这样一个基座，大家就不用重复开发底层技术，可以在上面接不同的细分领域。

如今，虽晚了快一个月，MOSS 也说到做到了。

你试用过复旦 MOSS 开源模型了吗？效果如何？

MOSS 开源项目地址：

[ 1 ] https://github.com/OpenLMLab/MOSS

[ 2 ] https://huggingface.co/fnlp/moss-moon-003-base

[ 3 ] https://huggingface.co/fnlp/moss-moon-003-sft

[ 4 ] https://huggingface.co/fnlp/moss-moon-003-sft-plugin

参考链接：

https://www.zhihu.com/question/596908242

关键词：

推荐内容

产业

油气

1

河北深州警方打掉一暴力催债团伙 36名嫌犯被刑拘

2

寒潮降温破冰点如何保障温暖过冬？探访北京城管及供热

3

莆田致2死3伤案嫌犯拒捕并畏罪自杀经抢救无效死亡

4

福建福州一在建摩天轮发生垮塌事故原因正在调查中

5

为什么对张恒处3227万元罚款？其违法事实有哪些？

6

山西民政部门支出超2亿元捐款保障受灾困难民众基本生活

7

张恒被税务部门依法处以3227万元罚款

8

湖北赛武当国家级自然保护区监测到珍稀动物

9

首届“优秀长江协助巡护员”评选颁奖

10

今年火灾事故已超6000起！电动自行车为何频频爆炸？

经济

国家一级保护动物梅花鹿误入羊群内蒙古警方及时救助

　　中新网通辽10月18日电 (记者张林虎)18日，记者从内蒙古自治区通辽市奈曼旗公安局获悉，国家一级保护动物--梅花鹿误入当地村民羊群，

浙江杭州西湖首次推“环湖游线” 重现灵隐天竺上香水路

　　中新网杭州10月18日电 (王题题胡燕婕)云天收夏色，浅秋正渐浓。10月18日，浙江杭州市西湖游船有限公司推出的惠民多站点“西湖环湖游

福建福州在建摩天轮事故续：安装过程中外围轮毂脱落无

　　中新网福州10月18日电 (记者龙敏王东明)福州市晋安区官方18日晚间通报，18日14时47分，晋安区岳峰镇化工路爱摩轮商业广场项目摩天

【母亲河畔的中国】黄河润泽甘肃：沿岸城市兴文旅

　　中新网兰州10月18日电 (闫姣艾庆龙吉翔)“红山白土头，黄河向西流。”不少人疑问，天下黄河向东流，为何甘肃永靖县这段黄河却向西

《清华城市健康设施指数》：城市健康设施状况与其经济发

　　中新网北京10月18日电《清华城市健康设施指数》18日在北京发布。报告成果显示，城市健康设施指数领先城市以中心城市和东部沿海城市