5月27日 ,蚂蚁模态在蚂蚁技能日上,集团蚂蚁集团旗下的官宣百灵大模型(Ling)团队宣告正式开源一致多模态大模型Ming-lite-omni 。据蚂蚁方面介绍,开源这是统多一款依据Ling-lite构建的MoE架构的全模态模型,其总参数22B ,大模激活参数3B 。蚂蚁模态
据悉,Ming-lite-omni当时模型权重和推理代码已开源 ,官宣后续会接连开源练习代码和练习数据 。开源
https://huggingface.co/inclusionAI/Ming-Lite-Omni。统多
今年以来,大模百灵大模型现已接连开源了多个模型产品,蚂蚁模态包含2个MoE架构的集团大言语模型 ,Ling-lite和Ling-plus,官宣多模态大模型Ming-lite-uni,以及Ming-lite-omni-preview 。
其间 ,其间五月中旬开源了Ling-lite-1.5 ,据百灵方面介绍 ,“才能现已挨近同水位SOTA水平,介于千问4B和8B的水平 。”蚂蚁方面称,这两个模型在多个算力渠道(包含非Hopper架构的国产算力)进行练习,验证了300B尺度的SOTA MoE大言语模型在非高端算力渠道上练习的可行性。
而本次开源的Ming-lite-omni产品在多项了解和生成才能评测中,性能与10B量级抢先的多模态大模型适当或更优。蚂蚁方面以为 ,这是现在已知首个在模态支撑方面可以与GPT-4o相媲美的开源模型 。
百灵大模型负责人西亭对媒体表明,百灵大模型的命名规则是Ling代表根底大模型 ,Ring代表推理版别,Ming代表多模态大模型。百灵在曩昔主要在几个方面做了聚集,一个是很早做MoE架构的探究 ,坚决的在言语大模型和多模态大模型上面一致使用了MoE的架构,一起使用了很多非高端的算力渠道 ,证明了国产GPU的“也能练习出来可比较GPT4o的模型”。其次,百灵很注重多模态范畴的探究,一直在推动多模态的生成和了解的一致 ,而本次开源的Ming-lite-omin便是曩昔技能探究的作用 。
百灵方面表明 ,团队下一步将继续优化Ming-lite-omni在全模态了解和生成使命上的作用,并提高Ming-lite-omni的多模杂乱推理才能;一起也会练习更大尺度的全模态模型Ming-plus-omni。此外,依据西亭泄漏, 百灵还在准备Ling的Max版别,发布节点将会是“寻找跟(deepseek)V3的版别差不多的版别时开出去”。
((大众号 :))。
原创文章,未经授权制止转载。概况见转载须知。
突发 !俄海军副司令在库尔斯克州阵亡
美国龙卷风掀起房子 屋中白叟奇观幸存
开端送电!“宁电入湘”工程完结168小时试运行
“两国务实协作协助玻利维亚提高工业才能”
本布图镇 “石榴籽小讲堂” 点亮孩子们多彩暑期日子
新源法院法院灵活运用履行豁免准则化解民生窘境
国务院办公厅印发《关于进一步完善信誉修正准则的实施方案》
救生箱就位 安全加码!焉耆县公安局打造水域救援“前哨站”
俄国防部证明水兵副司令身亡
无锡市监局:正查询罗马仕安克背面供货商
新疆财经大学与新疆四七四医院签定共建实践教育基地协作协议
神舟二十号航天员乘组圆满完成第2次出舱活动
学而时习之|越是艰险越向前 敢教日月换新天
西气东输四线全线贯通投产
无锡市监局 :正查询罗马仕安克背面供货商
Copyright © 2017-now 剧息 版权所有