8月6日,记者从腾讯获悉,混元正式开源四款小尺寸模型,参数分别为0.5B、1.8B、4B、7B,消费级显卡即可运行,适用于笔记本电脑、手机、智能座舱、智能家居等低功耗场景,且支持垂直领域低成本微调。
据了解,这四款模型的推出,是腾讯混元大模型持续开源的一大举措,也进一步丰富了混元开源模型体系,可为开发者和企业提供更多尺寸的模型选择。目前,四个模型均在Github和HuggingFace等开源社区上线,Arm、高通、Intel、联发科技等多个消费级终端芯片平台也都宣布支持部署。
此外,模型原生支持长上下文窗口达到了256k,意味着模型可以一次性记住并处理相当于40万中文汉字或50万英文单词的超长内容,相当于一口气读完3本《哈利波特》小说 ,并且能记住所有人物关系、剧情细节,还能根据这些内容讨论后续故事发展。
部署上,四个模型均只需单卡即可部署,部分PC、手机、平板等设备可直接接入。应用层面,四款小尺寸模型都能够满足从端侧到云端、从通用到专业的多样化需求,并且已经在腾讯多个业务中应用。在端侧应用上,腾讯手机管家利用小尺寸模型提升垃圾短信识别准确率,实现毫秒级拦截,隐私零上传;腾讯智能座舱助手通过双模型协作架构解决车载环境痛点,充分发挥模型低功耗、高效推理的特性。