2月28日，记者得悉，蚂蚁集团推出20亿参数多模态遥感根底模型SkySense，这是蚂蚁百灵大模型在多模态范畴最新的研制效果，其论文已被国际计算机视觉顶会CVPR 2024接纳。多个方面数据显现，SkySense在17项测验场景中方针均超越国际同种类型的产品，这也是迄今为止国际上参数尖端规划、掩盖使命最全、辨认精度最高的多模态遥感根底模型。SkySense可用于地貌、农作物观测和解译等，有用辅佐农业生产和运营。

  跟着人工智能的开展，大模型技能与卫星遥感技能相结合产生了新打破。SkySense是蚂蚁集团根据蚂蚁百灵大模型渠道才能开发的多模态遥感模型。

  SkySense在总计17项国际威望揭露数据集进行了测评，其测验使命类型包含了土地使用监测、高分辨率方针辨认、地物变化检测等7种常见遥感感知使命，并与国际上已发布的包含IBM和NASA联合研制的Prithvi等共18个全球干流同类模型做了测验成果比较。多个方面数据显现，17项测评中SkySense均名列第一。比如，在国际高清遥感地物检测榜单FAIR1M 2.0中，SkySense均匀精度（mAP）抢先第二名超3%。

  在刚刚发布的CVPR2024论文当选成果上，SkySense的研讨效果亦被录入。CVPR是由IEEE举行的计算机视觉和模式辨认范畴的尖端会议，是国际计算机视觉三大顶会之一。

  传统的遥感印象了解技能，往往侧重于针对单一模态单一使命建模，缺少对多模态数据、时刻序列、地舆先验常识的归纳建模和使用，约束了其在海量数据和多种使命中的泛化才能。SkySense打破以上技能瓶颈，完成了文本、红外光、可见光、SAR雷达多种模态、多分辨率的时序遥感印象建模，在多样化的使命中展现出优异功能。在蚂蚁百灵大模型多模态才能支持下，研制人员根据内部构建的19亿遥感印象数据集进行预练习，得到了20.6亿参数量的模型SkySense，这也是迄今为止国际上参数尖端规划、掩盖使命最全、辨认精度最高的多模态遥感大模型。SkySense可大规模的使用于城市规划、森林保护、应急救灾、绿色金融、农业监测等重要范畴，现在经过蚂蚁内部MEarth渠道供给数据与辨认服务。

  据了解，蚂蚁集团正在方案敞开Skysense模型参数，与职业共建，促进智能遥感技能与使用开展。

  SkySense由蚂蚁AI立异研制部分NextEvo与武汉大学联合研制。NextEvo是蚂蚁AI中心研制技能团队，主导了蚂蚁百灵大模型的研制作业，其研制方向触及CV、NLP、多模态、AIGC、数字人、AI工程化等中心技能。上一年，该部分晋级了多模态团队，由杨铭带队全面布局多模态技能。杨铭美国西北大学博士，Facebook AI Research (FAIR)开创成员，上一年参加蚂蚁集团，先后上任于NEC美国实验室、FAIR、地平线机器人公司，是国际闻名计算机视觉研讨专家。

  现在，蚂蚁集团多模态研讨效果已使用于支付宝五福节AI大规划互动、蚂蚁医疗数字人等场景。