6月10日消息,近日,新华社研究院中国企业发展研究中心对主流大模型产品进行了体验评测,发布了《人工智能大模型体验报告》。
《报告》显示,百度文心一言总得分位居国内第一,并在基础能力、智商、情商、工作提效等维度均获国内第一。
在智商测试部分,百度文心一言意外超过ChatGPT3.5,表现突出,位居排名第二,仅次于GPT4。
在综合指数评价方面,本次评测选取4大维度(基础能力、智商测试、情商测试、工作提效能力)、36个子能力,共300个问题,对目前主流大模型产品进行测试。
同时,研究院还邀请相关专家组成评测团队深入分析各个产品的语义理解、知识储备、逻辑能力等,最终得出各厂商的大模型综合指数评价。
综合评测结果显示:ChatGPT系列模型各项指标表现优异,Chat-GPT4.0版本各项能力在3.5版本的基础上均有一定程度提升。
由百度开发的人工智能大模型文心一言是目前国内自主研发的大模型中具有优势的产品。其余大模型产品也在基础能力方面表现优良,但面对较复杂的工作内容或情商环境仍有不同程度的进步空间。