StableLM

StableLM是由Stable Diffusion背后的团队Stability AI最新推出的开源的类ChatGPT大语言模型，该模型目前处于Alpha版本，拥有的参数量分别为30亿和70亿，后续还将推出150亿到650亿参数模型。 Join the world's most widely adopted, AI-powered developer platform where millions of developers, businesses, and the largest open source community build software that advances humanity.

CMMLU

CMMLU是综合性的中文评估基准，专门用在评估语言模型在中文语境下的知识和推理能力，涵盖从基础学科到高级专业水平的67个主题。包括需要计算和推理的自然科学，需要知识的人文科学和社会科学，及需要生活常识的中国驾驶规则等。CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。CMMLU提供丰富的测试数据和排行榜，支持多种评估方式，如five-shot和zero-shot测试，是衡量中文语言模型性能的重要工具。 Senior Research Scientist at MBZUAI-IFM. | Prev. MBZUAI, LibrAI, UniMelb, SJTU, MSRA - haonan-li

Scale AI

AI机器学习标注训练平台 Scale delivers proven data, evaluations, and outcomes to AI labs, governments, and the Fortune 500.

阿里巴巴M6

欢迎登录阿里云，全球领先的云计算及人工智能科技公司，阿里云为200多个国家和地区的企业、开发者和政府机构提供云计算基础服务及解决方案。阿里云云计算、安全、大数据、人工智能、企业应用、物联网等云计算服务。

文心大模型

百度文心助手，一站式解决复杂问题，激发PC端超级生产力！独有「灵感探索」功能深入剖析问题核心，智能文字创作、图片创作、AI阅读、智能体海量应用启迪无限创意，开启高效智能学习办公新篇章！

讯飞星辰MaaS

讯飞星辰 MaaS 平台是科大讯飞面向开发者打造的智能化模型精调服务平台，构建起贯穿 “数据 - 模型 - 服务” 全链路的工程化解决方案。平台提供数据增强处理、模型精调优化、效果量化评估及一键部署的的端到端开发能力；同时兼容主流开源模型生态，支持第三方模型托管。基于自研分布式训练架构与智能算力调度系统，结合 LoRA 等高效参数优化技术，平台实现大模型定制化开发的标准化、工程化，有效降低企业大模型相关业务开发成本与技术门槛，加速推动各行业智能化升级进程。

LLMEval3

LLMEval是由复旦大学NLP实验室推出的大模型评测基准，最新的LLMEval-3聚焦于专业知识能力评测，涵盖哲学、经济学、法学、教育学、文学、历史学、理学、工学、农学、医学、军事学、管理学、艺术学等教育部划定的13个学科门类、50余个二级学科，共计约20W道标准生成式问答题目。 LLMEval is a research series dedicated to building comprehensive, fair, and robust evaluation frameworks for large language models.

HELM

HELM全称Holistic Evaluation of Language Models（语言模型整体评估）是斯坦福大学推出的大模型评测体系，评测方法主要包括场景、适配、指标三大模块，每次评测的运行都需要指定一个场景，一个适配模型的提示，以及一个或多个指标。它评测主要覆盖的是英语，通过准确率、不确定性/校准、鲁棒性、公平性、偏差、毒性、推断效率综合评测模型表现，适用问答、信息检索、文本分类等任务，为语言模型提供更全面、系统的评估方法，帮助研究人员和开发者更好地理解和优化模型性能。