首页 创作导图 资源库 我的资源 关于我们

HF与OpenAI“分道扬镳” | 开源SmolLM2系列端侧135M小模型，每秒180tokens！

2024-11-06 08:37  7

0
0
免费使用
画布
|
大纲
为你推荐
# HF与OpenAI“分道扬镳” | 开源SmolLM2系列端侧135M小模型，每秒180tokens！ ## 主题概述 ### HF与OpenAI“分道扬镳” #### 背景：随着人工智能技术的发展，大型语言模型（LLM）成为推动AI进步的关键力量。然而，由于资源和技术的限制，许多开发者和小型企业难以接触到这些先进的模型。 #### 事件：HF（Hugging Face）与OpenAI等公司在大型语言模型领域的发展方向出现分歧，这促使HF转向开发更轻量级、更适合端侧设备运行的模型。 ### 开源SmolLM2系列端侧135M小模型 #### 目标：为了满足更多用户的需求，尤其是那些无法承担大型云服务成本的用户，HF开源了SmolLM2系列模型。 #### 特点：SmolLM2系列模型包括135M、360M和1.7B参数的版本，能够在各种端侧设备上运行，提供高效的本地化AI解决方案。 ## 发展历程 ### 早期阶段：大型语言模型如GPT-3等引领了AI领域的创新，但其高成本和复杂性限制了广泛的应用。 ### 转折点：随着技术的进步和市场需求的变化，轻量级模型如SmolLM2开始受到关注，它们能够在本地设备上运行，解决了云计算服务的局限性。 ### 最新进展：SmolLM2系列模型的推出，标志着端侧AI应用的新篇章，为更多用户提供可访问的AI能力。 ## 技术细节 ### SmolLM2模型简介 #### 数据集：基于精心整理的高质量数据集，包括Cosmopedia v2、Python-Edu和FineWeb-Edu等，涵盖了广泛的领域知识。 #### 性能：在多种基准测试中表现出色，尤其是在常识性推理和世界知识评测标准上超越了现有模型。 ### SmolLM2模型上手指南 #### Python接口：通过pip install transformers安装必要的库，然后使用AutoModelForCausalLM和AutoTokenizer`加载模型，进行推理预测。 #### 终端运行：利用trl库，通过命令行方式加载模型并执行推理任务。 ## 功能样例展示 ### 文本提示词重写：通过系统提示和用户输入，模型能够重写文本，使其更加专业和友好。 ### 文本总结：提供简洁、客观的文本摘要，聚焦于关键动作和意图。 ### 函数调用：根据给定的问题和可用工具，模型可以做出适当的函数调用，实现特定目的。 ## 性能评估 ### 客观评估指标：在科学与推理、常识推理、基础知识、数学能力等多个方面，SmolLM2模型表现优异，显示出其在轻量级模型中的领先地位。 ## 效果展示 ### 运行速度：SmolLM2 135M的8位模型在iPhone 15 Pro上的运行速度接近180 tokens/秒，展示了其在移动设备上的高效性能。 ### CPU运行演示：在Mac系统的CPU上运行SmolLM2-1.7B模型，证明了其在非GPU环境下的适用性和性能。 ## 结论 ### 未来发展：随着SmolLM2系列模型的开源和广泛应用，预计会有更多的开发者和企业受益于这种轻量级、高性能的AI解决方案，推动AI技术在更多领域的普及和创新。
人工智能 轻量级模型 端侧AI
作者其他创作

    AI脑图#362090

    去主页