GPU垄断AI让人担忧 是时候让CPU发扬光大
是时候让不起眼的 CPU 再次攻克 AI 了。
(资料图片仅供参考)
这是一小群 AI 研究人员得出的结论,但他们的声音越来越大。
人工智能公司Hugging Face的首席布道者Julien Simon最近通过英特尔的Q8-Chat展示了CPU 尚未开发的潜力,这是一种大型语言模型 (LLM),能够在具有 32 个内核的单个英特尔至强处理器上运行。
该演示提供了一个类似于OpenAI 的 ChatGPT 的聊天界面,并以惊人的速度响应查询(根据个人经验)让ChatGPT吃尽苦头。
AI 开发中 GPU 的使用如此普遍,以至于很难想象另一种结果,但这并非不可避免。几个特定事件帮助 GPU 硬件战胜了 CPU,并且在许多情况下战胜了专用 AI 加速器。
“解锁 GPU 的大规模并行架构来训练深度神经网络是使深度学习成为可能的关键因素之一,”Simon说。
“然后 GPU 迅速集成到TensorFlow和PyTorch等开源框架中,使它们易于使用,而无需编写复杂的低级 CUDA 代码。”
计算统一设备架构(CUDA) 是 Nvidia 在 2007 年推出的应用程序编程接口 (API),作为其挑战 CPU 主导地位计划的一部分。
它在 2010 年代中期建立,为 TensorFlow 和 PyTorch 提供了一条清晰的途径来利用Nvidia硬件的力量。
Hugging Face 作为 AI 社区的中心枢纽(除其他外)提供与 TensorFlow 和 PyTorch 兼容的开源 Transformers 库,也在 CUDA 的发展中发挥了作用。
然而,Simon认为“垄断从来都不是一件好事”。GPU 的主导地位可能会加剧供应链问题并导致成本上升,英伟达2023 年第一季度财务业绩的井喷凸显了这种可能性,在人工智能需求的推动下,收益增长了 28%。
“在 AWS 或 Azure 上获得 [Nvidia] A100 几乎是不可能的。
那么,然后呢?Simon问。
“出于所有这些原因,我们需要一个替代方案,如果您愿意做功课并使用适当的工具,英特尔CPU 在许多推理场景中都能很好地工作。”
CPU 的无处不在为 GPU 的主导地位提供了一个变通办法。
PC 组件市场研究公司Mercury Research最近的一份报告发现,仅 2022 年一年,x86 处理器的出货量就达到了 3.74 亿个。
ARM 处理器更为常见,到 2022 年第三季度,芯片出货量超过 2500 亿颗。
AI 开发人员在很大程度上忽略了这一未开发潜力池,他们认为 CPU 相对缺乏并行处理能力将不适合深度学习,因为深度学习通常依赖于并行执行的大量矩阵乘法。
在 OpenAI 的GPT-3(1750 亿个参数)和 DeepMind 的Chinchilla(700 亿个参数)等模型的成功推动下,AI 模型规模的快速增长加剧了这个问题。
ThirdAI的首席执行官兼创始人Shrivastava Anshumali说:“对于模型和数据集的大小,即使有共同进化的软件和硬件生态系统,我们正处于基本的密集矩阵乘法变得令人望而却步的地步。”
它不一定是那样的。ThirdAI 的研究发现,现有 LLM 中“超过 99%”的操作返回零。
ThirdAI 部署了一种哈希技术来减少这些不必要的操作。“基于散列的算法消除了在无关紧要的零上浪费任何周期和能量的需要,”Anshumali 说。
他的公司最近通过 Pocket-LLM 展示了其技术的潜力, Pocket-LLM 是一款适用于 Windows 和 Mac 的人工智能辅助文档管理应用程序,可以在大多数现代笔记本电脑的 CPU 上轻松运行。
ThirdAI 还提供Bolt Engine,这是一种用于在消费级 CPU 上训练深度学习模型的 Python API。
Hugging Face 的 Q8-Chat 采取了不同的策略,通过一种称为量化的模型压缩技术实现了其结果,该技术将 16 位浮点参数替换为 8 位整数。这些不太精确但更容易执行并且需要更少的内存。
英特尔使用了一种特定的量化技术SmoothQuant,将 Meta 的LLaMA和 OPT等几种常见 LLM 的大小减少了一半。
公开的 Q8-Chat 演示基于MPT-7B,这是来自 MosaicML 的开源 LLM,具有 70 亿个参数。
英特尔继续为其即将推出的Sapphire Rapids 处理器开发 AI 优化,这些处理器用于 Q8-Chat 演示。
该公司最近为 Sapphire Rapids 提交的 MLPerf 3.0 结果显示,该处理器在离线场景下的推理性能提升是上一代 Ice Lake 的五倍以上。
同样,服务器场景的性能提升也是Ice Lake的十倍。
与之前提交的 Sapphire Rapids 相比,英特尔还展示了高达 40% 的改进,这是通过软件和“特定于工作负载的优化”实现的提升。
这并不是说 CPU 现在将在所有 AI 任务中取代 GPU。Simon 认为“总的来说,较小的 LLM 总是更可取”,但他承认“没有一种瑞士军刀模型适用于所有用例和所有行业。”
尽管如此,该阶段看起来仍会增加 CPU 相关性。Anshumali 特别看好这种潜在的转机,认为需要经过调整以处理特定任务的小型“领域专业 LLM”。
Simon 和 Anshumali 都表示,这些较小的 LLM 不仅效率高,而且在隐私、信任和安全方面也有好处,因为它们消除了依赖第三方控制的大型通用模型的需要。
Anshumali 说:“我们正在构建能力,将 CPU 的每个核心都发挥出来,为大众提供更好的 AI。” “我们可以用 CPU 使人工智能民主化。”
关键词:
精心推荐
- 上海发布进一步优化调整疫情防控的相关措施-天天快资讯
- 山西汾酒12月6日获沪股通净买入2.19亿-播报
- 去年京津冀工信部门推进签约570多项高端高新项目
- 京津冀区域协同创新指数增长迅速
- 1至2月河北省工业生产平稳开局 规模以上工业增加值同比增长6.0%
- 浙江绍兴15日0-21时新增41例确诊病例
- 沈阳大气优良天数达近5年来最好水平
- 辽宁实行市级政府集中监管 首站定点冷库加强疫情防控
- 辽宁省25个博士后团队冲刺全国博士后创新创业大赛
- 安徽省宿州市埇桥区大营镇大营新村调整为中风险地区
- 云南哀牢山4名地质调查人员因公殉职原因查明
- 全国首部涉及“非现场执法”的法规施行 浦东新区打造引领区数字化城市治理样板
- 杭州一封控小区完成第三轮核酸检测 前两轮检测均为阴性
- 集采未中选药品现在怎么样了?这组数据告诉你
-
(四川统战人说统战事)“海归”博士后王暾:专注灾害预警科技创新 打通灾害预警“最后一公里” 中新网成都12月15日电 (起钰婷)“国
-
中新网福建平和12月15日电 (周晓彬 马淑惠)12月15日,福建省平和县人民法院依法宣判蔡某金等10人涉恶犯罪案件。 法院审理查明,20
-
中新网郑州12月15日电 (记者 韩章云)针对近日网友实名举报中国农业发展银行太康县支行员工夏某华吃空饷一事,中国农业发展银行河南省
-
中新网宿迁12月15日电 (记者 刘林)“房子干净又敞亮,社区漂亮又整洁。”15日,家住江苏宿迁牛角淹社区的袁有亮谈起新家,兴奋的心情
-
中新网通辽12月15日电 (记者 张林虎)15日,记者从内蒙古自治区通辽市科左后旗公安局获悉,该局打掉一个帮助网络犯罪转账的“跑分团队
X 关闭
行业排行
- 1、深圳:积极推进旅游业恢复 扎实推动经济稳定增长
- 2、保定定州提出一系列发展措施 引领体品产业向智能化品牌化高端化迈进
- 3、河北省财政厅充分发挥财政职能作用 促进交通运输事业发展
- 4、太原阳曲人才公寓项目开启施工招标工作 共有1954套人才公寓满足人才居住需求
- 5、山西出口钢构件顺利发货 为企业加强科技创新开辟了更为广阔的发展空间
- 6、上半年泰州姜堰实现新签约亿元和1000万美元以上项目95个 计划总投资208.319亿元
- 7、清华博士非洲修电站 因为他,“内卷”成为网络热词
- 8、内蒙古新增本土确诊病例3例 均在呼伦贝尔满洲里市
- 9、31省份新增新冠肺炎确诊病例67例 其中本土50例
- 10、浙江新增本土确诊病例45例 其中宁波6例、绍兴39例
X 关闭
产业
-
不用跑北京 在家门口也能挂上顶...
日前,我省首个神经疾病会诊中心——首都医科大学宣武医院河北医院...
-
“十四五”期间 河北省将优化快...
从省邮政管理局获悉,十四五期间,我省将优化快递空间布局,着力构...
-
张家口市宣化区:光伏发电站赋能...
3月19日拍摄的张家口市宣化区春光乡曹庄子村光伏发电站。张家口市宣...
-
“张同学”商标被多方抢注 涉及...
“张同学”商标被多方抢注,官方曾点名批评恶意抢注“丁真” ...
-
山东济南“防诈奶奶团”花式反诈...
中新网济南12月15日电 (李明芮)“老有所为 无私奉献 志愿服...
-
广州新增1例境外输入关联无症状...
广州卫健委今日通报,2021年12月15日,在对入境转运专班工作人...
-
西安报告初筛阳性病例转为确诊病例
12月15日10:20,经陕西西安市级专家组会诊,西安市报告新冠病毒...
-
广东东莞新增本土确诊病例2例 ...
(抗击新冠肺炎)广东东莞新增本土确诊病例2例 全市全员核酸检测...
-
中缅边境临沧:民警深夜出击捣毁...
中新网临沧12月15日电 (胡波 邱珺珲)记者15日从云南临沧边境...
-
“土家鼓王”彭承金:致力传承土...
中新网恩施12月15日电 题:“土家鼓王”彭承金:致力传承土家...