Chrome浏览器将内置AI大模型Gemini Nano 新版开启内测

Chrome团队宣布,正在探索“内置 AI”概念,即浏览器将具有内置 AI 模型,以便为浏览器功能和网络平台 API 启用设备上的 AI。

官方介绍称,借助内置 AI,您的网站或 Web 应用将能够针对基础模型和专家模型运行各种 AI 任务,而无需担心部署和管理上述模型。特别是,Chrome将推出 Gemini Nano,这是 Gemini 模型系列中最小的版本,可在大多数配备 Chrome 的现代台式机和笔记本电脑上本地运行。

据了解,最新的 Chrome 已经内测内置了 Gemini Nano 大语言模型(4bit3.25B),可以用来做摘要、翻译、写作等任务,并且可以完全本地运行,离线免费。加入早期预览版计划,体验处于早期阶段的内置 AI API

内置 AI 为 Web 开发者带来的好处

与在设备端 AI 中自行构建模型相比,内置 AI 具有以下优势:

易于部署:浏览器分发模型时,会考虑设备功能并管理模型的更新。这意味着,您无需负责通过网络下载或更新大型模型。您无需解决存储空间逐出、运行时内存预算、传送费用和其他难题。

使用硬件加速功能:浏览器的 AI 运行时经过优化,可以充分利用可用的硬件,无论是 GPU、NPU 还是回退到 CPU。因此,您的应用可以在每台设备上获得最佳性能。

在设备上运行的好处

使用内置 AI 方法,在设备上执行 AI 任务变得轻而易举,这反过来又具有以下优势:

本地处理敏感数据:设备端 AI 可以改进您的隐私保护故事。例如,如果您处理敏感数据,则可以通过端到端加密为用户提供 AI 功能。

流畅的用户体验:在某些情况下,无需往返于服务器,意味着您可以提供近乎即时的结果。设备端 AI 可能是可行功能与次优用户体验之间的区别。

对 AI 的访问权限更高:用户的设备可以承担一些处理负载,以换取对功能的更多访问权限。例如,如果您提供高级 AI 功能,则可以使用设备端 AI 来预览这些功能,以便潜在客户可以看到您产品的优势,而无需支付额外费用。这种混合方法还可以帮助您管理推断费用,尤其是针对常用用户流的推断费用。

离线使用 AI:即使没有互联网连接,您的用户也可以使用 AI 功能。这意味着您的网站和 Web 应用可以离线使用或采用可变连接方式,按预期运行。

申请网址:

https://docs.google.com/forms/d/e/1FAIpQLSfZXeiwj9KO9jMctffHPym88ln12xNWCrVkMY_u06WfSTulQg/viewform?pli=1

官方文档:

https://developer.chrome.com/docs/ai/built-in?hl=zh-cn

返回顶部