在用户的浏览器中本地运行 AI

我们都知道人工智能有多么伟大，但是，仍然存在两个主要问题：数据隐私和成本。

现在所有使用人工智能的应用程序都连接到云API。这些 API 记录提示和上下文，在某些情况下，它们使用这些数据来训练模型。这意味着您在其中包含的任何敏感数据都可能会暴露。

大多数 Web 应用程序使用以下模式集成 AI 功能：

这里的问题是应用服务器需要将用户数据发送到AI API，这是第三方API，我们无法真正知道用户数据会发生什么。

但是，我们为什么不在用户设备而不是云端处理人工智能？我已经对其进行了几周的测试，取得了惊人的结果。我发现了 3 个主要优点：

1. 用户数据绝不会发送给第三方。它始终保留在用户设备上。
2. 对于应用开发者来说是免费的，您不需要为用户推理付费，因为它直接发生在用户设备上。
3. 可扩展性是无限的，因为每个新用户都会带来自己的计算能力。

让我们快速看一下当我们将 AI 计算卸载给用户时，之前的架构如何变化：

这是一个非常简单的概念。用户一如既往地使用我们的应用程序，但是当有一些任务需要执行人工智能计算时，我们不使用第三方API，而是将其发送给用户，用户的设备将以最安全的方式执行该计算，本地。

这不仅仅是一个梦想，它已经功能齐全了，我创建了一个名为Offload的平台，让每个人都可以轻松使用这个架构，只需更改几行代码。 SDK 将处理幕后的所有事务，从下载适合用户设备的模型，到帮助您在本地管理提示和评估提示响应，将评估结果发送回给您，而不会暴露用户数据。一切都通过单个函数调用透明地进行。

我正在寻找可能从中受益的网络开发人员，即使它只是为了业余爱好项目，所以，如果你喜欢这种方法ping我！我很乐意帮助您在应用程序中进行设置，您会发现在几分钟内迁移实际上非常简单。

将 Offload 集成到您的应用程序中

以上就是在用户的浏览器中本地运行 AI的详细内容，更多请关注其它相关文章！