使用 GemBatch 降低提示链接的成本

提示链正在彻底改变我们与大型语言模型 (llm) 交互的方式。通过将多个提示链接在一起，我们可以创建复杂、动态的对话并处理复杂的任务。但这种力量确实是有代价的。每次对 llm 服务（例如 google 的 gemini）的 api 调用都会增加您的账单。

许多llm提供商提供了一个解决方案：批处理。在一个请求中发送多个提示并享受大幅折扣（通常在 50% 左右！）。然而，在提示链工作流程中实现批处理很快就会变成编码噩梦。

批量提示链接的挑战

想象一下您正在构建一个具有多步骤对话的聊天机器人。使用传统的提示链接，您将发送每条用户消息并等待模型的响应，然后再制定下一个提示。但要利用批量折扣，您需要：

• 累积提示：不是立即发送，而是批量收集提示。
• 拥抱异步性：发送批次并等待（可能需要更长的时间）作业完成。
• 映射响应：批量结果到达后，将每个响应与链中相应的提示正确匹配。

除此之外，您还需要处理速率限制、错误和重试。这可能会导致难以阅读、调试和维护的复杂代码。

输入 gembatch：您的即时链接英雄

gembatch 是一个 python 框架，旨在简化与 google gemini 的批处理提示链接。它与 firebase 无缝集成，为您的 llm 应用程序提供熟悉且可扩展的环境。

以下是 gembatch 如何让您的生活更轻松：

• 轻松批处理：gembatch 在幕后处理批处理提示的复杂性。您可以按顺序定义提示链，就像使用传统方法一样。
• 异步处理：gembatch 管理异步批处理作业，确保您的提示链顺利执行，而不会阻塞您的应用程序。
• 简化的响应映射： gembatch 自动将响应路由回提示链中的正确点。
• 节省成本：通过利用 gemini 的批量折扣，gembatch 可以显着降低您的 llm api 成本。

一个简单的例子

import gembatch

# Define a simple prompt chain
def task_a_prompt1():
    gembatch.submit(
        {
            "contents": [
                {
                    "role": "user",
                    "parts": [{"text": "What is the capital of France?"}],
                }
            ],
        },  # prompt 1
        "publishers/google/models/gemini-1.5-pro-002",
        task_a_prompt2
    )

def task_a_prompt2(response: generative_models.GenerationResponse):
    gembatch.submit(
        {
            "contents": [
                {
                    "role": "model",
                    "parts": [{"text": response.text}],
                },
                {
                    "role": "user",
                    "parts": [{"text": f"And what is the population of {response.text}?"}],
                }
            ],
        },  # prompt 2
        "publishers/google/models/gemini-1.5-pro-002",
        task_a_output
    )

def task_a_output(response: generative_models.GenerationResponse):
    print(response.text)

# Start the prompt chain
task_a_prompt1() 

这个简单的示例演示了 gembatch 如何允许您使用 gembatch.submit() 定义提示链。 gembatch 负责对 gemini 的请求进行批处理并管理异步响应。

开始使用 gembatch

准备好释放经济高效的提示链的力量了吗？查看 github 上的 gembatch 存储库：

https://github.com/blueworrybear/gembatch

我们欢迎反馈和建议！

以上就是使用 GemBatch 降低提示链接的成本的详细内容，更多请关注硕下网其它相关文章！