Spring Data JPA 流查询方法

介绍

传统上，获取大量数据可能会导致内存资源紧张，因为它通常涉及将整个结果集加载到内存中。

=> 流查询方法通过提供一种使用 java 8 streams 增量处理数据的方法来提供解决方案。这可确保任何时候只有一部分数据保存在内存中，增强性能和可扩展性。

在这篇博文中，我们将深入研究流查询方法在 spring data jpa 中的工作原理，探索它们的用例，并演示它们的实现。

对于本指南，我们使用：

ide：intellij idea（推荐用于 spring 应用程序）或 eclipse
java 版本：17
spring data jpa 版本：2.7.x 或更高版本（与 spring boot 3.x 兼容）

<dependency>
    <groupid>org.springframework.boot</groupid>
    <artifactid>spring-boot-starter-data-jpa</artifactid>
</dependency>

注意：有关更详细的示例，请访问我的 github 存储库

1.什么是流查询方式？

spring data jpa 中的流查询方法允许我们以 stream 的形式返回查询结果，而不是 list 或其他集合类型。这种方法有几个好处：

• 高效的资源管理：增量处理数据，减少内存开销。

• 延迟处理：按需获取和处理结果，非常适合分页或批处理等场景。

• 与函数式编程集成：流符合 java 的函数式编程特性，支持过滤、映射和收集等操作。

2.如何使用流查询方法？

=> 假设我们正在开发一个电子商务应用程序并希望：

检索在特定日期之后下订单的所有客户。
过滤总金额高于特定提供金额的订单。
按过去 6 个月内的订单总价值对客户进行分组。
返回数据作为客户名称及其总订单价值的摘要。

实体

客户：代表客户。

@setter
@getter
@entity
@entity(name = "tbl_customer")
public class customer {
    @id
    @generatedvalue(strategy = generationtype.identity)
    private long id;

    private string name;
    private string email;

    @onetomany(mappedby = "customer", cascade = cascadetype.all, fetch = fetchtype.lazy)
    private list<order> orders;
}

订单：代表客户下的订单。

@setter
@getter
@entity(name = "tbl_order")
public class order {
    @id
    @generatedvalue(strategy = generationtype.identity)
    private long id;

    private double amount;
    private localdatetime orderdate;

    @manytoone
    @joincolumn(name = "customer_id")
    private customer customer;
}

存储库

customerrepository 用于选择客户及其在特定日期之后下的相关订单。我们使用 stream 而不是 list 来处理查询结果。

public interface customerrepository extends jparepository<customer, long> {
    @query("""
                select c from tbl_customer c join fetch c.orders o where o.orderdate >= :startdate
            """)
    @queryhints(
            @queryhint(name = availablehints.hint_fetch_size, value = "25")
    )
    stream<customer> findcustomerwithorders(@param("startdate") localdatetime startdate);
}

注意：

• join fetch 确保订单被急切加载。

• @queryhints 用于向 jpa（例如 hibernate）提供额外提示以优化查询执行。

=> 例如，当我的查询返回 100 条记录时：

前 25 条记录由应用程序获取并处理。
处理完这些后，将获取接下来的 25 条记录，依此类推，直到处理完所有 100 条记录。
此行为最大限度地减少了内存使用量，并避免一次将所有 100 条记录加载到内存中。

服务

@service
@requiredargsconstructor
public class customerorderservice {
    private final customerrepository customerrepository;

    @transactional(readonly = true)
    public map<string, double> getcustomerordersummary(localdatetime startdate, double minorderamount) {
        try (stream<customer> customerstream = customerrepository.findcustomerwithorders(startdate)) {
            return customerstream
                    // filter customers with orders above the threshold
                    .flatmap(customer -> customer.getorders().stream()
                            .filter(order -> order.getamount() >= minorderamount)
                            .map(order -> new abstractmap.simpleentry<>(customer.getname(), order.getamount())))
                    // group by customer name and sum order amounts
                    .collect(collectors.groupingby(
                            abstractmap.simpleentry::getkey,
                            collectors.summingdouble(abstractmap.simpleentry::getvalue)
                    ));
        }
    }
}

这里是处理数据的服务类，有两个参数startdate和minorderamount。正如您所看到的，我们不使用 sql 查询进行过滤，而是将所有数据作为流加载，然后通过 java 代码进行过滤和分组。

控制器

@restcontroller
@requestmapping("/customers")
@requiredargsconstructor
public class customerordercontroller {
    private final customerorderservice customerorderservice;

    @getmapping("/orders")
    public responseentity<map<string, double>> getcustomerordersummary(
            @requestparam @datetimeformat(iso = datetimeformat.iso.date_time) localdatetime startdate,
            @requestparam double minorderamount
    ) {
        map<string, double> ordersummary = customerorderservice.getcustomerordersummary(startdate, minorderamount);
        return responseentity.ok(ordersummary);
    }
}

测试

=> 要创建测试数据，您可以在我的源代码中执行以下脚本或自己添加。

src/main/resources/dummy-data.sql

请求：

开始日期: 2024-05-01t00:00:00
最小订单金额：100

curl --location 'http://localhost:8090/customers/orders?startdate=2024-05-01t00%3a00%3a00&minorderamount=100'

回应：

返回总金额等于或大于 minorderamount 的所有客户。

{
  "Jane Roe": 500.0,
  "John Doe": 150.0,
  "Bob Brown": 350.0,
  "Alice Smith": 520.0
}

3. 流与列表

=> 您可以使用 intellij profiler 监控内存使用情况和执行时间。有关如何添加和测试大数据集的更多详细信息，您可以在我的 github 存储库中找到

小数据集：（10 个客户，100 个订单）

流：执行时间（~5ms），内存使用（低）
列表：执行时间（~4ms），内存使用（低）

大型数据集（10.000 个客户，100.000 个订单）

流：执行时间（~202ms），内存使用（中等）
列表：执行时间（~176ms），内存使用（高）

性能指标

metric	stream	list
initial fetch time	slightly slower (due to lazy loading)	faster (all at once)
memory consumption	low (incremental processing)	high (entire dataset in memory)
memory consumption	low (incremental processing)	high (entire dataset in memory)
processing overhead	efficient for large datasets	may cause memory issues for large datasets
batch fetching	supported (with fetch size)	not applicable
error recovery	graceful with early termination	limited, as data is preloaded

总结

spring data jpa 流查询方法提供了一种优雅的方式来高效处理大型数据集，同时利用 java streams 的强大功能。通过增量处理数据，它们减少了内存消耗并与现代函数式编程范例无缝集成。

您对流查询方法有何看法？在下面的评论中分享您的经验和用例！

下一篇文章见。快乐编码！

以上就是Spring Data JPA 流查询方法的详细内容，更多请关注硕下网其它相关文章！