java 百万数据查询_JAVA技巧：Java中的大量数据查询

迷南。 2022-11-03 11:56 348阅读 0赞

解决方案一：直接使用ResultSet来处理

从ResultSet中将查询结果读入collection,缓存在HttpSession或有状态bean中，翻页的时候从缓存中取出一页数据显示。这种方法有两个主要的缺点：一是用户可能看到的是过期数据；二是如果数据量非常大时第一次查询遍历结果集会耗费很长时间，并且缓存的数据也会占用大量内存，效率明显下降。

对上述方法的一种改进是当用户第一请求数据查询时，就执行SQL语句查询，获得的ResultSet对象及其要使用的连接对象都保存到其对应的会话对象中。以后的分页查询都通过第一次执行SQL获得的ResultSet对象定位取得指定页的记录(使用rs.last();rs.getRow() 获得总计录条数，使用rs.absolute()定位到本页起始记录)。最后在用户不再进行分页查询时或会话关闭时，释放数据库连接和ResultSet 对象等数据库访问资源。每次翻页都只从ResultSet中取出一页数据。这种方式在某些数据库(如oracle)的JDBC实现中差不多也是回缓存所有记录而占用大量内存，同时速度也非常慢。

在用例分页查询的整个会话期间，一个用户的分页查询就要占用一个数据库连接对象和结果集的游标，这种方式对数据库的访问资源占用比较大，并且其利用率不是很高。

优点：减少了数据库连接对象的多次分配获取，减少了对数据库的SQL查询执行。

缺点：占用数据库访问资源－数据库连接对象，并占用了数据库上的资源－游标；会消耗大量内存；

解决方案二：定位行集SQL查询

使用数据库产品提供的对查询的结果集可定位行范围的SQL接口技术。在用户的分页面查询请求中，每次可取得查询请求的行范围的参数，然后使用这些参数生产取得指定行范围的的SQL查询语句，然后每次请求获得一个数据库连接对象并执行SQL查询，把查询的结果返回给用户，最后释放说有的数据库访问资源。

这种方式需要每次请求时都要执行数据库的SQL查询语句；对数据库的访问资源是使用完就立即释放，不白白占用数据库访问资源。对特定(提供了对查询结果集可定位功能的)的数据库产品，如：Oracle(rowid或rownum ),DB2(rowid或rownum ()), PostgreSQL(LIMIT 和 OFFSET),mySQL(Limit)等。(MS SQL Server 没有提供此技术。)

下面是在oracle下的查询语句示例：

SELECT \* FROM ( SELECT row\_.\*, rownum rownum\_ FROM (...... ) row\_ WHERE rownum <= \{pageNumber\*rowsPerPage\}) WHERE rownum\_ > \{(pageNumber-1)\*rowsPerPage\}

优点：对数据库的访问资源(数据库连接对象，数据库游标等)没有浪费，这些资源的充分重复的利用。

缺点：对每次分页面查询请求要频繁的从Web容器中获得数据库访问资源(数据库连接对象和数据库游标)并建立连接；要依赖于具体的数据库产品的支持