Python和SQLite游标处理多行数据

╰半夏微凉° 2024-02-19 08:17 25阅读 0赞

如果您需要处理多行数据，使用游标或其他适当的方法是更好的选择。以下是一些处理多行数据的方法：

*  使用游标：游标可以逐行处理查询结果，这对于大量数据或需要逐行处理的场景非常有用。以下是一个使用Python和SQLite的游标示例：

import sqlite3
    
    conn = sqlite3.connect('example.db')
    cursor = conn.cursor()
    
    # 执行查询
    cursor.execute("SELECT * FROM your_table")
    
    # 使用fetchone()逐行获取数据
    row = cursor.fetchone()
    while row is not None:
        # 在这里处理每一行数据
        print(row)
        row = cursor.fetchone()
    
    # 关闭游标和连接
    cursor.close()
    conn.close()

*  使用批量操作：如果您的数据库支持批量操作，可以一次性处理多行数据。例如，在SQLite中，您可以使用`executemany()`方法执行多行插入：

import sqlite3
    
    conn = sqlite3.connect('example.db')
    cursor = conn.cursor()
    
    # 准备数据
    data = [
        ('row1_value1', 'row1_value2'),
        ('row2_value1', 'row2_value2'),
        ('row3_value1', 'row3_value2')
    ]
    
    # 使用executemany()执行批量插入
    cursor.executemany("INSERT INTO your_table (column1, column2) VALUES (?, ?)", data)
    
    # 提交更改并关闭游标和连接
    conn.commit()
    cursor.close()
    conn.close()

*  使用分批处理：如果您的数据量非常大，可以将数据分批处理，以减少内存占用和提高性能。以下是一个分批处理的示例：

import sqlite3
    
    conn = sqlite3.connect('example.db')
    cursor = conn.cursor()
    
    # 设置批处理大小
    batch_size = 100
    
    # 执行查询
    cursor.execute("SELECT * FROM your_table")
    
    # 使用fetchmany()分批获取数据
    rows = cursor.fetchmany(batch_size)
    while len(rows) > 0:
        for row in rows:
            # 在这里处理每一行数据
            print(row)
    
        # 获取下一批数据
        rows = cursor.fetchmany(batch_size)
    
    # 关闭游标和连接
    cursor.close()
    conn.close()