正文

轻松实现CSV到MySQL批量导入，告别手动操作，提升数据迁移效率！

/0 浏览量
0322

引言

在数据管理和迁移过程中，将CSV文件批量导入MySQL数据库是一个常见的需求。手动操作不仅费时费力，而且容易出错。本文将详细介绍如何使用Python和MySQL的命令行工具实现CSV到MySQL的批量导入，从而提高数据迁移的效率。

准备工作

在开始之前，请确保以下准备工作已完成：

  1. 安装Python环境。
  2. 安装MySQL客户端和Python的MySQLdb模块。
  3. 准备好待导入的CSV文件和MySQL数据库。

1. 使用Python读取CSV文件

首先，我们需要使用Python读取CSV文件。以下是一个使用Python的csv模块读取CSV文件的示例代码：

import csv

def read_csv(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        reader = csv.reader(file)
        for row in reader:
            print(row)

# 调用函数读取CSV文件
read_csv('your_file.csv')

2. 连接MySQL数据库

接下来，我们需要使用MySQLdb模块连接到MySQL数据库。以下是一个连接到MySQL数据库的示例代码：

import mysql.connector

def connect_to_db(host, user, password, database):
    connection = mysql.connector.connect(
        host=host,
        user=user,
        password=password,
        database=database
    )
    return connection

# 调用函数连接到数据库
connection = connect_to_db('localhost', 'root', 'password', 'your_database')

3. 执行批量导入

在连接到数据库后，我们可以使用以下代码执行CSV文件的批量导入：

def batch_import_csv_to_mysql(csv_file, table_name, connection):
    cursor = connection.cursor()
    with open(csv_file, 'r', encoding='utf-8') as file:
        reader = csv.reader(file)
        for row in reader:
            query = f"INSERT INTO {table_name} ({','.join(['`' + col + '`' for col in row])}) VALUES ({','.join(['%s'] * len(row))})"
            cursor.execute(query, row)
    connection.commit()
    cursor.close()

# 调用函数执行批量导入
batch_import_csv_to_mysql('your_file.csv', 'your_table', connection)

4. 关闭数据库连接

最后，不要忘记关闭数据库连接：

connection.close()

总结

通过以上步骤，我们可以轻松地将CSV文件批量导入MySQL数据库。这种方法可以大大提高数据迁移的效率，并减少手动操作的错误。在实际应用中，您可以根据需要调整代码，以满足不同的需求。

-- 展开阅读全文 --