正文

轻松掌握CSV转MySQL：一键脚本实现数据迁移与数据库同步

/0 浏览量
0322

引言

CSV（逗号分隔值）和MySQL是数据处理和存储中常用的两种格式。在许多情况下，我们需要将CSV文件中的数据导入到MySQL数据库中。本文将介绍如何使用一键脚本实现CSV到MySQL的数据迁移与数据库同步。

脚本需求

在编写脚本之前，我们需要明确以下几个需求：

  1. CSV文件解析：能够读取并解析CSV文件的内容。
  2. 数据库连接：能够连接到MySQL数据库。
  3. 数据导入：将CSV文件中的数据导入到MySQL数据库的指定表中。
  4. 错误处理：在数据迁移过程中，能够处理可能出现的错误，并给出相应的提示。

环境准备

在开始编写脚本之前，请确保以下环境已准备好：

  1. Python环境：Python 3.x版本。
  2. MySQL数据库：已安装并配置好的MySQL数据库。
  3. 数据库连接工具：如mysql-connector-python或pymysql。

脚本编写

以下是一个简单的Python脚本示例，用于实现CSV到MySQL的数据迁移：

import csv
import mysql.connector

# 数据库连接配置
config = {
    'user': 'your_username',
    'password': 'your_password',
    'host': 'localhost',
    'database': 'your_database',
    'raise_on_warnings': True,
}

# 连接数据库
cnx = mysql.connector.connect(**config)
cursor = cnx.cursor()

# CSV文件路径
csv_file_path = 'your_file.csv'

# CSV文件解析并导入数据库
with open(csv_file_path, mode='r', encoding='utf-8') as csvfile:
    csv_reader = csv.DictReader(csvfile)
    for row in csv_reader:
        # 构建插入SQL语句
        insert_query = f"INSERT INTO your_table_name ({','.join(row.keys())}) VALUES ({','.join(':%s' % key for key in row.keys())})"
        insert_values = [row[key] for key in row.keys()]
        
        # 执行SQL语句
        cursor.execute(insert_query, insert_values)
        
# 提交事务
cnx.commit()

# 关闭数据库连接
cursor.close()
cnx.close()

脚本说明

  1. 数据库连接配置：根据实际情况填写数据库的用户名、密码、主机和数据库名。
  2. CSV文件路径：填写需要迁移的CSV文件路径。
  3. 数据导入：使用csv.DictReader读取CSV文件，并使用mysql.connector库将数据导入到MySQL数据库中。

总结

通过以上脚本，我们可以轻松地将CSV文件中的数据导入到MySQL数据库中。在实际应用中，可以根据需求对脚本进行修改和完善。希望本文对您有所帮助！

-- 展开阅读全文 --