如何用asp.net实现下降文本格式数据导入数据库的代码？

需求背景与数据准备

在ASP.NET应用开发中，处理文本格式（如CSV、TXT）数据导入数据库的需求十分常见，例如从外部文件批量导入用户信息、产品数据等，文本格式数据通常以固定分隔符（如逗号、分号）或特定格式（如CSV）组织，需先明确数据结构，以CSV为例，每行代表一条记录，字段由逗号分隔，首行通常为表头（如“ID,Name,Email”）。

核心代码实现流程

1. 文件读取：使用StreamReader逐行读取文本文件。
2. 数据解析：解析每行数据，提取字段值（处理特殊字符如逗号、换行）。
3. 数据库连接：建立数据库连接，执行插入操作。
4. 批量处理：为提升性能，可分批处理数据（避免单次插入大量记录）。

关键代码实现（C#示例）

以下代码以CSV文件导入SQL Server数据库为例，展示核心逻辑：

// 1. 定义数据模型（对应数据库表结构）
public class UserData
{
    public int Id { get; set; }
    public string Name { get; set; }
    public string Email { get; set; }
    public DateTime CreatedAt { get; set; }
}
// 2. 文件读取与解析
public void ImportFromCsv(string filePath, string connectionString)
{
    var users = new List<UserData>();
    using (var reader = new StreamReader(filePath))
    {
        string? header = reader.ReadLine(); // 读取表头（可选）
        while (!reader.EndOfStream)
        {
            var line = reader.ReadLine();
            if (string.IsNullOrWhiteSpace(line)) continue;
            var fields = line.Split(','); // 假设以逗号分隔
            // 处理字段值（去除首尾空格）
            var user = new UserData
            {
                Id = int.Parse(fields[0].Trim()),
                Name = fields[1].Trim(),
                Email = fields[2].Trim()
            };
            users.Add(user);
        }
    }
    // 3. 批量插入数据库
    using (var connection = new SqlConnection(connectionString))
    {
        connection.Open();
        using (var bulkCopy = new SqlBulkCopy(connection))
        {
            bulkCopy.DestinationTableName = "Users";
            bulkCopy.WriteToServer(users.ToDataTable()); // 转换为DataTable
        }
    }
}
// 辅助方法：List<T>转DataTable
public DataTable ToDataTable<T>(this IEnumerable<T> items)
{
    var table = new DataTable();
    var properties = typeof(T).GetProperties();
    foreach (var prop in properties)
    {
        table.Columns.Add(prop.Name);
    }
    foreach (var item in items)
    {
        var row = table.NewRow();
        foreach (var prop in properties)
        {
            row[prop.Name] = prop.GetValue(item);
        }
        table.Rows.Add(row);
    }
    return table;
}

关键步骤说明与优化

常见问题与解答（FAQs）

Q1：如何处理文本文件中的特殊字符（如逗号、换行符）？
A1：若字段本身包含分隔符（如逗号），可使用双引号包裹字段（如"Name, Last", “Address, Line 1″），或在解析时调整分隔符（如分号），预处理文本时替换特殊字符（如Replace(",", "")）。

Q2：导入大量数据时，如何优化性能？
A2：采用批量插入（SqlBulkCopy）减少数据库交互次数；使用异步操作（async/await）提升I/O效率；分批处理数据（如每次处理1000条记录）,避免内存溢出。