网站搜索

在 PowerShell 中合并多个 CSV 文件 [3 种方法]

使用 Import-Csv 和 Export-Csv

在合并多个 .csv 文件之前，我们先编写一个脚本来查看指定目录中有多少个 .csv 文件。

为此，创建一个名为 $sourcefiles 的变量，其中包含目录中所有 CSV 文件的列表。接下来，使用 Get-ChildItem cmdlet 检索目录中的所有 CSV 文件。您可以使用以下命令来执行此操作。

使用 Get-ChildItem 检索所有 CSV 文件：

$sourcefolder = "C:\Users\DELL\Desktop\work\csv"
$sourcefiles = Get-ChildItem -Path $sourcefolder -Filter *.csv
$sourcefiles

输出 ：

Directory: C:\Users\DELL\Desktop\work\csv

Mode                 LastWriteTime         Length Name
----                 -------------         ------ ----
-a----          1/4/2023   7:46 PM             52 students_group1.csv
-a----          1/4/2023   7:47 PM             46 students_group2.csv

我们可以在给定目录中看到两个 .csv 文件（students_group1.csv 和 students_group2），即 C:\Users\在我们的例子中为 DELL\Desktop\work\csv；确保更新包含 CSV 文件的目录。但首先，让我们看看每个 .csv 文件中可用的内容。

使用 Import-Csv Cmdlet：

ipcsv students_group1.csv | ft -AutoSize

名为students_group1.csv的文件的内容：

Name   Marks
----   -----
Ayesha 80
Burhan 95
Usman  79
Haram  60

使用 Import-Csv Cmdlet：

ipcsv students_group2.csv | ft -AutoSize

名为students_group2.csv的文件的内容：

Name  Marks
----  -----
Amna  60
Fizza 75
Sana  89
Ali   88

在上面，我们可以看到 students_group1.csv 和 students_group2.csv 文件包含两列（Name、Marks）四行包含有关学生姓名和分数的信息。这里，我们使用ipcsv命令读取CSV文件的内容，该命令是PowerShell中Import-Csv的别名。

现在，我们可以使用 foreach 循环来遍历 $sourcefiles 列表中的每个 .csv 文件，并将它们合并为一个 .csv 文件。以下是如何执行此操作的示例代码：

使用 Import-Csv Cmdlet：

$sourcefolder = "C:\Users\DELL\Desktop\work\csv"
$sourcefiles = Get-ChildItem -Path $sourcefolder -Filter *.csv
$result = @()
foreach ($file in $sourcefiles) {
    $data = Import-Csv $file.FullName
    $result += $data
}
$result | Export-Csv "C:\Users\DELL\Desktop\work\csv\merged.csv" -NoTypeInformation
$result

输出 ：

Name   Marks
----   -----
Ayesha 80
Burhan 95
Usman  79
Haram  60
Amna   60
Fizza  75
Sana   89
Ali    88

在此代码段中，使用 Import-Csv cmdlet 将 .csv 文件的内容读取到 $data 变量中。然后更新 $result 变量以包含每个 .csv 文件中的数据。 $result 包含两个 CSV 文件中可用的合并数据。

最后，我们可以使用 Export-Csv cmdlet 将合并的数据写入新的 CSV 文件。以下是如何执行此操作的示例：

使用 Export-Csv Cmdlet：

$result | Export-Csv "C:\Users\DELL\Desktop\work\csv\merged.csv" -NoTypeInformation

执行上述代码后，我们可以在给定目录 (C:\Users\DELL\Desktop\work\csv ) 中观察到一个名为 merged.csv 的新 CSV 文件：目录中所有 CSV 文件的合并数据。

注意：仅当这两个 CSV 文件具有相同的结构（即它们具有相同数量的字段/列，并且每列中的数据具有相同类型）时，此方法才有效。

使用 + 运算符

使用 + 运算符在 PowerShell 中连接两个 CSV 文件。

使用 + 运算符：

# Import the data from the first CSV file
$csv_file1 = Import-Csv 'C:\Users\DELL\Desktop\work\csv\students_group1.csv'
# Import the data from the second CSV file
$csv_file2 = Import-Csv 'C:\Users\DELL\Desktop\work\csv\students_group2.csv'

# Concatenate the data from the two CSV files
$merged_csv = $csv_file1 + $csv_file2

# Export the merged data to a new CSV file
$merged_csv |
Export-Csv 'C:\Users\DELL\Desktop\work\csv\merged_csv_File.csv' -NoTypeInformation
$merged_csv

输出 ：

Name Marks
----------
Ayesha 80
Burhan 95
Usman  79
Haram  60
Amna  60
Fizza 75
Sana  89
Ali   88

我们已经了解了 Import-Csv 和 Export-Csv cmdlet，它们分别读取源文件的内容并将合并的数据写入新的 CSV 文件。

此处，将在指定路径中创建一个名为 merged_csv_File.csv 的新文件，其中包含 csv_file1.csv 和 csv_file2.csv 的合并数据（请参阅上面的输出）。

使用File类

使用 File 类的 ReadAllLines() 和 WriteAllLines() 方法在 PowerShell 中合并两个具有相同标头的 CSV 文件。

使用文件类：

#path to save merged CSV file
$outputCsv = "C:\Users\DELL\Desktop\work\csv\result.csv"

#path to read CSV files 
$inputCsvs = get-childItem "C:\Users\DELL\Desktop\work\csv\*.csv"

#read and write CSV header
[System.IO.File]::WriteAllLines($outputCsv,[System.IO.File]::ReadAllLines($inputCsvs[0])[0])

#read and append file contents except for the header
foreach ($csv in $inputCsvs)  {
 $lines = [System.IO.File]::ReadAllLines($csv)
 #append all text to $outputCsv file
 [System.IO.File]::AppendAllText($outputCsv, ($lines[1..$lines.Length] | Out-String))
}

#import $outputCsv to see merged content
ipcsv $outputCsv | ft -AutoSize

输出 ：

Name Marks
----------
Ayesha 80
Burhan 95
Usman  79
Haram  60
Amna  60
Fizza 75
Sana  89
Ali   88

执行上述脚本后，我们可以看到在指定目录C:\Users\DELL\Desktop\work\csv中创建了合并文件，名为result.csv。

在上面的示例中，我们创建了两个变量，$inputCsvs 包含 CSV 文件（students_group1.csv 和 students_group2.csv 所在目录的路径）) 位于我们要合并的位置，并创建 $outputCsv 变量来存储合并的 CSV 文件数据。

这里，使用 System.IO.File 类的 ReadAllLines() 方法读取数组 $inputCsvs 中第一个 CSV 文件的标头，并将其写入合并中使用 WriteAllLines() 方法的 CSV ($outputCsv)。

  • 在 Powershell 中，WriteAllLines 创建一个新文件，将指定的字符串数组写入该文件，然后关闭它。
  • ReadAllLines 打开一个文件，读取该文件的所有行，然后关闭它。

之后，使用 foreach 循环遍历目录中的每个 CSV 文件。在循环内部，我们再次使用 ReadAllLines() 方法读取 CSV 文件的所有行，同时使用 AppendAllText() 方法将所有数据追加到合并的 CSV 中文件（$outputCsv）。

这就是如何在 PowerShell 中合并多个 CSV 文件。

相关文章