问用于调用的Powershell进度条-sqlcmd
EN

Stack Overflow用户

提问于 2018-07-26 07:02:32

回答 1查看 1.1K关注 0票数 1

因此，我正在尝试创建一个备份脚本，该脚本将从我的mssql下载csv，然后压缩文件，然后将备份上传到亚马逊S3。

我的问题是，当我每天运行脚本时，表的平均行数是2000万行。它看起来就像是永远滞后，直到20分钟后才完成。我想知道是否有一种方法可以特定地显示invoke-sqlcmd的进度条。我做了一些研究，我能找到的所有例子都是只在for循环上创建进度条，而不是单个命令进度。

下面是我的代码：

ECHO "Starting Download"
    Import-Module sqlps
    #$SQLquery="SELECT * FROM dbo.$PREFIX$i"
    $SQLquery="SELECT * FROM dbo.events"
    ECHO "Executing query = $SQLquery"

    $hostname = "."
    $pass = "test"
    $usern = "test"
    $database = "theDB"

    $result=invoke-sqlcmd -ServerInstance $hostname  -query $SQLquery -HostName $hostname -Password $pass -Username $usern -Database $database -verbose


    #echo $result
    pause
    $result |export-csv -path $CSVPATH -notypeinformation
    pause
    ECHO "Starting Zip:"
    Compress-Archive -LiteralPath $CSVPATH -CompressionLevel Optimal -DestinationPath $ZIPPATH

    ECHO "Starting Delete: $CSVPATH "
    del "$CSVPATH" 
    echo "Removed $CSVNAME" 

    aws s3 cp $ZIPPATH s3://test_$ZIPNAME

    pause

这个脚本可以工作，但正如我所说的，我想在invoke-sqlcmd中添加一个进度条，这样它在下载这个大文件时就不会看起来冻结了。

这是我到目前为止所能找到的，但这只对循环进程有效

$VerbosePreference = "Continue"
Write-Verbose "Test Message"

for ($a=1; $a -lt 100; $a++) {
  Write-Progress -Activity "Working..." -PercentComplete $a -CurrentOperation "$a% complete" -Status "Please wait."
  Start-Sleep -Milliseconds 100
}

powershell

progress-bar

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-07-26 23:27:40

考虑到您的大约2000万条记录数据集，在System.Data.Common namespace中使用一些.NET类可能是一个好主意。我不确定Export-Csv是如何实现的，但是System.IO.StreamWriter对于编写大文件非常有效。

一个带有内联注释的简单测试/工作示例：

# replace $tableName with yours
$sqlCount = "SELECT COUNT(*) FROM dbo.$($tableName)";
$sqlSelect = "SELECT * FROM dbo.$($tableName)";
$provider = [System.Data.Common.DbProviderFactories]::GetFactory('System.Data.SqlClient');
$connection = $provider.CreateConnection();
# replace $connectionString with yours, e.g.:
# "Data Source=$($INSTANCE-NAME);Initial Catalog=$($DATABASE-NAME);Integrated Security=True;"; 
$connection.ConnectionString = $connectionString;
$command = $connection.CreateCommand();

# get total record count for Write-Progress
$command.CommandText = $sqlCount;
$connection.Open();
$reader = $command.ExecuteReader();
$totalRecords = 0;
while ($reader.Read()) {
    $totalRecords = $reader[0];
}
$reader.Dispose();

# select CSV data
$command.CommandText = $sqlSelect;
$reader = $command.ExecuteReader();

# get CSV field names
$columnNames = @();
for ($i = 0; $i -lt $reader.FieldCount; $i++) {
    $columnNames += $reader.GetName($i);
}

# read and populate data one row at a time
$values = New-Object object[] $columnNames.Length;
$currentCount = 0;
# replace $CSVPATH with yours
$writer = New-Object System.IO.StreamWriter($CSVPATH);
$writer.WriteLine(($columnNames -join ','));
while ($reader.Read()) {
    $null = $reader.GetValues($values);
    $writer.WriteLine(($values -join ','));
    if (++$currentCount % 1000 -eq 0) {
        Write-Progress -Activity 'Reading data' `
            -Status "Finished reading $currentCount out of $totalRecords records." `
            -PercentComplete ($currentCount / $totalRecords * 100);
    }
}
$command.Dispose();
$reader.Dispose();
$connection.Dispose();
$writer.Dispose();