Robocopy /Zオプションの再起動可能モードとは

/Zオプション 再起動可能モード(Restartable Mode)とは

Robocopyの /Z オプションの「再起動可能モード(Restartable Mode)」とは何でしょうか。インターネットで調べても、あまりちゃんとした解説は見つからないですよね。恥ずかしながら、私自身も、つい最近まで、再起動可能モードとは「Windowsシステムドライブをコピーするためのオプション」だと思ってました！

それはさておき、いろいろ検索して情報を集めてみた結果、/Z オプションの再起動可能モードをようやく理解できるようになりましたので、まとめたいと思います。

まず、再起動可能モード(Restartable Mode) を簡潔にまとめると、

なのですが、特に、巨大なファイルを、低速・低信頼のネットワークを経由してコピーする場合を想定した機能になっています。この条件は意外と大事で、実際、/Zオプションを付けても、ネットワーク経由のコピー(コピー元、コピー先いずれかがUNC表記)でなければ再起動可能モードでの動作にはなりません。

Robocopyの通常コピーでは、コピーに失敗した場合、ファイルを最初からコピーをやり直すことになるのですが、再起動可能モードの場合は、この中断ポイントからコピーを再開してくれるため、手戻りがありません。非常に込み合っている回線を経由する場合など、長時間のコピーの途中で中断してしまうことがありますが、そうなると時間的なロスが大きいですし、時には、何度やっても失敗してコピーが完了できないということも起こりえます。そのようなことを回避し、着実に処理を進め、完了させるためには、再起動可能モードは有効です。

再起動可能モードのデメリット

それだけ便利な機能なのであれば、再起動可能モードをrobocopyのデフォルトの動作にしてしまえばいいのでは、と思われるのですが、実は、そうはいきません。再起動可能モードでは、途中からコピーを再開できるようにしておくため、書き込みの進捗情報を逐次コピー先ファイルに書き込むといった処理が行われます。これには、少なくないオーバーヘッド処理を必要とし、コピーの処理速度が大きく低下するという欠点があります。

いくつかの記事、自分でやってみた結果などを踏まえると、処理速度はだいたい数十倍くらい遅くなることがあります。ですので、再起動可能モードで動作しているかどうかは、明らかに処理速度が遅くなっていることで分かると思います。

従って、再起動可能モードを本当に必要とする場合以外は/Zオプションを付けるべきではありません。これは、Microsoftのrobocopyのドキュメントにも記述されています。

再起動可能モードを指定すべきケース

ということで、/Zオプションを付け再起動可能モードとすべきケースは、以下のような条件を満たすケースとなります。

• コピーするファイルが巨大ファイルであること、かつ、
• 低速・低信頼のネットワークを経由するコピーであること、かつ、
• １ファイルのコピーの途中で失敗する可能性があること、かつ、
• コピー途中で失敗してもリトライし、時間がかかっても着実にコピーを完了させたい場合

それ以外の場合、特に以下のような場合には/Zオプションを付けるべきではありません。

• PC内のローカルコピーである場合
• ネットワークが高速で安定している場合
• ファイルサイズが巨大でない場合
• 頻繁に更新されるようなファイルの場合

 ファイルコピー失敗後、再コピーする時点で元ファイルの内容が更新されていると、結局ファイル全体のコピーになってしまいますので、頻繁に更新されるファイルについても、再起動モードに向かないことになります。

これらのことを考えると、/Zオプションを指定してコピーする場合、巨大なファイルだけを指定してコピーするか、巨大ファイルだけを格納したフォルダを指定してコピーすべきです。大小さまざまなファイルが混ざったフォルダを再起動可能モードでコピーすると、その必要のないファイルまでも再起動可能モードでコピーされてしまい、コピー効率が極めて悪くなります。

再起動可能モードのしくみ

再起動可能モードでのコピーの動作の仕組みを順を追って説明します。

Robocopyの通常時のファイルコピー動作

まず、Robocopyの通常のファイルコピー時の動作は次のようになっています。

• ファイルのコピー開始時に、コピー先ファイルのファイルサイズの領域が確保される。（そのためコピーの途中で容量不足で失敗することはない）
• ファイルのコピー開始後、コピーが完了するまでは、コピー先ファイルの更新日時は「日本時間1980/1/2 9:00AM」に設定される。
• コピーが完了すると、ファイルの日付はコピー元ファイルの更新日時に設定される。

これは、/Zオプションが指定されていても、指定されていなくても、同じ動作になります。

従って、一般的にRobocopyのファイルコピーが途中で中断されたかどうかは、コピー先ファイルの日付が「日本時間1980/1/2 9:00AM」であるかどうかでわかります。

しかし、/Zオプション無しの通常コピーの場合、中断したかどうかはわかっても、どの位置までコピーが進んだかについてはわかりません。そのため、通常のコピーでは、コピーを前回中断されたところから再開させることはできず、ファイルの先頭からコピーしなおすことになります。

再起動可能モード時のファイルコピー動作

再起動可能モード時は、上記通常時のファイルコピー動作に加え、コピー再開時にどの位置からコピーを再開すればよいかを判別するために、「コピーがどこまで進んだか」の情報を、コピー先ファイルの中に記録します。おそらく、１パケット(64K)書き込むごとに、コピー完了位置をコピー先ファイルの特定位置に書き込んでいるのだと思われます。その情報がファイルのどこに書き込まれているかについては、結局手掛かりが得られませんでしたが、コピー先ファイル内のどこかであることは間違いないです。

通常コピーだと、ファイル先頭から順番にシーケンシャルにデータを書き込んでいくので、物理的にも効率よく書き込めるのですが、再起動可能モードの場合、1パケットずつ書き込むごとに、同じファイル内の特定の位置にコピー完了位置を書き込むことをしているため、書き込み位置の移動が激しく、オーバーヘッドが非常に大きくなっているのだと思われます。

再起動可能モードが有効となる条件

再起動可能モードが有効となる条件は以下の通りです。

• /Zオプションを付けること。
• コピー元、コピー先のいずれかがUNCパス形式(\\Server\Share\Pathの形式)であること。

例で示すと以下のようになります。

(1) robocopy N:\source Z:\destination /Z    (これは再起動可能モードにはならない) 

(2) robocopy \\server\share\source Z:\destination /Z    (再起動可能モードになる) 

(3) robocopy N:\source \\server\share\destination /Z    (再起動可能モードになる) 

(4) robocopy \\server1\share\source \\server2\share\destination /Z    (再起動可能モードになる)  

コピー元、コピー先がUNCパス形式であることという条件は、ネットワーク経由のコピーである場合にのみ有効とするためです。しかし、UNCパス表記であったとしても、コピー元、コピー先がともにローカルディスクの場合でも、再起動可能モードが有効となります。

コピー再開の条件

再起動可能モードで、ファイルコピー再開ができるための条件は

• コピー先ファイルが存在し、以下の条件であること。
  • そのファイルが再起動可能モードでコピー中に中断されたファイルであること
  • コピー先ファイルのサイズがコピー元ファイルのサイズと同じであること
  • コピー先ファイルの更新日時が「日本時間1980/1/2 9:00AM」であること (←これはチェックされていないかもしれない)
• 再開コピーも再起動可能モードで実行されていること

つまり、再起動可能モードでコピーを再開させるためには、初めから/Zオプションを指定しておく必要があります。

• robocopy /z なし  →  途中で中断  →  robocopy /z あり    ：コピーの途中再開はしない。（コピーは最初からやり直し）
• robocopy /z あり  →  途中で中断  →  robocopy /z あり    ：コピーを途中再開する。

再起動可能モード実行時の考慮点

Robocopyは受信側ホストで実行したほうが良い

ネットワーク越しにコピーを行う場合、コピー元のPCでrobocopyを実行する場合と、コピー先のPCで実行する場合、両方のケースが考えられます。再起動可能モードでは、コピー先ファイルに管理情報を書き込無処理を行うため、robocopyはコピー先側で実行するほうが多少処理速度が速いと思われます。いくつか実験してみた結果でも、コピー先側でrobocopyを走らせたほうが心持ち速かったようです。

巨大ファイルのみを指定する方法

上述したように、再起動可能モードは大きなファイルに限定して実行するのが良いと思います。あるサイズ以上のファイルに限定して robocopyを実行する場合、/MIN オプションを利用する方法があります。例えば、コピー元フォルダのサブフォルダも含めて、100MB以上のファイルのみ再起動可能モードでコピー、それ以外のファイルは通常コピーとするような場合、以下のようなコマンドになります。

robocopy \\server\share\source Z:\destination /MIN:100000000 /E /Z
robocopy \\server\share\source Z:\destination /MAX:100000000 /E

コピー元、コピー先が同一サーバの場合

これは、再起動可能モード時だけではないのですが、コピー元、コピー先がどちらもUNC形式のネットワークのフォルダで、同じサーバのフォルダであった場合、コピーは非常に高速に実行されます。推測ですが、CIFS側の仕組みで、ローカルでコピーが処理されるためではないかと思います。

例えば、以下のコマンドを実行した場合、

 robocopy \\server1\share\source \\server1\share\destination /Z 

通常の/Zオプション再起動可能モード時のコピーに比べ、かなり高速で処理されます。

あまりこのような使い方はしないと思うのですが、ご参考までに。

結論

/Zオプション、再起動可能モード(Restartable Mode)については、検索しても、ちゃんと解説されたページもあまり見つからず（日本語も英語も）、意外にちゃんと理解されていなかったのではないかと思います。私自身、長い間よくわからなかったこのオプションについてようやく理解できました。

昔、電話回線とモデムでネットにつないでいたころは回線の状態が悪いと頻繁に接続が切れていたものですが、そのような時代では、有効な機能だったのだと思います。しかし、今どきのNWの高速化の状況を考えると、/Zオプションを必要とするケースはほとんどないかもしれませんね。ある意味、robocopyの歴史を感じさせる機能ですね。

このような結論になってしまい、ここまで読んでいただいた読者の方には大変申し訳ありません。^^

参考としたページ

• How to use Robocopy in true restartable mode
  https://superuser.com/questions/643336/how-to-use-robocopy-in-true-restartable-mode
• Will robocopy resume after being aborted?
  https://superuser.com/questions/1514911/will-robocopy-resume-after-being-aborted
• robocopy is 20x slower than drag/droping files between servers
  https://serverfault.com/questions/812210/robocopy-is-20x-slower-than-drag-droping-files-between-servers

RoboSync: RobocopyのためのGUIツール  (ダウンロードはこちら)

RobocopyをGUIから実行できるようにするツールです。ほぼマウス操作だけで実行までできます。
・複数のコピー項目の作成と管理。
・スクリプトファイル（バッチファイル）の出力が可能。スケジューラによるバックグラウンド処理などにも使えます。
・Robocopyによるコピー実行の前に、パラメータのチェック(/QUIT)、または、実行プレビュー(/L)が可能。
・Robocopyのパラメータ設定の簡易チェック、Robocopy実行前の簡易チェックを行います。
・Robocopy実行前後で実行するスクリプトを定義可能。
・Robocopy実行途中での中断、実行ログの履歴管理と保存が可能。

【関連記事・関連コンテンツ】

• 記事：日本語環境でRobocopyを実行した時のクラス表記 (2020/7/5)
• 記事：RoboSync環境変数を使ってスクリプト処理を制御する (2020/6/22)
• 記事：RoboSync 1.3.11 リリースしました (2020/6/21)
• 記事：Robocopy /CREATEオプションの目的と使い方 (2020/6/9)
• 記事：Robocopyでセキュリティ情報を正しくコピーする方法と注意点 (2020/6/6)
• 記事：Robocopy /MON /MOT を使ってフォルダ更新を監視する (2020/5/23)
• 記事：Robocopy /MIRオプションの動作と注意点 (2020/5/21)
• 記事：エクスプローラでファイル属性を表示させる方法 (2020/2/29)
• 記事：エクスプローラで隠しファイル・システムファイルを表示する方法 (2020/2/29)
• 記事：Robocopyでコピー先フォルダが非表示になる (2020/2/29)
• 記事：スクリプト終了後にシャットダウンさせる方法 (2020/2/16)
• 記事：Robocopyを英語表示にしてログ表示の桁ずれをなくす (2020/2/15)
• 記事：Robocopyのログ出力の文字コードについて調べてみた (2020/2/15)
• 記事：タスクスケジューラでコマンドプロンプト画面を表示しないでバッチファイルを実行する (2020/2/9)
• 記事：RoboSync設定事例：個人PCのバックアップ設定例 (2020/2/1)
• 記事：RoboSync TIPS: /Lオプションをつけて実行結果をプレビューする (2020/2/1)
• 記事：Robocopyの基本動作とコマンドオプション解説 (2020/1/14)
• 記事：RoboSync設定事例：フルバックアップ3世代 (2020/1/12)
• 記事：RoboSync設定事例：増分バックアップ(直近20回,14日以内保存) (2020/1/12)
• 記事：Robocopyコマンド: /DCOPY:DATのすすめ (2020/1/7)
• 記事：attribコマンドでフォルダ配下全ファイルの属性変更ができない (2020/1/5)
• 記事：RoboSyncを使って差分・増分バックアップを設定してみる (2020/1/5)
• 記事：バックアップスクリプトを自動で実行する (2020/1/5)