まずは、インストーラです。インストーラ側の対応は、MsiRMFilesInUse というダイアログを用意するだけです。
どんなダイアログかというと... Authoring to Windows Installer 4.0 Features mentioned at PDC 2005 の最初に出てくる巨大なテーブルです(絵じゃなくてごめんなさいｗ)。
インストーラでは上記のテーブル(WiX ならば既に用意されています)を msi の中に埋め込むだけで対応完了です。
他に必要な作業はありません。
が、１つだけ注意しておく必要のあることがあります。デフォルトでは、MsiRMFilesInUse ダイアログを持つインストーラで更新を行なおうとすると、必ずこのダイアログが出てしまいます。
当然のことながら、非対応なアプリをアップデートする必要がある場合には出ても困ってしまいます(実際に某お部屋で困ったことにｗ)。
これを動的に制御するには、MSIRESTARTMANAGERCONTROL プロパティを利用します。
これを使えば、更新対象が RestartManager を実装しているかどうかを動的に判定することが出来ると思います(すいません、この記事書きながら探し当てました。なので、未検証ですｗ)。
もうちょっと調査が必要なところも残ってはいるのですが、Vista での拡張はインストーラ作者にとっては非常に優しい対応となっているようです。
なお、これらの挙動は、全て msi のランタイムエンジンが 4.0 であればよいだけで、msi のファイルが要求するバージョンは 2.0 でも動作します。
なので、しこしことダイアログをこさえてあげれば、IS9 のような古いバージョンでも使えます(ただし、InstallScriptの対応は別問題ですので、ご注意をｗ)。