http://nemuneri.blog59.fc2.com/blog-entry-40.htmlにある方法で、Visual Studio 2010日本語版にWindows Phone用テンプレート統合していた人はアンインストール前に
C:\Program Files (x86)\Microsoft Visual Studio 10.0\Common7\IDE\ItemTemplates\CSharp\Silverlight for Windows Phone\1041フォルダ
を削除して
C:\Program Files (x86)\Microsoft Visual Studio 10.0\Common7\IDE\devenv /setup
を実行しておいた方がいいでしょう。
インストーラーが認識していないセットアップですものね。