VS2005の以前のバージョンは、手動によりアンインストールする必要があります。以下を参考にして、手動で一つずつ心をこめてアンインストールして下さいｗ
http://lab.msdn.microsoft.com/expressrtm/uninstall/#VS
ただし、経験上、必ずしも上記のとおりにはなりませんので、beta2またはRCに関連すると思われるものは、ご自身で判断してアンインストールする必要があります。
参考にまでに、私の環境でアンインストールした時のメモを以下に掲載します。
▼Visual Studio 2005 Beta2 Japaneseのアンインストール
Remove "Microsoft SQL Server 2005 Express Edition"
Remove "Microsoft SQL Server 2005 Mobile [JPN] Beta 3 Developer Tools"
Remove "Microsoft SQL Server 2005 Tools Express Edition CTP"
Remove "Microsoft SQL Native Client"
Remove "Microsoft SQL Native Client"
Remove "Microsoft Visual Studio Tools for Office System 2005 Runtime Language Pack"
Remove "Microsoft Visual Studio Tools for Office System 2005 Runtime Beta"
Remove "Microsoft Device Emulator 1.0 Beta2 JPN"
Remove "Microsoft .NET Compact Framework 2.0 Beta 2"
Remove "Microsoft .NET Compact Framework 1.0 SP3 Developer Beta 2"
Remove "Microsoft Visual Studio 2005 Team Suite Beta 2 日本語"
Remove "Microsoft Visual J# 2.0 日本語 Language Pack Beta 2"
Remove "Microsoft Visual J# Redistributable Package 2.0 Beta"
Remove "MSDN Library for Visual Studio 2005 Beta 2"
Remove "MSXML 6.0 Parser and SDK"(Remove "MSXML 6.0 パーサーと SDK"も自動的に消えてしまった）
Remove "Microsoft .NET Framework 2.0 日本語 Language Pack Beta 2"
Remove "Microsoft .NET Framework 2.0 Beta 2"
Remove "Visual Studio Tools 2005 for Office System Runtime Language Pack Beta 2"
▼Visual Studio 2005 RC Japaneseのアンインストール
Remove "Microsoft SQL Server 2005"
Remove "Microsoft SQL Server 2005 Mobile [JPN] Developer Tools"
Remove "Microsoft SQL Native Client"
Remove "Microsoft Visual Studio 2005 Tools for Office Runtime"
Remove "Microsoft Visual Studio 2005 Tools for Office Runtime Language Pack"
Remove "Microsoft Device Emulator 1.0 - JPN"
Remove "Microsoft .NET Compact Framework 2.0"
Remove "Microsoft .NET Compact Framework 1.0 SP3 Developer"
Remove "Microsoft Visual Studio 2005 Team Suite 日本語"
Remove "Microsoft Document Explorer 2005 日本語 Language Pack"
Remove "Microsoft Document Explorer 2005"
Remove "MSXML 6.0 Parser"(自動的に消えてしまった）
Remove "Microsoft Visual J# 2.0 日本語 Language Pack"
Remove "Microsoft Visual J# Redistributable Package 2.0"
Remove "Visual Studio 2005 MSDN ライブラリ - 日本語版"
Remove "Microsoft .NET Framework 2.0 日本語 Language Pack"
Remove "Microsoft .NET Framework 2.0"