/clrオプションまでの場合にはネイティブコードも含まれる形になります。
標準のままコンパイルしたDLLをx64環境でC#からなど読み出しを行うとBadImageFormatExceptionが発生します。
x64向けDLLを作成する方法は
http://msdn2.microsoft.com/ja-jp/library/9yb4317s(VS.80).aspx
必然的に呼び出す側のC#などもx86向け, x64向けのアセンブリを分けてやる必要がありそうです。
EXEは1つで、app.configの設定でOSのプラットフォームにあわせてリダイレクトしてやれそうな気がしたのですが、出来なさそうですね。