フォローありがとうございます。
これはどうも、古い書体だとWordが微妙にレイアウトをいじるためのようです。横書きでも書体のよってはこうなります。
Meiryo でやってみてください。ひとつの Glyphs になります。
確かにフォント系の API はほぼないですが、勝手に埋め込んではくれますよ。XPS は PDF と違って、埋め込み必須ですから。
縦書きがない、という段階で日本語組版として失格、というのには激しく同意しますが。
グリフ置換、できました。でも書体によってはだめ、という問題は残ってしまいましたが。
http://ii.cocolog-nifty.com/sasurai/2007/11/wpf_7609.html