調べがつけばなんともない単純なことなのですが、自分は半日ほど調べまくってなかなか答えが見つからなかったので、やり方をまとめてみました。
クライアントOSなんかだと、Windows エクスプローラーで画像が入っているフォルダを表示すると、アイコンが画像のサムネイルになっていたりするぢゃないですか。
サーバーOSだと、この機能がデフォルトでオフになっています。これを有効にするにはサーバーOSによって色々やり方が違ったりします。
Windows Server 2008 R2だと、機能の追加からデスクトップ エクスペリエンスを入れないかんのかなぁ... と、思ってしまったのが遠回りの始まりでした。
ホントはもっともっと単純でした。
初期状態はこんな感じ

これはアイコン表示を特大アイコンにしている状態です。デフォルトのアイコン画像が大きくなるだけで、実際の画像はみゃったく表示されません。
そこで、左上の[整理]→[フォルダーと検索のオプション]を選びます。

表示されたフォルダーオプションの中の[表示]タブを選び、[常にアイコンを表示し、縮小版は表示しない]のチェックを外します。

ほーら、画像のサムネイルが表示されるようになった。
