アルゴリズム

[アルゴリズム]クイックソートの広さ

出水洸太郎 — Thu, 13 Nov 2008 23:04:00 GMT

クイックソートとは以下の順序でソートを行うものです。
(1)ある要素を取り出し、その要素より小さいグループと大きいグループで分類する
(2)それぞれのグループに対し、要素の数が1個になるまで(1)を繰り返す
このクイックソートが必要とするメモリ量、すなわち空間計算量を考えてみましょう。

要素を2つに分割した後、両方を同時に処理することはできません。
ですから、一方はいったん置いて他方を処理します。
その処理中にまた2つに分割されるため、いったん置いたうえにさらに置くことになります。
図で表現するとこんな感じですね。

このようにうまく二等分できれば一時領域は10段もあれば十分です。
この一時領域をスタックサイズと呼びます。

別の場合のスタックサイズを考えてみます。
こんな場合はどうでしょうか。

先ほどと違い、うまく分割することが出ていません。
そして、このペースだとスタックサイズは500段必要です。

一体スタックサイズは何段用意しておけばいいのでしょうか。
出来るだけスタックサイズを小さくする方法を考えてみます。

このスタックは処理中のものが終了するまで積まれ続けるわけです。
いつ終了するんでしょうか。
それは、処理中の要素数が2個以下になるまでです。

それならば、早く処理中の要素数を減らせばよいわけです。
2つに分割したとき、どちらをスタックに積み、どちらを処理中にするかは
自由に決められるため、要素が多い方をスタックに積んでしまえばいいのです。

それを図示しました。

いずれも4:1のグループに分かれていますが、左の方はもうすぐ処理が終わりそうです。
このように、アンバランスに別れた方がスタックに積む量が減るため、
最もスタックが必要なパターンは二等分されるパターンです。
そして、二等分された場合、スタックサイズはlog2(N)必要です。

よって、クイックソートの空間計算量は最悪の場合でもO(logN)です。

なお、ピボットに使われた要素は処理済みにするのが好ましいため、
1000個は499個＋1個＋500個のように3つに分けられますが
今回は分かりやすくするため、それを無視しています。

[アルゴリズム]マルチコア

出水洸太郎 — Thu, 30 Oct 2008 06:33:00 GMT

ネタ元＞WindowsとC++：高性能アルゴリズムについて調べる

上記の記事を読むと、マルチコアで動作する時、
同じコアで実行するメモリは近くに配置し、
違うコアで実行するメモリは遠くに配置するべき、と書いています。

さて、以前書いたシェアソートの並列動作なのですが、
横ソートにおいては上記のマルチコア動作に向くメモリ配置になっています。

しかし、縦ソートに至っては並列動作に向かないパターンです。
良くないパターンとして紹介されている物と全く同じです。

今回の場合は”#pragma omp parallel for”を使ったものなので
自分でカリカリ内部動作を書いた場合とは違うのかもしれません。
ただ、キャッシュの読み直しという単語がちらほら見えるので、
ハードウェアの仕様のような感じで、ソフトウェア側でどうにかならない気がします。

シェアソートの縦ソートが遅いとなるといよいよ出番もないですね…。

#ということで、教えて詳しい人！

[アルゴリズム]等号は続くよどこまでも

出水洸太郎 — Thu, 23 Oct 2008 01:02:00 GMT

ネタ元：同じ値であること（その２）

aとbとcがすべて等しいという条件式を作ろうとして
数学のようにa=b=cと書いてしまう人はよくいます。

昔のBASICだと、if文の外でこのように書くとaに-1が代入されたりします。
a=(b=c)と解釈され、(b=c)がtrueを意味する-1になるからです。

そして、こんな書式も生まれました。

I$=INKEY$
x=x+(I$="4")-(I$="6")
y=y+(I$="8")-(I$="2")

I$は変数名で、INKEY$とは入力された文字を取得する関数です。
つまり、4が入力されればxは-1され、6が入っていればxは+1されます。
要はキャラクターやカーソルを動かす部分です。

さらに、a=b=c=dはどうなるでしょうか。
普通に解釈されるならa=(b=(c=d))ですね。

しかし、(a=b)=(c=d)と捕えてみましょう。

a=bがtrue 、c=dがtrue で全体がtrue
a=bがtrue 、c=dがfalseで全体がfalse
a=bがfalse、c=dがtrue で全体がfalse
a=bがfalse、c=dがfalseで全体がtrue

これは、排他的論理和(XOR)の否定を意味します。

排他的論理和の演算子を用意していない言語でも、
中央の等号をnot equalの記号にすれば排他的論理和を使うことができます。

[アルゴリズム]はみだしシェアソート6

出水洸太郎 — Sun, 28 Sep 2008 20:03:00 GMT

前回で終わりのような気がしていたが別にそんなことはなかったぜ！

今まで紹介したシェアソートは要素の数が平方数でした。
サンプルなので奇麗に正方形に並べられる個数ばかり選んでたわけです。

シェアソートは矩形(長方形)に並べられれば良いのですが、
要素の数が素数だった場合はそれすら適いません。

ということでそんな半端の状態のシェアソートです。

39個の要素でシェアソートを行おうとすると、以下のようになります。

実は、この形でも以下のように分割してシェアソートを行えば問題がありません。

豆知識として、縦ソートをするときに40以上の位置を差したら終端としておくと、
どこで数が変わったかというのを意識しないで済みます。

ですが、折り返しで終わった場合はちょっと工夫が必要です。
以下のような場合ですね。

空白に最大値を入れてソートでも良いのですが、スマートではないです。
そこで、1行6個ではなく7個で作りなおしてみます。

うまく行きました。

ちょうどいい一行の数の求め方ですが、今回はこうやっています。

　44 ÷ 6 = 7 余り 2

1行6個で並べれば7行と2個と読めますが、
逆に1行7個で並べれば6行と2個という読み方をします。
適当な偶数で割ってやってその商を1行の個数とすれば
必ず都合のいい配置になってくれるわけです。

[アルゴリズム]はみだしシェアソート5

出水洸太郎 — Fri, 26 Sep 2008 02:59:00 GMT

多次元シェアソートの行きつく先を見てみましょう。

要素が増えたとき、1辺の長さを出来るだけ短くしたまま
次元数だけをどんどん増やしてソートを行う事を考えてみます。

最も短い1辺の長さは2です。
256個の要素があったら、1辺が2の八次元立方体を作ってソートします。

また、最後に逆にするのは面倒なので、
ソートする要素の選び方を工夫して
配列は正しい順に並べたままソートをする方法を考えます。

まずは、要素が8個、つまり一辺2の三次元立方体で考えます。
以下の図ができます。

そして、横ソート、縦ソート、段ソートのペアを抽出してみます。

横ソート　[1, 2] [3, 4] [5, 6] [7, 8]
縦ソート　[1, 4] [2, 3] [5, 8] [6, 7]
段ソート　[1, 8] [2, 7] [3, 6] [4, 5]

さらにこれを図示します。

意外に単純な図が出来上がりました。
これなら、棟ソート(四次元方向ソート)やその上も簡単に作れるでしょう。

さて、要素が4つの場合は「横ソート→縦ソート→横ソート」の方法で完了しました。
ではこの要素が8個の場合は何所に段ソートを入れればいいでしょうか。

実は、段ソートを行っていい条件として
縦ソート、横ソート共に完了する必要があります。
それ以前に段ソートを実行しても、ある程度は揃うけど完璧ではないのです。

つまり、三次元シェアソートは以下のようにソートをします。
「横ソート→縦ソート→横ソート→段ソート→
　横ソート→縦ソート→横ソート」
まるで二進数のビットが立っていく様子に似ています。

では、x個の要素(x=2^n)があったときの比較回数を求めてみましょう。
まず、ソート1回ではx/2回の比較が行われます。
そして、ソート回数は(x-1)回行われます。
よって、完了まで必要なソート回数は(x/2)(x-1)です！

あれ…ランダウの記号を用いるとこれは…O(n^2)なのでは？？

ということで、これ以上進んでも深みにはまるだけっぽいので
シェアソートはこれで終わりにしたいと思います。

[アルゴリズム]はみだしシェアソート4

出水洸太郎 — Thu, 25 Sep 2008 01:06:00 GMT

まだまだ続くシェアソート
今回は多次元展開です。

シェアソートは二次元平面上に展開することで高速化を図りましたが、
三次元空間上に展開したらどうなるでしょうか。
まずは、図を見てみましょう。

これが三次元展開の配置です。
三次元方向には段という名前で呼びます。
2段目は1段目の逆、すなわち開始点と終了点が逆になるようにソートを行っていきます。
3段目は1段目と同じようにソートします。
ソート条件は以下のように変化します。

段ソートは、常に昇順
縦ソートは、奇数段なら昇順、偶数段なら降順
横ソートは、段数＋行数が奇数なら昇順、偶数なら降順

この要領で、四次元展開まで行ってみましょう。

四次元方向には棟という名前を付けます。
それぞれの立方体を団地とみなし、1号棟、2号棟と増えていく様子を想像してください。

1号棟は1で始まり、27で終わりました。
2号棟の始まる28は、1号棟の27のあった位置になります。
そして、26の位置が29になり、25の位置が29になり…1の位置が54となります。
つまり、2号棟は3段目に小さい数字が来て、1段目が大きな数字が来ます。
3号棟は1号棟と同じ形で並んでいます。

では、ソート条件を四次元で考えましょう。

棟ソートは、常に昇順
段ソートは、奇数棟なら昇順、偶数棟なら降順
縦ソートは、棟数＋段段が奇数なら昇順、偶数なら降順
横ソートは、棟数＋段数＋行数が奇数なら昇順、偶数なら降順

なお、シェアソートが終わった後、逆になっているものを元に戻すことを考えたとき、
棟の逆転→段の逆転→行の逆転と3ステップ踏まないと完全に戻りません。

多次元におけるシェアソートを考えてみましたが、さほど効率が良いように思えません。
次回、多次元シェアソートをもう少し考えて、長々と続いたシェアソートの補足を終わりたいと思います。

[アルゴリズム]はみだしシェアソート3

出水洸太郎 — Tue, 23 Sep 2008 06:32:00 GMT

Sub 縦方向ソート()
    Dim i As Integer
    Dim waku As Range
    
    For i = 0 To columnmax - 1
        Set waku = Range(Cells(1, i + 1), Cells(rowmax, i + 1))
        waku.Sort key1:=Cells(1, i + 1), order1:=xlAscending, Orientation:=xlSortColumns
    Next
End Sub

Sub 横方向ソート()
    Dim i As Integer
    Dim waku As Range
    
    For i = 0 To rowmax - 1
        Set waku = Range(Cells(i + 1, 1), Cells(i + 1, columnmax))
        If i Mod 2 = 0 Then
            waku.Sort key1:=Cells(i + 1, 1), order1:=xlAscending, Orientation:=xlSortRows
        Else
            waku.Sort key1:=Cells(i + 1, 1), order1:=xlDescending, Orientation:=xlSortRows
        End If
    Next
End Sub

上はエクセルのマクロの抜粋です。
ごめんなさい、思いっきり手を抜きました。

ソートを作るんだから、既存のソート関数を使ってはいけないのですが、
思いっきりSortという文字が見えます。

今回は、縦ソート、横ソートに何を使うか考えてみます。

普通に考えればシェアソートを再帰する方法です。
ですが、シェアソートは順列（すでにソート済みの状態）であっても
交換が発生してしまうため、順列の検出が出来ません。

なお、縦ソート、横ソート共に交換が発生しなかったら終了という条件ですが、
実際には2回目以降なら縦ソートか横ソートのどちらかで順列を検出すればOKです。
なぜなら、縦ソート後は縦ソートをしても交換が発生しない状態だからです。

順列の検出といえばバブルソートです。
これを縦ソートに使ってやれば順列の検出が出来るし、
縦ソートはそれほど要素が変わらないため、
バブルソートでも十分速度が出ると考えられます。

ただし、横ソートにバブルソートを使った場合、
最大要素や最小要素が先頭や末尾に来ることが多いため
バブルソートの最悪パターンに陥りやすいため、不向きと言えるでしょう。
こちらはシェアソートを再帰させるべきです。

なお、最初の縦ソートに限っては、要素がバラバラである上
順列検出も必要ないため、こちらはシェアソートで十分に思えます。

あとは、要素が少ない場合はバブルソートでいいでしょう。
どこを閾値にするか難しいですが、一辺が3以下になる16未満としておきます。

よって、改良シェアソートのアルゴリズムは以下のようになります。

要素が16未満ならバブルソートを行い、終了する。
シェアソートを使い、縦ソートを行う。
繰り返し回数を求める。（ n = log(√n) ）
シェアソートを使い横ソートを行う。
このとき、奇数行は昇順、偶数行は降順になるようにする。
バブルソートを使い縦ソートを行う。
縦ソートで、すべての列で交換が発生しない場合、偶数行を反転して終了する。
4.～7.を回数分繰り返す。
シェアソートを使い横ソートを行う。
すべての行で昇順になるようにする。

なお、ここでバブルソートを使っていますが、
クイックソート等の高速ソートだとどうでしょうか。

結論から言うと、シェアソートとクイックソートを組み合わせるより
最初からクイックソートを使った方が速いです。

せっかく改良したのにまさに無駄骨です。

[アルゴリズム]はみだしシェアソート2

出水洸太郎 — Sun, 21 Sep 2008 15:35:00 GMT

シェアソートでは、2n+1(nは前回出てきた複雑な式)の回数ソートしたときを終了とし、
途中でソートが終了してもそれを検知しません。
一見無駄じゃないか、と思うので調べてみました。

10000個(100×100)のすべてユニークなランダムにした要素をソートします。
このとき、理論上では15回ソートが必要です。
実際にやってみた結果…なんと、20回中19回が15回目のソートで完了し、
残りの1回は13回目のソートで完了、という結果になりました。

よって、途中でソート終了を検知するのはあまり効果がないと結論付けられそうです。

マクロを動かした人なら気づくかもしれませんが、実感とずれてないでしょうか。
シェアソートマクロの場合は11×11なので9回ソートが必要なのですが、
そんなにソートしなくても終了していたという気がしませんか。
現にライトニングトークでは6回のソートで終了しています。

理由は、最初に行ったソートです。
古典的シェアソートは横ソートからスタートしますが、縦ソートからスタートしている人が多いはずです。

最初に縦ソートをすると、その縦ソートが無駄になる場合もあるので、
完了までに必要な最大ソート回数が1回増えます。

冒頭で出た10000個のソートを、最初に縦ソートを行うように変更して試行します。
20回中、10回が8回目のソートで終了し、10回が10回目のソートで終了しました。
最初に横ソートを行うより、ずいぶんと速いです。

なぜこんな差が出るのか、シェアソートマクロで見てみます。

このデータに対して、まず縦ソートを行います。

このようなソート結果になりました。
次は横ソートを見てみます。

横ソートを行いました。
この段階ではまだ違いが分かりにくいので、さらに縦ソートを行ってみます。

最初に縦ソートを行った場合と比較してみましょう。

最初に縦ソートを行った場合はずいぶんと平らなのに対し、
横ソートを行った場合は四隅に寄るような形になっています。
青色の高さに注目すると、縦ソート版は3なのに対し、横ソート版は5です。

前回のエントリーで、高さを低くしていく必要がある、と書きました。
ですから、最初から高さが低い方がソートは速く進むのです。
ランダムに並んでいる場合は縦ソートできれいに低くなるのですが、
横ソートで大きい要素や小さい要素を端に集めてしまうと、高さが高くなってしまいます。

最大ソート回数が1回多くなっても、縦ソートを先に行うべきだと思います。

[アルゴリズム]はみだしシェアソート1

出水洸太郎 — Sun, 21 Sep 2008 02:11:00 GMT

勉強会お疲れ様でした。

ながせさんが基礎で、えぴさんが応用で、私がひねくれ者と、
三者三様でかぶらないところが素敵でした。

さて、シェアソートの基本的な所は、Wikipediaによる解説や
前回のエントリーのマクロを動かしてもらうとして、書ききれなかった所を書いていきます。

数字が複雑に動くので、何回やったらソートが終わるのか不安になりますが、
これは明確に回数が求められます。

最悪パターンを見ながらその仕組みを説明します。

このように、1行に収まるべきデータが縦になっている状態が最悪パターンで、
最もソート完了まで時間がかかる状態です。
なお、青色の要素は最後に先頭行に、橙色の要素は最後に末尾行に来る要素です。
緑はちょうど真ん中の行に来る要素です。

まずは、横ソートを行います。
最上段の要素と最下段の要素が左右に二分されました。

上記のデータに縦ソートを行いました。
青、橙の高さが半分になっています。

さらに横ソート→縦ソートを行いました。
青、橙の要素は6→3と半分になっています。

さらに横ソート→縦ソートを行いました。
段々と一行にまとまっていこうとしています。
このように、横ソート→縦ソートのセットで高さが半分になっていくのです。

さらに横ソート→縦ソートを行うと、すべての要素で行が合うようになりました。
このあと、横ソートを行って仕上げを行います。

このように、高さが1になるまでソートを繰り返せばよく、
一度横ソート→縦ソートを行うと高さが半分になるため、
一辺の長さを何回2で割れば1以下となるか、という問題に帰着します。

今回の場合は、11×11なので、一辺の長さは11です。
11は8<11<16のため、4回割ってやれば1になります。
横ソート→縦ソートのセットが4回と、最後の仕上げの横ソートをくわえ、
121個の要素の場合は、9回ソートを行えば完了することになります。

これを数学的に書くと、という式ができあがります。
何回2で割れば1以下になるか、というのを表現する部分がややこしくなってますね。

[アルゴリズム]シェアソートLT

出水洸太郎 — Sat, 20 Sep 2008 12:14:00 GMT

ソートライトニングトークで使った
シェアソートを行うエクセルマクロを公開します。

いろいろ機能を盛り込んでいるのでぜひ試してください。

ダウンロード