SQLite

[C#][SQLite]System.Data.SQLiteを試してみたその３「トランザクションの有無による性能」

kazuki@wankuma.com (かずき) — Sun, 14 Jun 2009 14:43:00 GMT

前のエントリでεπιστημηさんから、追試依頼が来たので追試！

追試の内容は

DBの更新が連続するとき、TRANSACTIONで囲まないとえらく遅いんすよオリジナルは。
.NET-port版ではどうだか知りたいっす。

ということなので、さくっとやってみました。実験したコードは以下の通りです。

using System;
using SQLiteSample.TestDataSetTableAdapters;
using System.Data.SQLite;
using System.Diagnostics;

namespace SQLiteSample
{
    class Program
    {
        static void Main(string[] args)
        {
            using (var conn = new SQLiteConnection("Data Source=Tran.db"))
            {
                conn.Open();

                Console.WriteLine("CREATE TABLE...");
                using (var command = conn.CreateCommand())
                {
                    command.CommandText = "CREATE TABLE Person( " +
                        "  ID integer primary key, " +
                        "  Name nvarchar(50), " +
                        "  Age integer)";
                    var ret = command.ExecuteNonQuery();
                    Console.WriteLine(ret);
                }

                Console.WriteLine("INSERT...");
                var watch = new Stopwatch();
                watch.Start();
                //using (var tran = conn.BeginTransaction())
                //{
                    using (var command = conn.CreateCommand())
                    {
                        command.CommandText = "INSERT INTO Person(ID, Name, Age) VALUES (@id, @name, @age)";
                        command.Parameters.Add("id", System.Data.DbType.Int64);
                        command.Parameters.Add("name", System.Data.DbType.String);
                        command.Parameters.Add("age", System.Data.DbType.Int64);

                        for (int i = 0; i < 1000; i++)
                        {
                            command.Parameters["id"].Value = i;
                            command.Parameters["name"].Value = "田中　太郎" + i;
                            command.Parameters["age"].Value = i % 50;
                            command.ExecuteNonQuery();
                        }
                    }
                    //tran.Commit();
                //}
                watch.Stop();

                Console.WriteLine(watch.ElapsedMilliseconds); 
                conn.Close();
            }
        }
    }
}

とりあえず１０００件のデータをトランザクション無しで放り込んでみると…。

約1分かかりました。

次にトランザクション有りで。トランザクション無し版のコードでコメントになってるトランザクションの処理をコメントアウトして実行しました。

本当は5回計測して一番上と下の値を抜いて平均出そうとしたけど、圧倒的に違ったので1回目で計測終了。

ということで、オリジナルのSQLiteと同じで、大量のデータをINSERTしたりするときは毎回トランザクションが開始されてしまいものすごい性能が劣化してしまうようです。

[C#][SQLite]System.Data.SQLiteを試してみたその２「:memory:」

kazuki@wankuma.com (かずき) — Sun, 14 Jun 2009 12:52:00 GMT

前のエントリで、επιστημηさんから、接続文字列をData Source=:memory:にすると、インメモリなDBになるかどうか確認してほしいというコメントがあったのでやってみました。
オリジナル版のSQLiteでは、インメモリDBになるらしい。

ということで、さくっと実験です。

using System;
using SQLiteSample.TestDataSetTableAdapters;
using System.Data.SQLite;

namespace SQLiteSample
{
    class Program
    {
        static void Main(string[] args)
        {
            using (var conn = new SQLiteConnection("Data Source=:memory:"))
            {
                conn.Open();

                Console.WriteLine("CREATE TABLE...");
                using (var command = conn.CreateCommand())
                {
                    command.CommandText = "CREATE TABLE Person( " +
                        "  ID integer primary key, " +
                        "  Name nvarchar(50), " +
                        "  Age integer)";
                    var ret = command.ExecuteNonQuery();
                    Console.WriteLine(ret);
                }

                Console.WriteLine("INSERT...");
                using (var command = conn.CreateCommand())
                {
                    command.CommandText = "INSERT INTO Person(ID, Name, Age) VALUES (@id, @name, @age)";
                    command.Parameters.Add("id", System.Data.DbType.Int64);
                    command.Parameters.Add("name", System.Data.DbType.String);
                    command.Parameters.Add("age", System.Data.DbType.Int64);

                    for (int i = 0; i < 10; i++)
                    {
                        command.Parameters["id"].Value = i;
                        command.Parameters["name"].Value = "田中　太郎" + i;
                        command.Parameters["age"].Value = i % 50;
                        var ret = command.ExecuteNonQuery();
                        Console.WriteLine(ret);
                    }
                }

                Console.WriteLine("SELECT...");
                using (var command = conn.CreateCommand())
                {
                    command.CommandText = "SELECT ID, Name, Age FROM Person ORDER BY ID";
                    using (var reader = command.ExecuteReader())
                    {
                        while (reader.Read())
                        {
                            Console.WriteLine("{0}, {1}, {2}",
                                reader["ID"], reader["Name"], reader["Age"]);
                        }
                    }
                }
                
                conn.Close();
            }
        }
    }
}

コネクション開いて、テーブル作って、データ投入して、表示してます。
ばっちり動いてくれました。

因みに実行結果は下の通り。

[C#][SQLite]System.Data.SQLiteを試してみた

kazuki@wankuma.com (かずき) — Sun, 14 Jun 2009 10:30:00 GMT

Ruby on Railsをかじってたときに、SQLiteという超手軽なデータベースがあるのは知ってたけど、.NETにゃ～あまり関係ないかと思ってました。でも、調べてみると、SQLiteをC#で書き直したという素晴らしいものがあるということに先日気づきました。

参考にしたサイト

http://d.hatena.ne.jp/gsf_zero1/20070713/p1
C#で書き直したものという情報
http://sealdb.ddo.jp/develop/sqlite/index.htm
とても詳しいインストール方法とか
http://mitc.xrea.jp/diary/046
自分の環境に一番近いものにたいする情報かも
http://download.microsoft.com/download/7/1/3/7138629A-8630-4027-ADE2-819462B6FC70/0406_Kokubun_OST.pdf
Entity Frameworkもサポートしてる・・・！
http://blogs.wankuma.com/hatsune/archive/2008/10/16/158915.aspx
Windows Formアプリケーションの実例

ということで、上記サイトに一通り目を通したので、本家を見ながらやってみようと思います。

ダウンロード～インストール

以下のサイトから、最新のSQLite for ADO.NET 2.0をダウンロードします。

本家サイト
http://sqlite.phxsoftware.com/

色々あったのですが、ここではSQLite-1.0.61.0-binaries.zipをダウンロードしました。

展開すると、２つのフォルダと１つのhtmファイルが出来ます

bin/Designer/install.exeをダブルクリックすると、以下のような画面が表示されるので、チェックをつけてCloseを押します。（さくっと終わるので、本当にインストールされているのか不安になりますが出来てます）

Express Editionを使ってる人は注意！！
Express Editionを使ってる人には、以下の制約があります。（因みに私の環境はVS2008 std SP1です)
All Express Editions (except Visual Web Developer) are hard-coded to only allow you to design for Jet and Sql Server Database Files. The only way for SQLite to install its designer is to temporarily replace one of the existing "approved" designers. Therefore, when you install the SQLite designer for one of these express editions, it will temporarily replace the Microsoft Access designer. You can revert back to the Access designer simply by re-running the install.exe program and un-checking the boxes.

Excite翻訳様に聞いた感じだと、Express Editionの場合はAccessのデザイナーをSQLiteのデザイナーに置き換えてしまうことで、Express Editionでも使えるようにしたらしいです。チェックを外すとAccessのデザイナーに戻すことが出来ます。

コンソールアプリケーションでお試し

デザイン時のサポートをインストールしたら「SQLiteSample」という名前でコンソールアプリケーションを作ります。

参照の追加から、System.Data.SQLiteを追加します。(下にSystem.Data.SQLite.Linqという気になるものがあるけどここでは追加しないです）

そして、コネクションを開いて閉じるだけの小さなサンプルを作ります。

using System.Data.SQLite;

namespace SQLiteSample
{
    class Program
    {
        static void Main(string[] args)
        {
            // コネクションを開いて閉じるだけ
            using (var conn = new SQLiteConnection("Data Source=Test.db"))
            {
                conn.Open();
                conn.Close();
            }
        }
    }
}

System.Data.SQLiteの接続文字列は、「Data Source=DBファイル名」というとてもシンプル設計になっています。
これを実行して、プロジェクトの下のbin/Debugを見てみると、Test.dbというファイルが作成されます。これがSQLiteのファイルになります。

テーブルを作ろう

SQLiteのコネクションを開いて閉じるだけで、勝手にDBファイルが作られることが確認できました。世間のサンプルを見渡してると、そこからCREATE TABLEとかをしてINSERT, SELECT, UPDATE, DELETEをしているものをよく見かけます。

なので、ここでは、SQLiteのデザイン時サポート機能を使ってテーブルを作っていきます！！

サーバーエクスプローラから接続の追加を選択します。

SQLite Database Fileを選択します。

新しくDBを作成したいのでNewボタンを押します。

プロジェクト直下に「Test.db」を作成するようにします。

テスト接続に成功したら、OKを押して完了します。そうすると、サーバーエクスプローラにSQLite[Test]というものが追加されます。

この状態だと、プロジェクトにTest.dbファイルは追加されていないので、上記手順で新規に作成したTest.dbファイルを既存の項目を追加から、プロジェクトに追加します。
追加したら、出力ディレクトリにコピーの部分を「新しい場合はコピーする」に変更します。

次にテーブルを作っていきます。サーバーエクスプローラに戻ってTablesの所で右クリックをして、新しいテーブルの追加を選択します。

まだ、開発中の機能だからバグがあったら教えてね！というメッセージが表示されるのでOKを押します。

SQL Serverのテーブルを作成するのと、同じ感じのUIなので戸惑うことなく使えます。

Personという名前で、列はID: integer(primary key), Name: nvarchar(50), Age: integerの３つを持ったテーブルを作成します。

Tablesの下にPersonテーブルが追加されるので、右クリックメニューから「データの取得」を選択します。

テーブルのデータが表示されます。下のようにデータを打ち込むこともできます。

プログラムから読もう

テーブルも出来たので、データを読み込んでみようと思います。

プロジェクトにTestDataSetという名前でDataSetを追加します。

DataSetのデザイナにサーバーエクスプローラのPersonテーブルをドラッグアンドドロップします。

SQL Serverの時と同じようにTableAdapterが出来ます！

Mainに、さっきかいた接続するだけのプログラムをさくっと消してTableAdapterを使ってデータをとってくるコードを書きます。

using System;
using SQLiteSample.TestDataSetTableAdapters;

namespace SQLiteSample
{
    class Program
    {
        static void Main(string[] args)
        {
            var ta = new PersonTableAdapter();
            var people = ta.GetData();

            foreach (TestDataSet.PersonRow row in people.Rows)
            {
                Console.WriteLine("{0}, {1}, {2}",
                    row.ID, row.Name, row.Age);
            }
        }
    }
}

実行すると、先ほどデザイナを使ってテーブルに入れたデータが取れているのがわかります。

更新も出来るか確認してみます。

using System;
using SQLiteSample.TestDataSetTableAdapters;

namespace SQLiteSample
{
    class Program
    {
        static void Main(string[] args)
        {
            var ta = new PersonTableAdapter();
            var people = ta.GetData();

            foreach (TestDataSet.PersonRow row in people.Rows)
            {
                Console.WriteLine("{0}, {1}, {2}",
                    row.ID, row.Name, row.Age);
            }

            // 田中　一郎さんの年齢を更新
            people[2].Age = 44;
            ta.Update(people);

            // 再取得
            people = ta.GetData();

            // もう一回データを表示
            Console.WriteLine("=================");
            foreach (TestDataSet.PersonRow row in people.Rows)
            {
                Console.WriteLine("{0}, {1}, {2}",
                    row.ID, row.Name, row.Age);
            }
        }
    }
}

ばっちり更新できています。

追加もしてみます。さっきのプログラムに続けて以下のコードを追加します。

// 五郎さんを追加して
people.AddPersonRow(4, "田中　五郎", 89);
ta.Update(people);

// データをDBから再取得
people = ta.GetData();

// もう一回データを表示
Console.WriteLine("=================");
foreach (TestDataSet.PersonRow row in people.Rows)
{
    Console.WriteLine("{0}, {1}, {2}",
        row.ID, row.Name, row.Age);
}

実行すると、五郎さんが追加されているのがわかります。

Insertのコードは2回実行すると失敗するのでコメントアウトして、次にDeleteの処理を書いて見ます。

// 3番目の人を消して
people.RemovePersonRow(people[2]);
// 更新
ta.Update(people);
// もう一回データを表示
Console.WriteLine("=================");
foreach (TestDataSet.PersonRow row in people.Rows)
{
    Console.WriteLine("{0}, {1}, {2}",
        row.ID, row.Name, row.Age);
}

実行すると、ばっちり3番目の人が消えてることがわかります。

まとめ

これはなかなかいいものだ！！