SQLServer関連

Merge文とExecuteNonQueryとSQLServerとOracle 時々バグ？回避策

がんふぃーるど(ganfield@wankuma.com) — Mon, 25 May 2009 21:37:00 GMT

とある戦国時代の武将がこう言ってました。

鳴かぬのなら、~~殺してしまおう~~鳴かせて見せよう、とほほぎす

色々と引用文に間違いがありますが、前回と前々回の続きです。

まず、他のバージョンの組み合わせに関してですが、前回のコメントでやじゅさんがおっしゃった通り、どうもODP.NET 10.2でも発生するみたいです。

Merge文使われてないのかな～なんて思いつつも、Oracleの対応を待つのも何なので、回避策を書いておこうと思います。

回避策：大人しくSystem.Data.OracleClientを使用する

半分冗談です＾＾

次が本当の回避策です。

本当の回避策：無名ブロックとRAISE_APPLICATION_ERRORを使用する

無名ブロックというのは、ストアドされないただのプロシージャで、BEGIN～ENDで囲まれているPL/SQLです。

考え方として、次のような感じになります。

無名ブロック内でMerge文を発行
SQL%ROWCOUNTが0であれば、楽観ロック発生としRAISE_APPLICATION_ERRORで例外を挙げる

最後にある「RAISE_APPLICATION_ERROR」は、開発者が任意のSQLCODE（いわゆるORA-XXXXXのXXXXX部分）と任意のメッセージを返すことができるものです。

RAISE_APPLICATION_ERRORについては「SHIFT the Oracle」内の「RAISE_APPLICATION_ERROR」に分かり易く解説されています。

ということで、SQL

BEGIN
  --MERGE実行
  MERGE INTO MergeTable Target
  USING (SELECT :key1 Key1, :col1 Col1, :col2 Col2, :optLock OptLock
    FROM DUAL) InputSrc
  ON (Target.Key1 = InputSrc.Key1)
  WHEN MATCHED THEN
    UPDATE SET
      Col1 = InputSrc.Col1
      , Col2 = InputSrc.Col2
    WHERE Target.OptLock = InputSrc.OptLock
  WHEN NOT MATCHED THEN
    INSERT (Key1, Col1, Col2, OptLock)
      VALUES (InputSrc.Key1, InputSrc.Col1, InputSrc.Col2, systimestamp);

  --件数チェック（楽観ロックに引っかかった場合は0）
  IF SQL%ROWCOUNT = 0 THEN
    RAISE_APPLICATION_ERROR(-20801, '楽観的過ぎて更新できませんでした＞＜');
  END IF;
END;

18行目の-20801ですが、この部分がOracleException.Numberに入ってきます。ただし、.NET側では正の数で入ってくるので、OracleException.Numberが20801のときに、OptimisticConcurrencyExceptionにラップするなりなんなりして下さい。

ちなみに、ORA-20000～ORA-20999がユーザ定義のSQLCODEとしてOracleが許可している範囲ですが、他のOracleのアプリケーションでも使用されています。実際、ORA-20000あたりがOracleTextを使用していたときに発生した記憶があります。

SHIFT the Oracleの説明にもありますが、ORA-20000～ORA-20999がユーザ定義のSQLCODEとして許可されているものの、被らないという保証は一切ありません。なので、仕事で使用する場合はMessageの部分に独自のエラーコードを付与し、.NET側ではOracleException.Numberと共にOracleException.Messageも同様に調べ、適切に処理する方が良いと思います。

コード

const string sql
= @"BEGIN
  --MERGE実行
  MERGE INTO MergeTable Target
  USING (SELECT :key1 Key1, :col1 Col1, :col2 Col2, :optLock OptLock
    FROM DUAL) InputSrc
  ON (Target.Key1 = InputSrc.Key1)
  WHEN MATCHED THEN
    UPDATE SET
      Col1 = InputSrc.Col1
      , Col2 = InputSrc.Col2
    WHERE Target.OptLock = InputSrc.OptLock
  WHEN NOT MATCHED THEN
    INSERT (Key1, Col1, Col2, OptLock)
      VALUES (InputSrc.Key1, InputSrc.Col1, InputSrc.Col2, systimestamp);

  --件数チェック（楽観ロックに引っかかった場合は0）
  IF SQL%ROWCOUNT = 0 THEN
    RAISE_APPLICATION_ERROR(-20801, 'ERR-001:楽観的過ぎて更新できませんでした＞＜');
  END IF;
END;";

private void ExecuteMergeSql()
{
    OracleConnection conn = new OracleConnection("user id=xxx;password=yyy;data source=zzz");
    try
    {
        conn.Open();
        OracleCommand command = conn.CreateCommand();
        command.BindByName = true;
        command.CommandText = sql.Replace("\r", ""); //CRLFをLFだけに修正
        command.Parameters.Add(new OracleParameter("key1", 4));
        command.Parameters.Add(new OracleParameter("col1", "aaa"));
        command.Parameters.Add(new OracleParameter("col2", "bbb"));
        command.Parameters.Add(new OracleParameter("optLock", DateTime.Now));

        command.ExecuteNonQuery();
    }
    catch (OracleException oex)
    {
        if (oex.Number == 20801)
        {
            // ここで楽観ロックエラーを処理
        }
        else
        {
            throw;
        }
    }
    finally 
    {
        conn.Close();
    }
}

最後に、Oracleで無名ブロックを使用する場合の注意点ですが、環境によってBEGIN～ENDの間の改行コードをLFだけにしなければならない場合があります。（31行目の部分）

これを行わないと、次のようなエラーが表示されます。

Oracle.DataAccess.Client.OracleException ORA-06550: 行1、列6:
PLS-00103: 記号""が見つかりました。次のうちの1つが入るとき:
begin case declare exit for goto if loop mod null pragma
raise return select update while with ＜an identifier＞
＜a double-quoted delimited-identifier＞＜a bind variable＞＜＜
close current delete fetch lock insert open rollback
savepoint set sql execute commit forall merge pipe
場所 Oracle.DataAccess.Client.OracleException.HandleErrorHelper(Int32 errCode, OracleConnection conn, IntPtr opsErrCtx, OpoSqlValCtx* pOpoSqlValCtx, Object src, String procedure)
場所 Oracle.DataAccess.Client.OracleException.HandleError(Int32 errCode, OracleConnection conn, String procedure, IntPtr opsErrCtx, OpoSqlValCtx* pOpoSqlValCtx, Object src)
場所 Oracle.DataAccess.Client.OracleCommand.ExecuteNonQuery()
場所 WindowsFormsApplication3.Form1.button1_Click(Object sender, EventArgs e)
場所 C:\Users\ganfield\Documents\Visual Studio 2008\Projects\WindowsFormsApplication3\WindowsFormsApplication3\Form1.cs:行 58

英語の内容だけでは何を言っているのか分かりませんｗ

検証が面倒で、何故CRが許可されたりされなかったりするのか調べていません。なので、未だに原因不明。

無名ブロックを書くときだけの注意点なので、上記のエラーが発生したCRを削ればいい、ぐらいに考えても良いと思います。

と、以上が回避策となります。これでMerge文もOracleで楽観ロック形式の同時実行制御付きで実行することができます。

ま、例外があがったりするので、DBのファクトリクラスなどを使用して抽象的に処理することはできませんので、若干とほほな感じもしますが…

Merge文とExecuteNonQueryとSQLServerとOracle 時々バグ？

がんふぃーるど(ganfield@wankuma.com) — Sat, 23 May 2009 19:02:00 GMT

前回のブログで、やじゅさんからODP側のバグじゃないかって話があがったので、一旦動作をまとめました。今回はODP.NETだけでなく、System.Data.OracleClientも含んでいます。

ちなみに、ODP.NETのマニュアルではExecuteNonQueryについて、次のように述べています。

XmlCommandTypeおよびCommandTextプロパティを使用してSQL文またはコマンドを実行し、影響を受ける行数を戻します

更新していなくても、更新していても、ExecuteNonQueryメソッドから「-1」が返ってきている時点でかなりアウトくさいです。つーかアウトですよね。影響を受けた行数が負ってどういうことじゃ！逆にこっちが影響受けた！？ｿﾝﾅﾊﾞｶﾅ

DDLとコード

1. テーブル

CREATE TABLE MERGETABLE
(
  KEY1 NUMBER(6,0),
  COL1 VARCHAR2(50),
  COL2 VARCHAR2(50),
  OPTLOCK TIMESTAMP(9),
  CONSTRAINT MERGETABLE_PK PRIMARY KEY (KEY1)
)

2. ソースコード

// Merge文
const string sql
= @"MERGE INTO MergeTable Target
USING (SELECT :key1 Key1, :col1 Col1, :col2 Col2, :optLock OptLock
  FROM DUAL) InputSrc
ON (Target.Key1 = InputSrc.Key1)
WHEN MATCHED THEN
  UPDATE SET
    Col1 = InputSrc.Col1
    , Col2 = InputSrc.Col2
  WHERE Target.OptLock = InputSrc.OptLock
WHEN NOT MATCHED THEN
  INSERT (Key1, Col1, Col2, OptLock)
    VALUES (InputSrc.Key1, InputSrc.Col1, InputSrc.Col2, systimestamp)
";

// Merge文実行
private int ExecuteMergeSql()
{
    using (OracleConnection conn = new OracleConnection("user id=xxx;password=yyy;data source=zzz"))
    {
        conn.Open();
        OracleCommand command = conn.CreateCommand();
        command.BindByName = true;
        command.CommandText = sql;
        command.Parameters.Add(new OracleParameter("key1", 2));
        command.Parameters.Add(new OracleParameter("col1", "aaa"));
        command.Parameters.Add(new OracleParameter("col2", "bbb"));
        command.Parameters.Add(new OracleParameter("optLock", DateTime.Now));

        int result = command.ExecuteNonQuery();
        return result;
    }
}

上記のソースコードはODP.NETのものです。System.Data.OracleClientを使用する場合は、BindByNameの一行をコメントアウトして下さい。

実行結果

クライアント	サーバ	結果	備考
System.Data.SqlClient	SQLServer2008	○
System.Data.OracleClient	OracleXE	○
〃	Oracle11g	○
ODP.NET(2.111.6.20)	OracleXE	×	-1が返却される。
〃	Oracle11g	×	-1が返却される。

なんとSystem.Data.OracleClientは正しく動いている。というか、ODP.NETの独り負けのように見える…

何度かMerge文の記述方法を変えたりしましたが、全てアウト。ちょっと残念だー。

ほかの環境を試せたら良かったのですが、手元の環境ではこれが精一杯でした。とりあえずOracleに一報入れておきます。

Merge文とExecuteNonQueryとSQLServerとOracle

がんふぃーるど(ganfield@wankuma.com) — Sat, 23 May 2009 00:19:00 GMT

Merge文って？

Merge文はSQL Serverでは2008より、Oracleでは9iぐらいから実装されたSQL構文です。

機能としては、Insert OR Update（存在しなければInsert,存在すればUpdate）、もしくは、Insert OR Update OR Delete（存在しなければInsert,存在すればUpdate OR Delete）を行ってくれます。

ちなみに、SQL ServerとOracleではMerge文の構文が少し違ったりします。Merge文自体SQL2003から追加された標準なのですが、Oracleは以前から実装している関係上、下位互換が必要（Update時にWhere句を付与可能とか）ですし、SQL ServerはSQL Serverで独自の拡張（WHEN MATCHED のあとにANDコンディション付与可能とか）をしています。

差異があるとはいえ、ほぼ同じような構文ですし、今回はExecuteNonQueryにおける違いを説明するので、あんまそっちのほうは詳しく述べません。

ExecuteNonQueryの何が違うの？

まずは次のSQLを用意します。

1. SQL Server 2008用のMerge文

MERGE INTO MergeTable as Target
USING (VALUES(@key1, @col1, @col2, @optLock))
  as InputSrc (Key1, Col1, Col2, OptLock)
ON Target.Key1 = InputSrc.Key1
WHEN MATCHED AND Target.OptLock = InputSrc.OptLock THEN
  UPDATE SET
    Col1 = InputSrc.Col1
    , Col2 = InputSrc.Col2
WHEN NOT MATCHED THEN
  INSERT (Key1, Col1, Col2)
    VALUES (InputSrc.Key1, InputSrc.Col1, InputSrc.Col2);

2. Oracle用のMerge文

MERGE INTO MergeTable Target
USING (SELECT :key1 Key1, :col1 Col1, :col2 Col2, :optLock OptLock
  FROM DUAL) InputSrc
ON (Target.Key1 = InputSrc.Key1)
WHEN MATCHED THEN
  UPDATE SET
    Col1 = InputSrc.Col1
    , Col2 = InputSrc.Col2
  WHERE Target.OptLock = InputSrc.OptLock
WHEN NOT MATCHED THEN
  INSERT (Key1, Col1, Col2, OptLock)
    VALUES (InputSrc.Key1, InputSrc.Col1, InputSrc.Col2, systimestamp);

詳しくは述べませんといった舌の根も乾かぬうちに脱線してしまいますが（＾＾；）、二つのSQLの大きな違いは、SQLServer2008の5行目とOracleの9行目です。これらは楽観ロックを実装している部分です。SQL2003のBNFを確認したところ、そもそも標準にON句以外で追加の条件を指定する仕組みがなく、OracleとSQLServer2008ともに追加条件に対する部分を拡張しているとも取れます。（Oracleはそもそも9iの時代からこうだったのかもしれませんが…（未確認））

閑話休題

さて、ExecuteNonQueryを実行した結果ですが、結論だけ言ってしまうと…

Oracleの場合、ExecuteNonQueryを使用して流すと、メソッドの返却値として「-1」が返ってきてしまいます！（環境はOracleXEとODP.NET 10.2）

一方、SQL Serverの方はといえば、ちゃんと更新した行数が返ってきます。さすがMS大先生。

しかし、MSしっかりしているなぁ～などと思ってMSDNのSqlCommand.ExecuteNonQueryの項目を読んでみると

UPDATE、INSERT、および DELETE ステートメントでの戻り値は、そのコマンドの影響を受ける行数です。他の種類のステートメントでの戻り値は、-1 です。ロールバックが発生した場合も、戻り値は -1 です。

文書が更新されてませんなぁｗ

ウィンドウ関数（分析関数） - SQL Server 2005

がんふぃーるど(ganfield@wankuma.com) — Thu, 31 Jul 2008 00:57:00 GMT

WNDPROCとかじゃアｒ（ｒｙ

ウィンドウ関数はSQL Serverでも使用できます。なんてったって標準SQLですから。

ウィンドウ関数を使ってみる

SQL Server 2005のAdventureWorksを使用して、ウィンドウ関数を使ってみます。やりたいことはOracle版と同じようなことですが、部署IDみたいなものが無かったので性別でウィンドウを区切ってみます。

Employeeテーブルの中で、性別ごとに生年月日順にランク付けする。
ランク付けしたら、同じ性別の中で何人中何位だったかわかるようにする。
取得する項目はEmployeeID, 性別, 順位, 性別ごとの人数

SELECT
a.EmployeeID as 社員ID,
a.Gender as 性別,
Rank() OVER (PARTITION BY a.Gender ORDER BY a.BirthDate) as 順位,
Count(a.Gender) OVER (PARTITION BY a.Gender) as 人数
FROM
HumanResources.Employee a

Oracleと同じですね。実行計画は次の通り

参考文献

SQL Server 2005 Books Online - OVER句

ユーザー定義集計関数：CSV形式で文字列を集計 - SQL Server 2005

がんふぃーるど(ganfield@wankuma.com) — Mon, 30 Jun 2008 01:12:00 GMT

前回のOracleでユーザ定義集計関数を作成したので、今度はSQL Server 2005で作ってみた。ちなみに、わんくま内のblogを検索してみたらSQL CLRについてのエントリがあまり無い。

人気茄子…やろうと思えばDataTableでガリガリやれないこともない…

…

まあ、これからですよ！これから！ははは

気を取り直して、SQL CLRで作るユーザ定義集計関数。いってみよー

大まかな流れ

Oracleの場合と違い、SQL Serverでユーザ定義集計関数を作成する場合、アセンブリを作成する必要がのですが

.NETでコーディングしてアセンブリ作成（署名忘れずに※１）
1で作成したクラスを紐付けたユーザー定義集計関数を定義

と、あまり変わらないじゃん♪　（え？アセンブリを署名するのが面倒？まあ、やらないでもいい方法があるんで♪）

ユーザー定義集計関数インターフェース

インターフェースというと語弊が若干あるのですが、要する実装する必要があるインターフェース＆定義する必要のあるメソッド及びアトリビュートです。

クラスに対して必要なもの

Microsoft.SqlServer.Server.SqlUserDefinedAggregate アトリビュート（クラス）の定義
Microsoft.SqlServer.Server.IBinarySerialize インターフェースの継承

メンバに対して必要なもの

public void Init()
public void Accumulate(SqlString value)
public void Merge(CsvConcatenation other)
public SqlString Terminate()
public void Read(BinaryReader r)　※IBinarySerializeの実装
public void Write(BinaryWriter w)　※IBinarySerializeの実装

うム。上の四つはOracleと一緒だ（笑

ということで、サクサクいきましょう。

CsvConcate集計関数

こういう、関数の実装部分を定義するクラスの名前っていつも悩みますね。動詞にするかしないかってことで。今回はSQL Server 2005に登録する関数と同じ名前にしたかったので、CsvConcateにしましたが、クラス名だけならCsvConcatenationにしちゃってもいいんですよね。

とまあ、クラス名の話はさておき、文字列をCSV形式で集計してくれるユーザー定義集計関数を作りたいと思います。

まずはMicrosoft.SqlServer.Server.SqlUserDefinedAggregate アトリビュートの定義

[Serializable]
[Microsoft.SqlServer.Server.SqlUserDefinedAggregate(
    Microsoft.SqlServer.Server.Format.UserDefined, //シリアライズ形式（ネイティブかユーザ定義）
    IsInvariantToNulls = true,            // NULLに対して不変かどうか（NULLを集計しない場合はTrue）
    IsInvariantToDuplicates = false,    // 重複値に対して不変かどうか（重複した値を集計しない場合はTrue）
    IsInvariantToOrder = false,            // 現在は未使用（未実装）
    MaxByteSize = 8000)]                   // MAXサイズ
public class CsvConcate : Microsoft.SqlServer.Server.IBinarySerialize

定義の内容はコメントの通り。NULLや重複値については用途に合わせて使い分けて下さい。

次はInit～Treminateまでのメソッドです。

/// <summary>
/// 中間結果を保持
/// </summary>
private StringBuilder intermediateResult;

/// <summary>
/// 初期化
/// </summary>
public void Init()
{
intermediateResult = new StringBuilder();
}

/// <summary>
/// 実際の集計処理
/// </summary>
/// <param name="value"></param>
public void Accumulate(SqlString value)
{

    if (value.IsNull)
    {
        intermediateResult.Append(string.Empty).Append(',');
    }
    intermediateResult.Append(value.Value).Append(',');

}

/// <summary>
/// 部分計算された場合のマージ
/// </summary>
/// <param name="other"></param>
public void Merge(CsvConcate other)
{
intermediateResult.Append(other.intermediateResult);
}

/// <summary>
/// 終了処理
/// </summary>
/// <returns></returns>
public SqlString Terminate()
{
    string output = string.Empty;
    // 最後のカンマはおさらば
    if (intermediateResult != null && intermediateResult.Length > 0)
        output = intermediateResult.ToString(0, intermediateResult.Length - 1);
    return new SqlString(output);
}

そんでもってIBinarySerialize インターフェースの実装(Microsoft.SqlServer.Server.Format.Nativeの場合は必要なし？)

#region IBinarySerialize メンバ

void IBinarySerialize.Read(BinaryReader r)
{
if (r == null) throw new ArgumentNullException("r");
intermediateResult = new StringBuilder(r.ReadString());
}

void IBinarySerialize.Write(BinaryWriter w)
{
if (w == null) throw new ArgumentNullException("w");
w.Write(intermediateResult.ToString());
}

#endregion

アセンブリを署名するのを忘れずに（キーペアは「sn」などで作成しましょう）※１

ユーザー定義集計関数の登録

さて、署名付きのアセンブリが作成できたのなら、あとは登録するだけです。とりあえず、やることは三つ

アセンブリの登録
ユーザー定義集計関数の定義（クラスとの紐付け）

登録するアセンブリの配置場所ですが、こいつは適当「UserLib」に切っておいて、そこに作成したアセンブリ「StringUtility.dll」を配置します。

C:\Program Files\Microsoft SQL Server\90\UserLib\StringUtility.dll

（別にSQL Serverと同じフォルダでなくても構いません。）

それと、CLR統合機能を予め有効化する必要があるので、以下のSQLを発行(参考文献：夏椰さんのを参照）

sp_configure 'clr enabled', 1
GO
RECONFIGURE
GO

あとはこいつを登録してやるだけです。以下のSQLを発行

-- アセンブリのパス
declare @asmblyPath nvarchar(1000)
set @asmblyPath = 'C:\Program Files\Microsoft SQL Server\90\UserLib\StringUtility.dll'

-- アセンブリの登録
CREATE ASSEMBLY StringUtility FROM @asmblyPath
WITH permission_set=Safe;
GO

-- ユーザー定義集計関数の定義
CREATE AGGREGATE Concatenate(@input nvarchar(4000))
RETURNS nvarchar(4000)
EXTERNAL NAME [StringUtility].[Wankuma.Ganf.SqlClr.StringUtility.CsvConcate];
GO

これで、完成。では実際にNorthWindで使ってみましょう。（AdventureWorksでもいいですが、あれは結構件数が入っているので、バッファがすぐにあふry）

使い方

こちらも、Oracle同様、他の集計関数と同じ使い方です。

select country, dbo.csvconcate(employeeid)
from employees group by country

参考文献

MSDN CLR ユーザー定義集計の要件

http://technet.microsoft.com/ja-jp/library/ms161551.aspx

ユーザー定義集計関とは違いますが、数夏椰さんのとこでいくつかSQL CLRが公開されています。

夏椰の庵 - Secluded Spot of Kaya - BOX

※１　アセンブリの署名を行わなくても、アセンブリの登録は可能です。その場合は、データベースのTRUSTWORTHYをONにしましょう。