SharePoint

[SharePoint]アイテム数が多数（約2100以上）あるリストのアイテムIDをすべて列挙しようとして・・・

IIJIMAS — Wed, 18 Mar 2009 11:30:00 GMT

※注意：以下に書くことはまだ、[SharePoint]WSS3.0の累積的な更新・・・（KB961755）のパッチ未適用の環境でのことです。

あるリストで同一フォルダにアイテムが約2100以上あると、SPList.Items(SPListItemCollection)のメンバ使用するだけでも例外になってしまう場合があります。→[SharePoint]リストにアイテムが約2100件以上あると・・・(続き：再現)

このとき通常のWeb画面でもアイテムの一覧画面で

と表示されてしまいます。(kb/958577/en,kb/958577/)

このときSPListItemCollectionのCountプロパティやforeachで暗黙的に使用されるGetEnumerator メソッドでも例外になってしまいます。一度には取得・列挙できません。

そこで、小分けに、IDの範囲を指定して分割して、たとえば100件以内ずつ複数回のクエリに分けて、取得してIDを表示する以下のサンプルプログラムを作成しました。

下のPrintAllListItemIds1とPrintAllListItemIds2はどちらも指定したリスト（ドキュメントライブラリ）のすべてのアイテムのIDを出力して最後に合計件数を出力するメソッド（のはず）です。一見するとどちらも同じ結果が期待できそうです。

[SharePoint]リストにアイテムが約2100件以上あると・・・(続き：再現)のときに作成した、直下のルートフォルダに4024件アイテムが登録されているドキュメントライブラリ（バージョン管理設定、下書きアイテムを表示できるユーザー = 「アイテムを編集できるユーザー」）があるので、実際に実行してみました。

PrintAllListItemIds1

…　…　…
Number of Items : 1022

PrintAllListItemIds2

…　…　…
Number of Items : 4023

PrintAllListItemIds1は何度やってもこうなってしまいます。これは明らかに誤った結果です。

PrintAllListItemIds2も1件違いますが、これは別の問題です。別のユーザーがドキュメントライブラリにアップロードしたばかりでカスタムフィールドを編集していない、バージョン0.1のチェックアウトファイルと思われます。このようなドキュメントアイテムはItemsやクエリ結果に出現しません。

どうやらSPWebオブジェクトをクエリの都度生成しなおさないと、クエリを使用するだけでオブジェクトが何かおかしくなってしまうようです。


using System;
using Microsoft.SharePoint; 
namespace TestSPQuery
{
    class Program
    {
        const string QUERY_BY_ID_RANGE = @"<Where>
<And>
<Geq>
  <FieldRef Name = ""ID""/>
  <Value Type = ""Counter"">{0}</Value>
</Geq>
<Lt>
  <FieldRef Name = ""ID""/>
  <Value Type = ""Counter"">{1}</Value>
</Lt>
</And>
</Where>"; 
        const int MaxItemID = 4500;//取得する最大IDの目安
        const int DEFAULT_ID_RANGE = 100;//１回のクエリ対象にするIDの範囲
        /// <summary>
        /// start<=ID<endというクエリ
        /// </summary>
        public static string GetIDRangeQery(int start, int end)
        {
            return string.Format(QUERY_BY_ID_RANGE, start, end);
        } 
        static void Main(string[] args)
        {
            String scUrl = "(サイトコレクションURL)";
            String siteName = "サイト名";
            String listName = "リスト名";

          //PrintAllListItemIds1(scUrl, siteName, listName, DEFAULT_ID_RANGE);
          //PrintAllListItemIds2(scUrl, siteName, listName, DEFAULT_ID_RANGE);
        } 
        /// <summary>
        /// 指定したリスト（ドキュメントライブラリ）のすべてのアイテムのID表示する。
        /// </summary>
        /// <param name="scUrl">サイトコレクションURL</param>
        /// <param name="siteName">サイト名</param>
        /// <param name="listName">リスト名</param>
        /// <param name="rangesize">１回のクエリ対象にするIDの範囲</param>
        private static void PrintAllListItemIds1(String scUrl, String siteName, String listName, int rangesize)
        {
            using (SPSite site = new SPSite(scUrl))
            {
                using (SPWeb web = site.AllWebs[siteName])
                {
                    SPList list = web.Lists[listName];
                    Console.WriteLine("List Title :{0}, ItemCount: {1} ", list.Title, list.ItemCount);
                    int count = 1;
                    for (int start = 0; start <= MaxItemID; start += rangesize)
                    {
                        SPQuery q = new SPQuery();
                        q.Query = GetIDRangeQery(start, start + rangesize);
                        Console.WriteLine(q.Query);
                        SPListItemCollection itemColl = list.GetItems(q);
                        foreach (SPListItem item in itemColl)
                        {
                            Console.WriteLine("No.:{0} ID: {1} ",count++, item.ID);
                        }
                    }
                    Console.WriteLine("Number of Items : {0}",count-1);
                } 
            }
        } 
        /// <summary>
        /// 指定したリスト（ドキュメントライブラリ）のすべてのアイテムのID表示する。
        /// </summary>
        /// <param name="scUrl">サイトコレクションURL</param>
        /// <param name="siteName">サイト名</param>
        /// <param name="listName">リスト名</param>
        /// <param name="rangesize">１回のクエリ対象にするIDの範囲</param>
        private static void PrintAllListItemIds2(String scUrl, String siteName, String listName, int rangesize)
        {
            using (SPSite site = new SPSite(scUrl))
            {
                using (SPWeb web = site.AllWebs[siteName])
                {
                    SPList list = web.Lists[listName];
                    Console.WriteLine("List Title :{0}, ItemCount: {1} ", list.Title, list.ItemCount);
                }
                int count = 1;
                for (int start = 0; start <= MaxItemID; start += rangesize)
                {
                    using (SPWeb web = site.AllWebs[siteName])//クエリの度にサイト(SPWebオブジェクト)を生成。
                    {
                        SPList list = web.Lists[listName];
                        SPQuery q = new SPQuery();
                        q.Query = GetIDRangeQery(start, start + rangesize);
                        Console.WriteLine(q.Query);
                        SPListItemCollection itemColl = list.GetItems(q);
                        foreach (SPListItem item in itemColl)
                        {
                            Console.WriteLine("No.:{0} ID: {1} ", count++, item.ID);
                        }
                    }
                }
                Console.WriteLine("Number of Items : {0}", count - 1);
            } 
        } 
    }
}

[SharePoint]WSS3.0の累積的な更新・・・（KB961755）

IIJIMAS — Sun, 15 Mar 2009 11:05:00 GMT

めもめも、ただのメモ。
WSS3.0の新しい、KBでてますね。kb961755。
Article ID: 961755 - Last Review: March 13, 2009 - Revision: 2.0
「Description of the Windows SharePoint Services 3.0 cumulative update package: February 24, 2009」
機械翻訳：「Windows SharePoint Services 3.0 の累積的な更新プログラムパッケージについて: 2009、2 月 24日」

これで、あの問題解決？

まだ、試せないのですが・・・

[SharePoint]リストにアイテムが約2100件以上あると・・・(続き：再現)

IIJIMAS — Fri, 27 Feb 2009 00:59:00 GMT

[SharePoint]リストにアイテムが約2100件以上あると・・・の続きです。

「ドキュメントライブラリ」の同じユーザが閲覧できるアイテムの数が1つのフォルダで約2100件超えている時にWeb画面で

と表示される件と、Microsoft.SharePoint名前空間のクラスを使用したプログラミングでの

System.Data.SqlClient.SqlException: 着信の表形式のデータストリーム (TDS) リモートプロシージャコール (RPC) プロトコルストリームが不適切です。この RPC 要求に指定されたパラメータが多すぎます。最大数は 2100 です。

という例外が起こる件についてです。kb958577(機械翻訳kb958577)

確実に再現できるC# コンソールアプリケーションのサンプルプログラムを作成してみました。MOSS2007 SP1(WSS3.0)のサーバーのローカルで実行します。

ファイルを大量にアップロードして、SPListItemCollection.Count プロパティを呼び出すだけです。

まずはSharePointサイトに新規にドキュメントライブラリを作成しておきます。
コンソールアプリケーションを作成して、参照設定でmicrosoft.sharepoint.dllを追加してcsファイル冒頭でusing Microsoft.SharePoint;を書いておきます。次のコードをプログラムの中に記述します。

/// <SUMMARY>
/// 同じファイルをコピーしてドキュメントライブラリに
/// </SUMMARY>
/// <PARAM name="docLib">ドキュメントライブラリ(SPDocumentLibraryオブジェクト)</PARAM>
/// <PARAM name="filePath">コピー元ファイルの絶対パス</PARAM>
/// <PARAM name="loginName">ドキュメント作成者、更新者とするユーザ</PARAM>
/// <PARAM name="start">連番開始番号</PARAM>
/// <PARAM name="end">連番終了番号</PARAM>
private static void UploadManyFiles(SPDocumentLibrary docLib, string  filePath, string loginName, int start, int end)
{
    SPWeb web = docLib.ParentWeb;
    SPFileCollection filecoll = web.Folders[docLib.Title].Files;
    string fileName = Path.GetFileNameWithoutExtension(filePath);
    string fileExt = Path.GetExtension(filePath);
    byte[] fileBytes = ReadAsBytes(filePath);

    SPUser user = web.EnsureUser(loginName);
    string url = "";
    SPFile file = null;
    for (int i = start; i <= end; i++)
    {
        url = string.Format("{0}/{1}{2:D4}{3}", filecoll.Folder.Url, fileName, i, fileExt);
        Console.WriteLine("{0} is uploaded by {1}.", url, user.LoginName);
        file = filecoll.Add(url, fileBytes, user, user, DateTime.Now, DateTime.Now);
        file.Item.BreakRoleInheritance(false);
        file.Item.SystemUpdate();
    }
}
/// <SUMMARY>
/// ファイルをバイト列として読み込む
/// </SUMMARY>
/// <PARAM name="filePath">パス</PARAM>
/// <RETURNS>ファイルの中身のバイト列</RETURNS>
private static byte[] ReadAsBytes(string filePath)
{
    MemoryStream ms = new MemoryStream();
    byte[] buffer = new byte[1024];
    using (BinaryReader br = new BinaryReader(new FileStream(filePath, FileMode.Open)))
    {
        while (br.Read(buffer, 0, buffer.Length) > 0)
        {
            ms.Write(buffer, 0, buffer.Length);
        }
    }
    byte[] fileBytes = ms.ToArray();
    return fileBytes;
}

Main()の中で以下の変数の宣言や代入して（省略）下のコードを書きます。

docLib：そのSPDocumentLibraryオブジェクト。 SPListからasで取得するなど。
filePath：適当なファイルの絶対パス。
loginName：に投稿できる権限を持つユーザのログイン名。

・・・
//ドキュメント ライブラリのバージョン設定
//「このドキュメント ライブラリのファイルを編集するたびにバージョンを作成する 」で
//「   メジャーとマイナー (下書き) バージョンを作成する」を選択するのと同様。
docLib.EnableVersioning = true;
docLib.EnableMinorVersions = true;
//            docLib.DraftVersionVisibility = DraftVisibilityType.Reader;//（※1）
docLib.Update();

Console.WriteLine("EnableVersioning = {0}", docLib.EnableVersioning);
Console.WriteLine("EnableMinorVersions = {0}", docLib.EnableMinorVersions);
Console.WriteLine("DraftVersionVisibility = {0}", docLib.DraftVersionVisibility);
UploadManyFiles(docLib,filePath, loginName, 0, 2110);

//「この ドキュメント ライブラリ の下書きアイテムを表示できるユーザー」を 「アイテムを編集できるユーザー」にするのと同じ
docLib.DraftVersionVisibility = DraftVisibilityType.Author;//（※2）
docLib.Update();//（※2）
Console.WriteLine("DraftVersionVisibility = {0}", docLib.DraftVersionVisibility);
Console.WriteLine("list.Items.Count = {0}", docLib.Items.Count);//←ここで上記の例外が発生します！！！

ちなみに、（※1）の行をコメント解除して、（※2）の行をコメント化すると例外は発生しません。

Webでの設定画面でも「ドキュメントライブラリ」＞「バージョン設定」＞「下書きアイテムのセキュリティ」＞「このドキュメントライブラリの下書きアイテムを表示できるユーザー」のラジオボタンの選択によって、以下のように起きない場合もあります。

アイテムを閲覧できるすべてのユーザー	この例外が発生しない。
アイテムを編集できるユーザー	この例外が発生する。
アイテムの作成者およびアイテムを承認できるユーザー「コンテンツの承認を必須にする」が「はい」のとき	この例外が発生する。

[SharePoint]リストにアイテムが約2100件以上あると・・・

IIJIMAS — Tue, 17 Feb 2009 02:30:00 GMT

[SharePoint][ドキュメントライブラリ]SPWeb.GetSiteData(SPSiteDataQuery)使えないじゃん！
のエントリの続きです。

残念ながら、SPList.GetItems(SPQuery)メソッドでもマッチするアイテム数が約2100件越えると

System.Data.SqlClient.SqlException: 着信の表形式のデータストリーム (TDS) リモートプロシージャコール (RPC) プロトコルストリームが不適切です。この RPC 要求に指定されたパラメータが多すぎます。最大数は 2100 です。

という例外が起きました！

そればかりか通常のWebのUI画面においても・・・
リスト（同一フォルダ内）にアクセス権のあるアイテムが約2100件以上ある時にアクセス権を持っているユーザでその一覧を表示しようとすると・・・

のように表示され、一覧が出てこないことがあります。

これに関してのMSサポートオンラインのKBがあります。
Error message when you visit a sub-folder under a Windows SharePoint Services 3.0 list that contains more than 2,000 list items that have non-inheriting permissions: ”#RENDER FAILED”
（機械翻訳：継承している以外のアクセス許可を持つ 2,000 以上のリストアイテムを含む Windows SharePoint Services 3.0 のリストをサブフォルダにアクセスすると、エラーメッセージ:”#RENDER に失敗しました”）

WSS3.0のバグということですね。

修正プログラム（kb957691）

957691 (http://support.microsoft.com/kb/957691/ ) Description of the Windows SharePoint Services 3.0 hotfix package (Sts.msp): October 28, 2008
（957691 (http://support.microsoft.com/kb/957691/ ) Windows SharePoint Services 3.0 修正プログラムパッケージ (Sts.msp): 2008 年 10 月 28 日）

がでているのですね。ところそのリンクの下に

Note After you apply this hotfix, you may still receive the error message that is mentioned in the "Symptoms" section. This may be caused by a query that is too long and that has a large number of non-inheriting permissions. In this case, you have to reduce the number of non-inheriting permissions. If you use 5,000 or more non-inheriting permissions in the list, you may encounter this problem.

注意してください。 この修正プログラムを適用した後も、「現象」に記載されているエラーメッセージが表示されます可能性があります。考えられますが長すぎると多数のクエリによって継承以外のアクセス許可。継承している以外の数を減らすにあるこの場合、アクセス許可。一覧で 5,000 またはより以外の継承アクセス許可を使用する場合この問題が発生する可能性があります。

とあります。

すなわち、KB957691の修正プログラムあててもアイテム数の上限が2000件から5000件になるだけ！？

CAMLクエリを使用するAPIを使わないで、SPListItemCollectionとSPListItemを使用するべたなループで条件判断して該当アイテムを取得するか、クエリのWhere句を2000件超えないように調節して複数回実行するぐらいかしかないのでしょうか。それとも別の方法があるのでしょうか？

以下2/17追記：
残念ながら、アイテム数が約2100件超えている場合SPListItemCollectionのメソッドやメンバも同様の例外になります。SPListItemCollection.Count プロパティでさえも同様の例外となってしまいます！

[SharePoint][ドキュメントライブラリ]SPWeb.GetSiteData(SPSiteDataQuery)使えないじゃん！

IIJIMAS — Wed, 11 Feb 2009 23:51:00 GMT

ドキュメントライブラリにドキュメントが2000件以上ある時に、SPWeb.GetSiteData(SPSiteDataQuery)メソッドを実行しました。GetSiteData()は複数のリストから同時に条件を満たすアイテムのデータを取得できるメソッドです。

SqlExceptionが起きました。

System.Data.SqlClient.SqlException: 着信の表形式のデータストリーム (TDS) リモートプロシージャコール (RPC) プロトコルストリームが不適切です。この RPC 要求に指定されたパラメータが多すぎます。最大数は 2100 です。

1900件ぐらいだと問題なかったのに・・・orz

結局、GetSiteData()はあきらめて、リスト個別にSPList.GetItems(SPQuery)メソッドを使うことにしました。

SPWeb.GetSiteData(SPSiteDataQuery)使えないじゃん！

以下2009/2/16追記：

SPList.GetItems(SPQuery)メソッドでもマッチするアイテム数が約2100件越えると同様なエラーになります。

通常のWeb画面でもアイテム数が約2100件超えると

と表示されます。。。（次のエントリに書く予定）

[SharePoint][ドキュメントライブラリ]複数行テキストフィールド内の改行で・・・

IIJIMAS — Tue, 10 Feb 2009 23:32:00 GMT

SharePointで遭遇した不可思議な現象です。

ドキュメントライブラリで複数行テキストカスタムフィールドがあるとします。

このライブラリにWebの画面を使ってOffice2003ドキュメント(doc,xls,ppt)とOffice2007ドキュメント(docx,xlsx,pptx)をアップロードします。
そして、編集画面で複数行テキストフィールドに同じ複数行テキストを設定します。
プログラムから、このフィールドの文字列を取得します。

すると、あら不思議！

Office2003ドキュメントのフィールドの中の文字列は「\r\n」(Carriage Return + Line Feed)
Office2007ドキュメントのフィールドの中の文字列は「\n」(Line Feed)

になっています！

一体どうなってるのでしょうか？