東方算程譚

Oriental Code Talk ── επιστημηが与太をこく、弾幕とは無縁のシロモノ。

目次

Blog 利用状況

ニュース

著作とお薦めの品々は

著作とお薦めの品々は
東方熱帯林へ。

あわせて読みたい

わんくま

  1. 東京勉強会#2
    C++/CLI カクテル・レシピ
  2. 東京勉強会#3
    template vs. generics
  3. 大阪勉強会#6
    C++むかしばなし
  4. 東京勉強会#7
    C++むかしばなし
  5. 東京勉強会#8
    STL/CLRによるGeneric Programming
  6. TechEd 2007 @YOKOHAMA
    C++・C++/CLI・C# 適材適所
  7. 東京勉強会#14
    Making of BOF
  8. 東京勉強会#15
    状態遷移
  9. 名古屋勉強会#2
    WinUnit - お気楽お手軽UnitTest

CodeZine

  1. Cで実現する「ぷちオブジェクト指向」
  2. CUnitによるテスト駆動開発
  3. SQLiteで組み込みDB体験(2007年版)
  4. C++/CLIによるCライブラリの.NET化
  5. C# 1.1からC# 3.0まで~言語仕様の進化
  6. BoostでC++0xのライブラリ「TR1」を先取りしよう (1)
  7. BoostでC++0xのライブラリ「TR1」を先取りしよう (2)
  8. BoostでC++0xのライブラリ「TR1」を先取りしよう (3)
  9. BoostでC++0xのライブラリ「TR1」を先取りしよう (4)
  10. BoostでC++0xのライブラリ「TR1」を先取りしよう (5)
  11. C/C++に対応した、もうひとつのUnitTestFramework ─ WinUnit
  12. SQLiteで"おこづかいちょう"
  13. STL/CLRツアーガイド
  14. マージ・ソート : 巨大データのソート法
  15. ヒープソートのアルゴリズム
  16. C++0xの新機能「ラムダ式」を次期Visual Studioでいち早く試す
  17. .NETでマンデルブロ集合を描く
  18. .NETでマンデルブロ集合を描く(後日談)
  19. C++/CLI : とある文字列の相互変換(コンバージョン)
  20. インテルTBBによる選択ソートの高速化
  21. インテルTBB3.0 によるパイプライン処理
  22. Visual C++ 2010に追加されたSTLアルゴリズム
  23. Visual C++ 2010に追加されたSTLコンテナ「forward_list」
  24. shared_ptrによるObserverパターンの実装
  25. .NETでマンデルブロ集合を描く(番外編) ── OpenCLで超並列コンピューティング
  26. StateパターンでCSVを読む
  27. 状態遷移表からStateパターンを自動生成する
  28. 「ソートも、サーチも、あるんだよ」~標準C++ライブラリにみるアルゴリズムの面白さ
  29. インテルTBBの同期メカニズム
  30. なぜsetを使っちゃいけないの?
  31. WPFアプリケーションで腕試し ~C++でもWPFアプリを
  32. C++11 : スレッド・ライブラリひとめぐり
  33. Google製のC++ Unit Test Framework「Google Test」を使ってみる
  34. メールでデータベースを更新するココロミ
  35. Visitorパターンで遊んでみたよ
  36. Collection 2題:「WPFにバインドできる辞書」と「重複を許す検索set」
  37. Visual C++ 2012:stateless-lambdaとSQLiteのぷち拡張
  38. 「Visual C++ Compiler November 2012 CTP」で追加された6つの新機能

@IT

  1. Vista時代のVisual C++の流儀(前編)Vista到来。既存C/C++資産の.NET化を始めよう!
  2. Vista時代のVisual C++の流儀(中編)MFCから.NETへの実践的移行計画
  3. Vista時代のVisual C++の流儀(後編) STL/CLRによるDocument/Viewアーキテクチャ
  4. C++開発者のための単体テスト入門 第1回 C++開発者の皆さん。テスト、ちゃんとしていますか?
  5. C++開発者のための単体テスト入門 第2回 C++アプリケーションの効率的なテスト手法(CppUnit編)
  6. C++開発者のための単体テスト入門 第3回 C++アプリケーションの効率的なテスト手法(NUnit編)

AWARDS


Microsoft MVP
for Visual Developer - Visual C++


Wankuma MVP
for いぢわる C++


Nyantora MVP
for こくまろ中国茶

Xbox

Links

記事カテゴリ

書庫

日記カテゴリ

トークン分割(改版とまとめ)

すったもんだした挙句こんな感じになりますたー

#ifndef SILVERBOUQUET_TOKENIZER_H__
#define SILVERBOUQUET_TOKENIZER_H__
/*
 * SilverBouquet/tokenizer.h
 */

#include <string>  // string
#include <utility> // pair

namespace SilverBouquet {

  template<typename StringT>
  class tokenizer {
  public:
    typedef StringT string_type;
    typedef typename string_type::size_type size_type;
    typedef std::pair<size_type,size_type> range_type;

    // コンストラクタ: 区切り文字の集合を引数に与える
    explicit tokenizer(const string_type& delim) : dlm_(delim) {}

    // 与えた文字列のトークン分割を開始する
    void start(const string_type& source) { src_ = source; reset(); }

    // startに与えた文字列のトークン分割を最初からやりなおす
    void reset() { rng_.first = 0; rng_.second = 0; }

    // トークンを切り出す。切り出すトークンがなければfalseを返す
    bool next() {
      rng_.first = src_.find_first_not_of(dlm_, rng_.first+rng_.second);
      if ( rng_.first == std::string::npos ) return false;
      rng_.second = src_.find_first_of(dlm_, rng_.first);
      if ( rng_.second == std::string::npos ) {
        rng_.second = src_.size() - rng_.first;
        return true;
      }
      rng_.second -= rng_.first;
      return true;
    }

    // nextで切り出されたトークンを返す
    string_type token() const
      { return src_.substr(rng_.first,rng_.second); }

    // next切り出されたトークンの位置と長さを返す
    range_type range() const { return rng_; }

    // 一気に切り出してOutputIteratorに書き出す
    template<typename OutputIterator>
    OutputIterator split(OutputIterator out)
      { while ( next() ) *out++ = token(); return out; }
    template<typename OutputIterator>
    OutputIterator split(const string_type& source, OutputIterator out)
      { start(source); return split(out); }

  private:
    string_type src_; // 分割対象となる文字列
    string_type dlm_; // 区切り文字の集合
    range_type  rng_; // トークンの位置と長さ
  };
}

#endif

----- おためし -----
#include <SilverBouquet/tokenizer.h>
#include <iostream>
#include <iterator>
#include <vector>

int main() {
  SilverBouquet::tokenizer<std::string> tk(",.");
  std::vector<std::string> v;
  tk.split("Hello,world.",std::back_inserter(v));
  // only for Visual C++ 8.0 or later
  for each ( std::string token in v ) {
    std::cout << token << std::endl;
  }
}

 

投稿日時 : 2007年9月12日 10:21

コメントを追加

# re: トークン分割(改版とまとめ) 2007/09/12 10:50 επιστημη

※ επιστημηはSilverBouquetプロジェクトを応援します♪

# re: トークン分割(改版とまとめ) 2007/09/12 11:23 とりこびと

ちょ、C++?(^^;

επιστημη さんが遊んでくれるとなるとこうなるんだろうなぁと思ってましたがww

# re: トークン分割(改版とまとめ) 2007/09/12 12:53 ながせ

for eachなんて動くの?
恐るべしVC++8

# re: トークン分割(改版とまとめ) 2007/09/12 14:13 K5

( ゚д゚)ポカーン
しか感想が出ません…追いつけない領域だ。

# re: トークン分割(改版とまとめ) 2023/01/27 5:42 Optimum

“One regime can lay the foundation but it requires many regimes to continue to build positively and constructively on the foundation.

タイトル
名前
URL
コメント