SQL Server のことなら SQL Quality SQL Server パフォーマンス チューニング、コンサルティング、アドバイス、相談、定期診断、トレーニング

第 25 回:SQL Server 2012 の Data Quality Services 機能

2011年11月30日

紅葉したイチョウ

みなさん、こんにちは。松本美穂です。
紅葉の美しい季節です。仕事がすこし詰まっていたので籠もりがちでしたが、外に出ると太陽の光の美しいこと。
青空に紅葉はとても映えます。私の住むマンションは改修工事中で、マンション全体が布ですっぽり。 普段当り前のように思っていた青空が見えることや、太陽の光がとても有り難く感じますね。

■ SQL Server 2012 の Data Quality Services

今回は、SQL Server 2012 の DQS(Data Quality Services) をご紹介します。
DQS は、データ クレンジングや名寄せ処理が可能なサービスです。
任意のテーブルのデータを取得して、たとえば、会社名など、同じ会社であっても違う名前で登録されているデータに対して、一つの名前に統一することができます。

シノニムの設定
シノニムの設定

また、データに対して文字列の長さや正規表現のルールを設けて、ルール違反のデータの影響を分析したり、特定することができます。

ルールの設定と影響度
ルールの設定

クレンジングの実行
クレンジングの実行

無効なデータの表示
無効なデータの表示

クレンジング結果のエクスポート
結果のエクスポート

エクスポートしたデータ
参加バッチ

また、これらの処理を Integration Services の「DQS クレンジング」タスクとして指定できるため、SSIS パッケージとして含めることができます。

SSIS パッケージへの登録
ノベルティ

このように、DQS は、データ ウェアハウスの構築に役立つたいへん便利な機能です。
具体的な操作手順につきましては、SQL Server 2012 自習書シリーズの「DWH 関連の新機能」に書きましたので、こちらをご覧いただけますと幸いです。

http://www.microsoft.com/japan/sqlserver/2012/movie.mspx

目次は次のとおりです。

STEP 1. SQL Server 2012 の概要 4
1.1 SQL Server 2012 の概要 5
1.2 SQL Server 2012 で提供される主な DWH 新機能の概要 6
STEP 2. カラム ストア インデックス による飛躍的な性能向上 13
2.1 カラム ストア インデックスによる飛躍的な性能向上 14
2.2 カラム ストア インデックスの作成方法 16
2.3 カラム ストア インデックスでのデータ更新 28
2.4 カラム ストア インデックスのサイズの確認 31
STEP 3. DWH/BI で役立つ Transact-SQL 分析関数 34
3.1 DWH/BIの T-SQL 分析関数(Analytic Functions)のサポート 35
3.2 前年同月や累積金額の取得 44
STEP 4. DQS(Data Quality Services) によるデータ品質の向上 47
4.1 DQS(Data Quality Services)による容易なデータ品質の向上 48
4.2 DQS(Data Quality Services)のインストール方法 51
4.3 DQS(Data Quality Services)によるデータ クレンジング処理 53
4.4 データ品質プロジェクトの作成 70
4.5 Integration Services の「DQS クレンジング」タスク 77
STEP 5. BI 関連の新機能の概要 96
5.1 SQL Server 2012 で提供される BI 新機能の概要 97
5.2 付録: サンプル データベース(NorthwindJ)の作成 103

■ おわりに

朝起きて、必ずすることは、20分間の読書です。寒いのが苦手な自分でも、読書する楽しみがあると、寒い朝でもちゃんと起きようとします。20代の頃は小説なんて読まなかったのですが、今は小説でも読みますね。でも、小説は好き嫌いが結構あるので、一番多いのは、エッセイとビジネス書でしょうか。技術書を除くと今年読んだ本は大体100冊ぐらい。技術書は英語がほとんどなので、あんまり進まずに、一部分しか読まなかったりします。その分、要点をつかむカンと自力で取得する力が鍛えられてきているような気がします(苦笑)

落ち葉

事例1

SQLQualityは執筆とセミナーを通じて技術の啓蒙やエンジニアの育成支援も行っています
最新刊
SQL Server 2016 の教科書
SQL Server 2016 の教科書(ソシム)

弊社オリジナル制作の
SQL Server 2016 自習書も
マイクロソフトのサイトで公開中!
ダウンロードはこちら
セミナー風景
セミナー風景

ロングセラー
ASP.NET でいってみよう  SQL Server 2000 でいってみよう
ASP.NET でいってみよう
第7刷 16,500 部発行
SQL Server 2000 でいってみよう
第12刷 28,500 部発行
SQL Server 2014 CTP2 インメモリ OLTP 機能の概要
SQL Server 2014 CTP2 インメモリ OLTP 機能の概要(Amazon Kindle 書籍)

弊社執筆の
SQL Server 2014 自習書
マイクロソフトのサイトで公開中
目次はこちら

弊社執筆の
SQL Server 2012 自習書
マイクロソフトのサイトで公開中
ダウンロードはこちら
松本美穂のコラム
(公開活動などのお知らせ)

第60回:SQL Server 2017 自習書 No.3「SQL Server 2017 Machine Learning Services」のご案内
第59回:SQL Server 2017 自習書 No.2「SQL Server 2017 on Linux」のご案内
第58回:SQL Server 2017 自習書 No.1「SQL Server 2017 新機能の概要」のご案内
第57回:SQL Server 2017 RC 版とこれまでのドキュメントのまとめ
第56回:「SQL Server 2016 への移行とアップグレードの実践」完成&公開!
第55回:書籍「SQL Server 2016の教科書 開発編」(ソシム)が発刊されました
第54回:「SQL Server 2016 プレビュー版 Reporting Services の新機能」自習書のお知らせ
第 53 回:SQL Server 2016 Reporting Services の新しくなったレポート マネージャーとモバイル レポート機能
第 52 回:SQL Server 2016 の自習書を作成しました!
第 51 回:PASS Summit と MVP Summit で進化を確信!
第 50 回:新しくなった Power BI(2.0)の自習書を作成しました!
第49 回:Excel 2016 の Power Query を使う
第 48 回:新しくなった Microsoft Power BI ! 無料版がある!!
第 47 回:「Microsoft Azure SQL Database 入門」 完成&公開!
第 46 回:Microsoft Power BI for Windows app からの Power BI サイト アクセス
第 45 回:Power Query で取得したデータを PowerPivot へ読み込む方法と PowerPivot for Excel 自習書のご紹介
第44回:「SQL Server 2014 への移行とアップグレードの実践」ドキュメントを作成しました
第43回:SQL Server 2014 インメモリ OLTP 機能の上級者向けドキュメントを作成しました
第42回:Power Query プレビュー版 と Power BI for Office 365 へのクエリ保存(共有クエリ)
第41回:「SQL Server 2014 CTP2 インメモリ OLTP 機能の概要」自習書のお知らせです
第40回: SQL Server 2012 自習書(HTML版)を掲載しました
第39回: Power BI for Office 365 プレビュー版は試されましたか?
第38回: SQL Server 2014 CTP2 の公開
第37回: SQL Server 2014 CTP1 の自習書をご覧ください
第36回: SQL Server 2014 CTP1 のクラスター化列ストア インデックスを試す
第35回: SQL Server 2014 CTP1 のインメモリ OLTP の基本操作を試す
第34回: GeoFlow for Excel 2013 のプレビュー版を試す
第33回: iPad と iPhone からの SQL Server 2012 Reporting Servicesのレポート閲覧
第32回: PASS Summit 2012 参加レポート
第31回: SQL Server 2012 Reporting Services 自習書のお知らせ
第30回: SQL Server 2012(RTM 版)の新機能 自習書をご覧ください
第29回: 書籍「SQL Server 2012の教科書 開発編」のお知らせ
第26回: SQL Server 2012 の Power View 機能のご紹介
第25回: SQL Server 2012 の Data Quality Services
第24回: SQL Server 2012 自習書のご案内と初セミナー報告
第23回: Denali CTP1 が公開されました
第22回 チューニングに王道あらず
第21回 Microsoft TechEd 2010 終了しました
第20回 Microsoft TechEd Japan 2010 今年も登壇します
第19回 SQL Server 2008 R2 RTM の 日本語版が公開されました
第18回 「SQL Azure 入門」自習書のご案内
第17回 SQL Server 2008 自習書の追加ドキュメントのお知らせ
第16回 SQL Server 2008 R2 自習書とプレビュー セミナーのお知らせ
第15回 SQL Server 2008 R2 Reporting Services と新刊のお知らせ
第14回 TechEd 2009 のご報告と SQL Server 2008 R2 について
第13回 SQL Server 2008 R2 の CTP 版が公開されました
第12回 MVP Summit 2009 in Seattle へ参加

技術コミュニティでも活動中
松本崇博 Blog(SQL Server Tips)
松本美穂ブログ(SQL Serverノート)