川西裕幸のブログ : Windows 7

PDC 2009 (Nov. 19)

hiroyuk — Fri, 20 Nov 2009 06:41:00 GMT

PDC 2009 も最終日です。今日はキーノートもなく、以下のセッションに参加しました。

[SVR10]Lighting up Windows Server 2008 R2 Using the ConcRT on UMS
[VTL02]Axum: A .NET Language for Safe and Scalable Concurrency
[CL03]DirectX11 DirectCompute
[CL35]Custom Behaviors for Advanced Microsoft Silverlight UI Effects
[CL24]XAML Futures in Microsoft .NET Framework, Microsoft Silverlight and Tools

Lighting up Windows Server 2008 R2 Using the ConcRT on UMS

Agenda

アーキテクチャ概要
タスク
協調型ブロック
UMS（User Mode Scheduling）

タスクスケジューラーとリソースマネージャについて（性能、生産性、プラットフォーム）。

UMSスレッドをユーザーが使えることでプラットフォームを改善。UMSによってアプリは、OSに依存せずに、スケジューラーのふるまいを定義できる

UMSをConcRT（同時実行ランタイム）が使うことによって、次のことが可能になる。

細粒度の並列化
より決定論的なふるまい
より優れたキャッシュの局所性

タスクグループによってスレッドアフィニティを管理できる。タスクはスケジューラーによって実行するが、ワークスチーリングキューが負荷バランスをとる。

64以上のプロセッサーをサポート（64ビットOSの場合）：SetThreadIdealProcessorEx

OpenMPはC/Fortranに、MSの並列ライブラリーはC++に焦点を当てている。

現在開発中のソフトウェアが10年後にも動作しているとしたら、それは80コアのPCで動作しているかもしれない。だから今から始める必要がある？

Axum: A .NET Language for Safe and Scalable Concurrency by Niklas Gustafsson

並列プログラミングには見えない天井があるので（複雑さ・性能・スケーラビリティ）、新しいモデルが必要。Axumは並列のための新しいプログラミングモデルで、共有メモリーと純粋メッセージ渡しとのバランスをとることができる。

Axumのコンセプト

「チャンネル」は2つのエージェント間のメッセージを指揮するポートを定義
「エージェント」はスレッドと同じようなアクティブなコンポーネントだが、共有排他状態へのアクセスが制限されている。チャンネル経由でメッセージを送る。
「ドメイン」は複数のエージェントが共有する状態を定義。エージェントはドメイン内にホストされる。
「スキーマ」はペイロードを定義。
「プロトコル」はメッセージの正しい順序を定義。
「データフローネットワーク」は演算間でデータを伝搬させる。

ダウンロード：http://msdn.microsoft.com/devlabs/

ブログ：http://blogs.msdn.com/maestroteam/

DirectCompute Capturing the Teraflops

概要

GPUをCPUのように記述
問題セットの定義
DirectComputeの使い方
データの管理

GPUとCPU

CPU	GPU
４コア	32 コア
４Float 幅 SIMD	32 Float 幅 SIMD
3GHz	1GHz
48-96GFlops	1 TeraFlops
2x Hyper Thread	32x “HyperThread”
64kB $L1/core	64kB $L1/core
20GB/s to Memory	150GB/s to Memory
$200	$200
200W	200W

GPUはデータ並列プロセッサー、CPUは25GFlops GPUは700GFLops

DirectComputeの使い方

DirectComuoteの初期化
.hlslにGPUコードを作成
DirectX コンパイラーを使ってコンパイル
そのコードをGPUにロード
GPUバッファをセットアップ、アクセス用にビューをセットアップ
データビューをカレントにする
GPUでコードを実行
データをCPUメモリーにコピー

HLSLは最も広く使われいているデータ並列プログラミング言語。

DirectX Resource Type

Buffer Resource Type: 構造化データ
Image Media Resource Type：テクスチャ、1D, 2D, 3D, キューブ、配列

リソースビュー：リソースバッファのデータにアクセスするメカニズム

GroupSharedレジスター：新しいレジスター
一時レジスターは、汎用レジスター

データ並列I/O：1600のアクティブなスレッドのI/Oは容易ではない。

ComputeShader 4.* vs 5.0

ComputeShader 4.*では倍精度は扱わない、5.0から。

Custom Behaviors for Advanced Microsoft Silverlight UI Effects

トリガー、アクション、ビヘイビアーのカスタマイズ

Public class Grow : TrigggerAction<FrameworkElement>
{
protected override Invoke(object parameter){
CompositTransform transform = ....
}

http://blogs.msdn.com/expression/

XAML Futures in Microsoft .NET Framework, Microsoft Silverlight and Tools

現在注力しているのは

ランタイム構文解析
静的分析
コンパイル時
デザイン時
ローカリゼーション

XAMLデータモデル＝Object - Member - Value (O-M-V) + Type

XAMLノードストリーム：例えば、XAMLpadでイベントハンドルが可能に

IXamlTyoeResolver,
IAmbientProvider
IXamlSchemaContextProvider
IRootObjectProvider
IXamlNameResolver

ランタイム構文解析（パーサー）の改善

.NET4 はSystem.Xaml.dllを使用
Silverlight 4にはまだ XamlScemaContext が必要

アナウンス：XAML Toolkit http://code.msdn.microsoft.com/xaml/

XAMLDom: XDocumentのXLinqのようなもの
XAML FxCop

XAMLローカリゼーション

x:Uid か {MarkupExtension}か？
Page.xaml.resx のような形でローカライズできることを考えている
XAML Toolkit で公開する

お願い

.NET 4 Beta2 +System.Xaml.dll で初めて下さい
XAML Toolkit CTP をダウンロードして下さい
XAML改善のためフィードバックを下さい

PDC 2009 (Nov. 17)

hiroyuk — Wed, 18 Nov 2009 06:51:00 GMT

PDC 2009 の本番が始まりました、今年は1日減って3日間です。今日は以下のセッションに参加しました。

キーノート
[CL09] How Microsoft Visual Studio 2010 Was Built with Windows Presentation Foundation 4
[VTL32] Concurrency Fuzzing & Data Races
[FT19] C++ Forever: Interactive Applications in the Age of Manycore
[CL13] Windows Touch Deep Dive
[FT03] Manycore and the Microsoft .NET Framework 4: A Match Made in Microsoft Visual Studio 2010

キーノート

Ray OzzieらがAzureのテクノロジーの話を、Bob MugliaらがAzureのレイヤーとビジネスの話をしました。ライブ中継があったらしいです。

How Microsoft Visual Studio 2010 Was Built with Windows Presentation Foundation 4

Visual Studio 2010はWPFベースで作られており、その苦労話でした。

WPFを使った理由

技術的証明
アーキテクチャ的理由
VS2010の重要な機能のため

どのWPF機能を使ったか？

XAMLを使った宣言UI
データバインディング
スタイルテンプレート
アプリケーションリソース
Win32との相互運用
メッセージループとの統合
DirectWriteを基にした新しいテキスト

段階的アプローチ

データモデルを定義
メインウィンドウをWPFに置き換え
新しいWindowマネージャとコマンドバーを書く
一部のチームをスカウト（繰り返し）
テスト、テスト、テスト
テスト用に切り替え
古いコードを取り除く

テストのコスト

過小評価していた
しかし、チャンスでもあった（統合テストフレームワーク、UIオートメーション）
データレイヤーでのテスト

挑戦だったのは

混合モードアプリ（ネイティブとマネージ、WPFとHWND Winフォーム）
既存の拡張機能が動作するように
開発をストップしてはならない
テキストの品質と性能

混合モードアプリの挑戦

データレイヤーでの相互運用（マネージコードからネイティブモデルにバインディング）
プレゼンテーションレイヤーでの相互運用

デモ：フォーカスが動く問題

テキストと画像の品質

性能

メンバー：約12名とWPFチームとExpressionチーム

Concurrency Fuzzing & Data Races by Madan Musuvathi(MSR)

同時実行は難しい

非決定論的
Heisenbugsの結果
観察がバグを修正してしまう
大きな生産性の問題

MSRではCuzzとFeatherLiteを開発

Cuzz: 百万回に1回のバグを見つけるツール
FeatherLite: 軽量なデータ競合検出

C++ Forever: Interactive Applications in the Age of Manycore

VS2010のネイティブ並列ライブラリー

Agenda

同時実行を容易にする
カスタマイズ可能でスケーラブルな同時実行ランタイム
共有状態の管理
生産性のための並列開発ツール

並列パターンライブラリー（PPL）：Task, Task group, Paralle Loos

非同期エージェントライブラリー：Agent, Souce and Target, 協調型送信と受信

http://code.msdn.com/concrtextras にVS2010 Beta2 用のサンプルが更新されていました。

Windows Touch Deep Dive

Win32マルチタッチAPIの話でした。

Agenda

はじめに
Windows Touch APIの概要
実際のISVからの質問と解答
デモ

タッチはチャンス

Windows Touch APIs

WM_GESTURE
WM_TOUCH
マニピュレーションと慣性

デモ：3D マニピュレーション

Manycore and the Microsoft .NET Framework 4: A Match Made in Microsoft Visual Studio 2010

Agenda

なぜ並列か？なぜ今か？
タスクが新しい最良の友達
ループを活用
並列を可視化

ムーアの法則はメニーコアシフトへ：10年以内に80コアになる

並列化のオーバーヘッドを最小化：実装と実行どちらも

新しい同期プリミティブ

デモ：並列プロファイラーと並列デバッガー

このセッションは昨日のワークショップと同じく Stephen Toubが講演しました。やはりスライドよりコードを書き、受講者からの質問に片っ端から答えるという日本人にはつらいスタイルでした。彼はマネージ並列のプログラムマネージャですが、本当にすごいと思います。

【追記】各セッションのビデオへのリンクを追加しました

Windows 7 ハンズオンラボ～Direct2D, DirectWrite~

hiroyuk — Fri, 04 Sep 2009 07:00:50 GMT

Windows 7 の新しい Win32 APIである Direct2D と DirectWrite の実装を自習できるハンズオンラボが公開されました。内容は以下の通りです。

Direct2D

描画用のターゲットを作成し、これを使用して、スクリーンへ描画する
幾何学図形のオブジェクトを使用して、図形を描画し、これにグラデーションを付ける
GDI サーフェイスに Direct2D のコンテンツを描画する方法を用いて、GDI ベースのアプリケーションのグラフィックス描画を強化する

DirectWrite

DirectWrite API を使用して、テキストの整形と配置を行う
Direct2D API を使用して、テキストの描画を行う
DirectWrite API のいつくかの異なる方法で描画する
Direct2D API を介して、テキストをグラフィックスとして扱う
テキストのカスタムレンダリング (custom text renderer) を実装する

Windows ユーザーエクスペリエンスガイドライン

hiroyuk — Tue, 25 Aug 2009 07:15:54 GMT

Windows ユーザーエクスペリエンスガイドライン日本語版（UXガイド）がMSDN ライブラリーに公開されました。このガイドラインはWindows 7用に更新された内容を日本語化し、さらにフォントの項目に「メイリオとMeiryo UI」の解説が追加されています。

同時に、特にデザイン原則とWindows 7 の新機能であるタスクバー、リボン、タッチなどを抜粋した、概要版のPDF・XPSも公開されました。TechEd Japan 2009では、この概要版を印刷した冊子が配布されるそうです。

目次（緑色は概要版に収録されている項目）

デザイン原則

Windows ユーザーエクスペリエンスのデザイン原則
よくあるガイドラインからの逸脱
優れたユーザーエクスペリエンスをデザインする方法
パワフルかつシンプルに
Windows Presentation Foundation を使ってデザイン

コントロール

バルーン
チェックボックス
コマンドボタン
コマンドリンク
ドロップダウンリストとコンボボックス
グループボックス
リンク
リストボックス
リストビュー
進行状況バー
段階的表示
ラジオボタン
検索ボックス
スライダー
スピンコントロール
ステータスバー
タブ
テキストボックス
ツールヒントと情報ヒント
ツリービュー

コマンド

メニュー
ツールバー
リボン

テキスト

ユーザーインターフェイステキスト
スタイルとトーン

メッセージ

エラー
警告
確認
通知

対話操作

キーボード
マウスとポインター
タッチ
ペン
アクセシビリティ

ウィンドウ

ウィンドウの管理
ダイアログボックス
コモンダイアログ
ウィザード
プロパティウィンドウ

外観

レイアウト
ウィンドウ枠
フォント
色
アイコン
標準アイコン
グラフィック要素
サウンド

エクスペリエンス

ソフトウェアのブランド化
ファーストエクスペリエンス
印刷

Windows 環境

デスクトップ
スタートメニュー
タスクバー
通知領域
Windows デスクトップガジェット
コントロールパネル
ヘルプ
ユーザーアカウント制御

ビジュアル索引

用語集

WIndows 7 RTM 日本語版（MSDN サブスクリプション）

hiroyuk — Wed, 12 Aug 2009 03:56:26 GMT

MSDN サブスクリプションから Windows 7 RTM 日本語版がダウンロードできるようになりました（言語を Japanese にしてください）。Language Packもあるので他言語向けの開発にも使えます。

Windows SDK for Windows 7 をダウンロードするには、言語を English にしてください。

64bit 版の Windows SDK for Windows 7 (RTM)

hiroyuk — Tue, 11 Aug 2009 03:58:00 GMT

すでにダウンロードセンターに Windows SDK for Windows 7 and .NET Framework 3.5 SP1 (RTM) の WebSetup と iso が公開されています~~が、現在のところ、32bit 版（x86）だけのようです~~。

~~64bit 版（amd64 と ia64）の Windows SDK for Windows 7 (RTM)は~~ ~~MSDN サブスクリプションからダウンロードしてください。~~

Windows API Code Pack for Microsoft .NET Framework (v1.0)

hiroyuk — Mon, 10 Aug 2009 09:27:56 GMT

Windows API Code Pack v1.0 が公開されました。機能的には v0.9 と同じですね。D3D, D2D はサンプルコードもあるので、マネージコードでD3Dを！という方は試してみてください。残念ながらマルチタッチは含まれていません。

Windows 7 タスクバージャンプリスト、アイコンオーバーレイ、プログレスバー、タブサムネイル、サムネイルツールバー
既知のフォルダー、Windows 7 ライブラリ、非ファイルシステムコンテナ、シェルオブジェクト用のドラッグ＆ドロップ機能
Windows 7 エクスプローラーブラウザーコントロール
シェルプロパティシステム
Windows Vista と Windows 7 コモンファイルダイアログ（カスタムコントロールを含む）
Windows Vista と Windows 7 のタスクダイアログ
Direct3D 11.0、Direct3D 10.0/10.1、DXGI 1.0/1.1、Direct2D 1.0、DirectWrite、Windows Imaging Component (WIC) API（DirectWriteとWICは部分的なサポート）
センサープラットフォーム API
拡張言語サービス API
電源管理 API
アプリケーション再起動・リカバリー API
ネットワークリストマネージャ API
コマンドリンクコントロールとシステム定義シェルアイコン

Win32, Silverlight 3, WPF 4 の Windows 7 マルチタッチへの対応

hiroyuk — Mon, 27 Jul 2009 08:48:13 GMT

Windows 7 の新機能にマルチタッチがあります。Win32, Silverlight 3, WPF 4 はそれぞれ Windows 7 マルチタッチに対応していますが、それぞれ特徴があるのでここでまとめます。

Win32

WM_TOUCH メッセージは最も下位レベルのメッセージで（生のメッセージ）、複数のタッチIDと位置などが取得できます。Win32 でこのメッセージを受け取るには RegisterTouchWindow を呼び出す必要があります。
WM_GESTURE メッセージは上位レベルのメッセージで、パン・ズーム・回転の情報を取得できます。Win32 ではデフォルトでこのメッセージを受け取れますが、RegisterTouchWindow を呼び出すと WM_TOUCH しか受け取れません、つまり WM_TOUCH と WM_GESTURE は排他です。
Manipulation & Inertia は WM_TOUCHと組み合わせて、ManipulationEventSink を実装することによって、移動や回転の慣性や減衰の処理ができます。
Windows 7 SDK にサンプルがあります。

Silverlight 3

Silverlight 3 は WM_TOUCH にのみ対応します。
マルチタッチを処理するには、UIElementのようなオブジェクトにイベントハンドラーを追加するのではなく、System.Windows.Input.Touch.FrameReported にTouchFrameEventHandler イベントハンドラーを追加します。
そのコールバック内で、TouchFrameEventArg の GetPrimaryTouchPoint メソッドなどを使ってタッチポイントを取得します。
DevCornerにサンプルがあります。

WPF ４

Beta 1 では WM_TOUCH に対応していません（Beta 2 から対応予定）。
WPF ４では Maniputaion & Inertia と WM_GESTURE が統合されています（Gestureという用語が使われていないので、分かりにくくなっています）。UIElement.ManipulationMode に Translate, Scale, Rotate などを設定することにより、パン・ズーム・回転を処理できます。
OnManipulationStarted や OnManipulationDelta、あるいはOnInertiaStarted などをオーバーライドして、それぞれの動きを実装します。
Visual Studio 2010 and .NET Framework 4 Training Kit - May Preview にサンプルがあります。

まとめるとこんな感じです。

	WM_TOUCH	WM_GESTURE	Manip&Inertia
Win32	〇	◎	〇
Silverlight 3	〇	×	×
WPF 4(Beta1)	× (Beta2で対応)	〇

Direct2D の紹介 (MSDNマガジン6月号)

hiroyuk — Wed, 15 Jul 2009 07:26:36 GMT

MSDNマガジン6月号に「Direct2Dの紹介」記事が載っています。

GDI, D3D, WPFなどとの比較もあります。

Media Foundation ⑥ WebCam + WPF XAMLとC#の実装

hiroyuk — Tue, 07 Jul 2009 04:38:00 GMT

それでは XAMLとC#を実装しましょう。次のようにビデオ画像と、スライダーで回転・スケールを行うので、XAMLではD3DImageと2つのスライダー（とラベル）を宣言します。一つのスライダーはD3DImageの回転角度に、もう一つはD3DImageのXScaleとYScaleにバインディングします。

D3DImageはSystem.Windows.Interop名前空間にあるので、名前空間の追加に注意してください。

C#の実装

D3DImage チュートリアルとの違いは、初期化時にビデオのサイズを取得していることと、Rendering イベントハンドラーとコールバックを宣言する代わりに、Windows メッセージを処理するためのコールバック（ここではBltVideo）を HWndSourceクラスのAddHookメソッドを使って宣言することです。そのあとで一回目の非同期サンプリング命令（Sample）を呼び出します。

private readonly D3DWrapper myD3DScene = new D3DWrapper();
private HwndSource source;
private const int WM_PAINT = 0x000F;
private int videoWidth = 0;
private int videoHeight = 0;

...

private void StartDXRendering()
{
if (!myD3DImage.IsFrontBufferAvailable)
return;
IntPtr scene = myD3DScene.Initialize(
new WindowInteropHelper(this).Handle,
ref videoWidth,
ref videoHeight);
myD3DImage.Lock();
myD3DImage.SetBackBuffer(
D3DResourceType.IDirect3DSurface9, scene);
myD3DImage.Unlock();
source = HwndSource.FromHwnd(
new WindowInteropHelper(this).Handle);
source.AddHook(new HwndSourceHook(BltVideo));
myD3DScene.Sample();
}

BltVideo では WM_PAINT メッセージかどうかを確認して、D3DImageの内容を更新します。そのあとで、メッセージの処理完了を示す handled を true にし、次の非同期サンプリング命令を呼び出します。

private IntPtr BltVideo( IntPtr hwnd, int msg, IntPtr wParam,
                         IntPtr lParam, ref bool handled)
{
if (msg == WM_PAINT)
{
    myD3DImage.Lock();
    myD3DImage.AddDirtyRect(
    new Int32Rect(0, 0, videoWidth, videoHeight));
    myD3DImage.Unlock();
    handled = true;
    myD3DScene.Sample();
}
return IntPtr.Zero;
}

ソリューションを添付するので、WebCam のついた PC でビルド・実行してみてください。動作環境は以下の通りです。

Windows 7 (RC)
Windows 7 SDK (RC)
Visual Studio 2008 SP1
DirectX SDK (Mar 2009)

Media Foundation ⑤ WebCam + WPF プロジェクトの作成とC++の実装

hiroyuk — Mon, 06 Jul 2009 04:14:51 GMT

以前紹介したMedia Foundation の MFCaptureD3D サンプルを基に、WebCam のビデオ出力を D3DImage 経由で WPF で表示してみましょう。WPF で表示できれば、回転やスケールは思いのままですし、ブラーなどのエフェクトも容易です。

WPFソリューションの作成と混合アセンブリに変換

D3DImage チュートリアルを参考にして、WPFソリューションを作成し、MFCaptureD3Dプロジェクトを追加し、C++/CLIの混合アセンブリに変換します。マニフェストは明示的に追加しなくても、自動生成のもので構いません。ついでに、WPFプロジェクトの設定もしておいてください。

C++コードの編集

まず、キャプチャしたビデオを表示するウィンドウを生成し、メッセージポンプを定義している winmain.cpp を「プロジェクトから除外」します。次にD3DWrapper.cppを追加します。D3DWrapper.cppの内容は以下の通りです。初期化するときにD3Dサーフェイスとビデオの幅と高さを取得して、呼び出し元（つまりC#側）に返します。あとは、SampleメソッドでのMFReaderの非同期サンプリングの命令と、クリーンアップだけです。非同期サンプリングなので、このSampleメソッドが返っても、サンプリングは終了していません。初期化時にMFStartupを、クリーンアップ時にMFShutdownを呼び出していることにも注意してください。

#include "MFcaptureD3D.h"
#include <vcclr.h>
using namespace System;
CPreview* g_pPreview;

namespace MFCaptureViewer
{
public ref class D3DWrapper
{
public:
    IntPtr Initialize(IntPtr hwnd, int% width, int% height)
    {
      LPDIRECT3DSURFACE9 g_pd3dSurface;
      MFStartup(MF_VERSION);
      if (SUCCEEDED(CPreview::CreateInstance((HWND)
           hwnd.ToPointer(),
           (HWND)hwnd.ToPointer(),
           &g_pPreview)))
      {
        // Get Surface
        g_pPreview->m_draw.m_pSwapChain->GetBackBuffer
         (0,D3DBACKBUFFER_TYPE_MONO, &g_pd3dSurface);
        // Video width & height
        width = g_pPreview->m_draw.m_width;
        height = g_pPreview->m_draw.m_height;
        return IntPtr(g_pd3dSurface);
      }
    return IntPtr::Zero;
    }

    VOID Sample()
    {
        g_pPreview->m_pReader->ReadSample(
          (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
          0, NULL, NULL, NULL, NULL);
    }

    VOID Cleanup()
    {
       g_pPreview->Release();
       MFShutdown();
}
};
}

device.h と device.cpp

device.cppでは主にD3D系の処理を行っています。まずバックバッファのD3DSrufaceとビデオの幅・高さを D3DWrapperで取得できるように、device.hで4つのプロパティをパブリックにします。

public:
    UINT m_width; // moved to public
    UINT m_height; // moved to public
    IDirect3DSwapChain9 *m_pSwapChain; // moved to public
    DrawDevice(); // moved to public

virtual ~DrawDevice();

device.cpp では、マルチスレッドの解決、およびスワップチェーンのブリットは不要なので、次の2か所を変更します。

    hr = m_pD3D->CreateDevice(
        D3DADAPTER_DEFAULT,
        D3DDEVTYPE_HAL,
        hwnd,
        D3DCREATE_HARDWARE_VERTEXPROCESSING |
        D3DCREATE_FPU_PRESERVE |
        D3DCREATE_MULTITHREADED, // Add
        &pp,
        &m_pDevice
        );

…

    // Present the frame.
    // Removed
    // hr = m_pDevice->Present(NULL, NULL, NULL, NULL);

preview.hと preview.cpp

preview.cpp では主にMF関連の処理を行っています。まず、D3DWrapperで使えるように preview.h で2つのプロパティをパブリックにします。

public:
IMFSourceReader *m_pReader; // moved to public
DrawDevice m_draw; // moved to public

preview.cpp では、以下の2つのメソッドを変更します。前者で追加しているのは winmain.cppで行われていたWebCamデバイスを取得するコードです。後者では、非同期のコールバック内で次のサンプリングを呼び出していたのを、WM_PAINT メッセージの送付に変更しています（必ずしもWM_PAINTでなければならないわけではありません）。WPFではこのメッセージを基にD3DImageへの書き込みを行います。灰色は変更しないコードです。

HRESULT CPreview::Initialize()
{
    HRESULT hr = S_OK;
    hr = m_draw.CreateDevice(m_hwndVideo);
    // Add to get WebCam
    IMFActivate **ppDevices;
    UINT32 count = 0;
    IMFAttributes *pAttributes=NULL;
    hr = MFCreateAttributes(&pAttributes,1);
    hr = pAttributes->SetGUID(
      MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE,
      MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID);
    hr = MFEnumDeviceSources(pAttributes, &ppDevices, &count);
    if (count >0)
      hr = this->SetDevice(ppDevices[0]);
    // done
    return hr;
}

…

HRESULT CPreview::OnReadSample(
    HRESULT hrStatus,
    DWORD ,
    DWORD ,
    LONGLONG ,
    IMFSample *pSample      // Can be NULL
    )
{
    HRESULT hr = S_OK;
    IMFMediaBuffer *pBuffer = NULL;
    EnterCriticalSection(&m_critsec);
    if (FAILED(hrStatus))
    {
        hr = hrStatus;
        goto done;
    }
    if (pSample)
    {
        // Get the video frame buffer from the sample.
        hr = pSample->GetBufferByIndex(0, &pBuffer);
        if (FAILED(hr)) { goto done; }
        // Draw the frame.
        hr = m_draw.DrawFrame(pBuffer);
        if (FAILED(hr)) { goto done; }
    }
    // Add
    hr = SendMessage(m_hwndEvent, WM_PAINT, 0, 0);
    // Request the next frame.
    // Removed
    // hr = m_pReader->ReadSample(
    //    (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
    //    0,
    //    NULL,   // actual
    //    NULL,   // flags
    //    NULL,   // timestamp
    //    NULL    // sample
    //    );
done:
    if (FAILED(hr))
    {
        NotifyError(hr);
    }
    SafeRelease(&pBuffer);
    LeaveCriticalSection(&m_critsec);
    return hr;
}

ここで追加した SendMessage が非同期サンプリング時のC++とC#との同期問題を解決するカギの一つです。

この時点で、ソリューションエクスプローラーでこのMFCaptureD3Dプロジェクトを右クリックして、[プロジェクトのみ]→[MFCaptureD3Dのみをリビルド]を実行して、エラーが出ないことを確認してください。

つづく

並行ランタイムと並列パターンライブラリのサンプル

hiroyuk — Mon, 29 Jun 2009 06:02:00 GMT

以前、「並列プログラミングサンプル .NET 4 Beta 1」を紹介しましたが、ネイティブ Win32 のサンプルも「並行ランタイムと並列パターンライブラリ（PPL）のコードサンプル」として公開されています。「フィボナッチ数」を求めたり、「食事をする哲学者」などのサンプルがあります。

RDP 7 の変更

hiroyuk — Fri, 26 Jun 2009 03:46:00 GMT

Windows 7 の RDP（リモートデスクトッププロトコル）では、以下のように（PDC 08の資料）多くのテクノロジーがクライアントでレンダリングされる予定でした（RCでは有効です）。

クライアントでレンダリングできれば、ホストから送られるデータが減らせるためネットワーク帯域の負荷が減らせるとともに、ホスト側の負荷も軽減できます。ホストレンダリングでは、レンダリング結果を毎フレーム画像として送るので（もちろん何らかの圧縮は掛けますが...）、非効率なため高品質なデスクトップを生成できません。Direct3D や Direct2D のクライアントレンダリング能力は、リモートデスクトップでクライアント側にあるGPU性能がフルに活用できる興味深い仕様でした。

ところが、RDP チームのブログによると、Direct2DとDirect3D 10.1 のクライアントレンダリングは Windows 7 RTM 版から取り除かれたそうです（こんな感じ）。

しかし、RDP 7 で Aero Glass は有効ですし、GDIとメディアプレイヤーはクライアントレンダリングなので、クライアント側にある GPU 上のコンポジターはリモートで利用可能なままのようです。

しかし、RDP チームはクライアントレンダリング機能の強化を続けているので、将来のバージョンアップでは D3D10などもクライアントレンダリング可能になるのでしょう。

RDPでAero Glassを有効にするには Windows 7 のリモートデスクトップ接続のオプションからデスクトップコンポジションを有効にする必要があります。Windows Server 2008 R2での設定については、RDPチームのブログを参照してください。

Media Foundation ④ WebCam + WPF 同期か非同期か

hiroyuk — Thu, 25 Jun 2009 07:57:30 GMT

Windows 7 SDk (RC) にある Media Foundation のサンプル MFCaptureD3D を使って WPF で WebCam のビデオを表示してみましょう。D3DSurface → D3DImage → WPF という流れは、以前 D3DImage チュートリアルで紹介したとおりですが、WebCam の画像をWPFで表示するときには、同期サンプリングか非同期サンプリングかのどちらの戦略をとるかを選ばなければなりません。

非同期サンプリング

MFCaptureD3D では元々サンプリングを非同期で行っています。アトリビュートストアでMF_SOURCE_READER_ASYNC_CALLBACKを指定し、非同期コールバックを設定しています。

// ③非同期コールバックを設定
hr = pAttributes->SetUnknown(
MF_SOURCE_READER_ASYNC_CALLBACK,
this
);

サンプリングを待つ時間を他のUIスレッドで使えるので、WPFのようなアプリには非同期が理想的です。

このサンプルコードでは非同期コールバックの場所として this が指定されているので、サンプリングが完了すると自クラスの OnReadSample メソッドが呼び出されます。このメソッドで、サンプリングした画像をD3DSurfaceに書き込んでから、C++ から C# に何らかのメッセージを送ってD3DSurfaceにビデオ画像が書き込まれたことを通知する仕組みが必要です。

同期サンプリング

以前の D3DImage チュートリアルでは、C# 側から Render メソッドで C++ の Direct3D レンダリングを実行し、それが戻ったら、ロックして AddDirtyRect メソッドでブリットしていました。同期サンプリングの戦略であれば、WebCam から画像を取得し D3DSrufaceへの書き込みを待ってブリットするという、同じ手順でレンダリングできます。

しかし、WebCam デバイスのサンプリングには待ち時間が発生します。しかも1秒間に30フレーム程度確保しようとすると、待ち時間は全体のかなりの割合を占める可能性があります。その間 UI を操作できず、パフォーマンスが悪化する可能性があります。

同期サンプリングを実装するには、アトリビュートストアに前述の非同期指定（MF_SOURCE_READER_ASYNC_CALLBACK）を入れずに、ソースリーダーを取得して、次のようにReadSampleを呼び出すだけです。同期サンプリングでは ReadSample が帰ったときにサンプル画像が取得できます（実装では取得できるまでサンプリングを繰り返します）。

DWORD dwStream;
DWORD dwFlags;
IMFSample* pSample = NULL;
LONGLONG llTimeStamp;
while( !pSample )
{
    hr = m_pReader->ReadSample(
          (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
          0,
          &dwStream,
          &dwFlags,
          &llTimeStamp,
          &pSample
        );
   }

結論として、今回のサンプルコードでは、非同期サンプリングの戦略で実装することにしました。両方とも実装してテストしてみましたが、やはり同期サンプリングでは UI 操作の引っ掛かりが発生することと、C++ コードの修正が多くなるためです。

TechEd 2009 オープンステージ

hiroyuk — Tue, 23 Jun 2009 05:37:33 GMT

8月26日-28日に開催されるTechEd 2009 では、オープンステージで「Media Foundation (Win32) の新機能 @ Windows 7」を話します。短い時間ですが、このブログでも紹介した、ビデオキャプチャやMFPlayの話をしようと思います。

川西 裕幸のブログ : Windows 7

PDC 2009 (Nov. 19)

PDC 2009 (Nov. 17)

Windows 7 ハンズオン ラボ ～Direct2D, DirectWrite~

Windows ユーザー エクスペリエンス ガイドライン

目次（緑色は概要版に収録されている項目）

WIndows 7 RTM 日本語版（MSDN サブスクリプション）

64bit 版の Windows SDK for Windows 7 (RTM)

Windows API Code Pack for Microsoft .NET Framework (v1.0)

Win32, Silverlight 3, WPF 4 の Windows 7 マルチタッチへの対応

Direct2D の紹介 (MSDNマガジン6月号)

Media Foundation ⑥ WebCam + WPF XAMLとC#の実装

C#の実装

Media Foundation ⑤ WebCam + WPF プロジェクトの作成とC++の実装

WPFソリューションの作成と混合アセンブリに変換

C++コードの編集

device.h と device.cpp

preview.hと preview.cpp

並行ランタイムと並列パターン ライブラリのサンプル

RDP 7 の変更

Media Foundation ④ WebCam + WPF 同期か非同期か

非同期サンプリング

同期サンプリング

TechEd 2009 オープンステージ

川西裕幸のブログ : Windows 7

Windows 7 ハンズオンラボ～Direct2D, DirectWrite~

Windows ユーザーエクスペリエンスガイドライン

並行ランタイムと並列パターンライブラリのサンプル