川西裕幸のブログ : Direct3D

PDC 2009 (Nov. 19)

hiroyuk — Fri, 20 Nov 2009 06:41:00 GMT

PDC 2009 も最終日です。今日はキーノートもなく、以下のセッションに参加しました。

[SVR10]Lighting up Windows Server 2008 R2 Using the ConcRT on UMS
[VTL02]Axum: A .NET Language for Safe and Scalable Concurrency
[CL03]DirectX11 DirectCompute
[CL35]Custom Behaviors for Advanced Microsoft Silverlight UI Effects
[CL24]XAML Futures in Microsoft .NET Framework, Microsoft Silverlight and Tools

Lighting up Windows Server 2008 R2 Using the ConcRT on UMS

Agenda

アーキテクチャ概要
タスク
協調型ブロック
UMS（User Mode Scheduling）

タスクスケジューラーとリソースマネージャについて（性能、生産性、プラットフォーム）。

UMSスレッドをユーザーが使えることでプラットフォームを改善。UMSによってアプリは、OSに依存せずに、スケジューラーのふるまいを定義できる

UMSをConcRT（同時実行ランタイム）が使うことによって、次のことが可能になる。

細粒度の並列化
より決定論的なふるまい
より優れたキャッシュの局所性

タスクグループによってスレッドアフィニティを管理できる。タスクはスケジューラーによって実行するが、ワークスチーリングキューが負荷バランスをとる。

64以上のプロセッサーをサポート（64ビットOSの場合）：SetThreadIdealProcessorEx

OpenMPはC/Fortranに、MSの並列ライブラリーはC++に焦点を当てている。

現在開発中のソフトウェアが10年後にも動作しているとしたら、それは80コアのPCで動作しているかもしれない。だから今から始める必要がある？

Axum: A .NET Language for Safe and Scalable Concurrency by Niklas Gustafsson

並列プログラミングには見えない天井があるので（複雑さ・性能・スケーラビリティ）、新しいモデルが必要。Axumは並列のための新しいプログラミングモデルで、共有メモリーと純粋メッセージ渡しとのバランスをとることができる。

Axumのコンセプト

「チャンネル」は2つのエージェント間のメッセージを指揮するポートを定義
「エージェント」はスレッドと同じようなアクティブなコンポーネントだが、共有排他状態へのアクセスが制限されている。チャンネル経由でメッセージを送る。
「ドメイン」は複数のエージェントが共有する状態を定義。エージェントはドメイン内にホストされる。
「スキーマ」はペイロードを定義。
「プロトコル」はメッセージの正しい順序を定義。
「データフローネットワーク」は演算間でデータを伝搬させる。

ダウンロード：http://msdn.microsoft.com/devlabs/

ブログ：http://blogs.msdn.com/maestroteam/

DirectCompute Capturing the Teraflops

概要

GPUをCPUのように記述
問題セットの定義
DirectComputeの使い方
データの管理

GPUとCPU

CPU	GPU
４コア	32 コア
４Float 幅 SIMD	32 Float 幅 SIMD
3GHz	1GHz
48-96GFlops	1 TeraFlops
2x Hyper Thread	32x “HyperThread”
64kB $L1/core	64kB $L1/core
20GB/s to Memory	150GB/s to Memory
$200	$200
200W	200W

GPUはデータ並列プロセッサー、CPUは25GFlops GPUは700GFLops

DirectComputeの使い方

DirectComuoteの初期化
.hlslにGPUコードを作成
DirectX コンパイラーを使ってコンパイル
そのコードをGPUにロード
GPUバッファをセットアップ、アクセス用にビューをセットアップ
データビューをカレントにする
GPUでコードを実行
データをCPUメモリーにコピー

HLSLは最も広く使われいているデータ並列プログラミング言語。

DirectX Resource Type

Buffer Resource Type: 構造化データ
Image Media Resource Type：テクスチャ、1D, 2D, 3D, キューブ、配列

リソースビュー：リソースバッファのデータにアクセスするメカニズム

GroupSharedレジスター：新しいレジスター
一時レジスターは、汎用レジスター

データ並列I/O：1600のアクティブなスレッドのI/Oは容易ではない。

ComputeShader 4.* vs 5.0

ComputeShader 4.*では倍精度は扱わない、5.0から。

Custom Behaviors for Advanced Microsoft Silverlight UI Effects

トリガー、アクション、ビヘイビアーのカスタマイズ

Public class Grow : TrigggerAction<FrameworkElement>
{
protected override Invoke(object parameter){
CompositTransform transform = ....
}

http://blogs.msdn.com/expression/

XAML Futures in Microsoft .NET Framework, Microsoft Silverlight and Tools

現在注力しているのは

ランタイム構文解析
静的分析
コンパイル時
デザイン時
ローカリゼーション

XAMLデータモデル＝Object - Member - Value (O-M-V) + Type

XAMLノードストリーム：例えば、XAMLpadでイベントハンドルが可能に

IXamlTyoeResolver,
IAmbientProvider
IXamlSchemaContextProvider
IRootObjectProvider
IXamlNameResolver

ランタイム構文解析（パーサー）の改善

.NET4 はSystem.Xaml.dllを使用
Silverlight 4にはまだ XamlScemaContext が必要

アナウンス：XAML Toolkit http://code.msdn.microsoft.com/xaml/

XAMLDom: XDocumentのXLinqのようなもの
XAML FxCop

XAMLローカリゼーション

x:Uid か {MarkupExtension}か？
Page.xaml.resx のような形でローカライズできることを考えている
XAML Toolkit で公開する

お願い

.NET 4 Beta2 +System.Xaml.dll で初めて下さい
XAML Toolkit CTP をダウンロードして下さい
XAML改善のためフィードバックを下さい

PDC 2009 (Nov.18)

hiroyuk — Thu, 19 Nov 2009 07:01:00 GMT

PDC09 も本番2日目です（私は3日目ですが）、今日もキーノートがありました。今日、参加したセッションは以下の通りです。

キーノート
BOF Developers on Better Design, User Experience and Why It Matters
CL34 Media Foundation: Supporting Hardware Codecs and Cameras
CL15 Modern 3D Graphics Using Windows 7 and Direct3D 11 Hardware
FT07 The State of Parallel Programming
CL12 Developing with the Windows API Code Pack for Microsoft .NET Framework

キーノート

ウルトラセブンのテーマソングとともに現れたSteven SinofskyがIE9について、HTML5, JavaScriptの高速化、Direct2D・DirectWriteの使用などをアナウンスしましたが、PDC09の参加者（社員は除く）にWindows 7 が乗ったAcerのマルチタッチノートPCを無料で配布するというビッグニュースにかき消されてしまいました（写真は捨てられた箱）。

次にScott Guthrieが Silverlight 4 Betaのアナウンスをしました。Silverlight.net からダウンロードできます。

最後に Kurt DelBene が Office 2010 と Sharepoint 2010 のベータをアナウンスしました。http://www.microsoft.com/2010/ja からダウンロードできます（日本語版）。Sharepoint 2010 は Visual Studio 2010 とちゃんと統合され、F5キーでちゃんとサーバーで実行できると言うと、会場は拍手喝采でした。これまでかなり大変だったんですね。それ以外にも Duet Enteprise for Sharepoint and SAP や Outlook Social Connector もアナウンスされました。最後にMIX10についても言及されていました。

Developers on Better Design, User Experience and Why It Matters

BOF（Bird of Feather）でした。最初のお題は以下のように書いてありましたが、みんなが意見を言い合うので結局進まず、①だけで終わりました。

Best and Worst UX Experience? What can we learn?
The UX ROI
Building Better UX Teams)

UCD（ユーザー中心設計）や Expression Blend の SketchFlowの話になったのですが、私がペルソナの話が聞きたいと振ったところ、100名くらいの参加者の5・6名がペルソナを使ったことがあると答え、ペルソナで盛り上がりました。そのあと開発者とデザイナーの仕事などの話で終わりました。テーマの割に1時間では時間が少なかったようです。

Media Foundation: Supporting Hardware Codecs and Cameras

講演者の Stan Pennington は以前からよく知っていたので楽しみだったのですが、広い部屋に参加者が10名程度しかいなくてかわいそうでした。ランチセッションでネイティブWin32の話だから、少ないとは思いましたが...

Windows のメディアインフラは以下の通り

Video for Windows
DirectShow
Windows Media Format SDK
Media Foundation

MSがMFを使う理由

ストリームオブジェクト（IStream）
接続性とデータフロー
より良いスレッド制御
制約のあるコンポーネントとトポロジー

MFの機能

COM
C++
Vista
Windows 7

Source Reader, Sink Writer, Transcode API, Asynchronous MFT, HW Accerelation

ハードウェアコーデックライセンスプログラム

ビデオコーデックとビデオプロセッサーのみ
WME用のインボックスMDTコーデック
ｗｍａｌ＠ｍｉｃｒｏｓｏｆｔ．ｃｏｍにメールしてください。
2種類のコードタイプ Transcode only, General
正しいＭＦ属性の設定が必要、ＭＦＴはハードウェアデータフローが使える

ＭｅｄｉａＦｏｕｎｄａｔｉｏｎのブログ http://blogs.msdn.com/mf/

Modern 3D Graphics Using Windows 7 and Direct3D 11 Hardware

Agenda

Windows 7 Direct3D レビュー

Direct3D 10 レビュー
Expanding Reach: D3D10Level9 & WARP
HLSL & Shader

D3D11

マルチスレッド
テセレーション

Direct3D 10 パイプライン

入力アセンブリー⇒頂点シェーダー⇒ジオメトリーシェーダー⇒ラスタらいざー⇒ピクセルシェーダー⇒出力合成

Direct3D10 Level9 フィーチャーレベル Level9_2, Level9_1, Level9_1, WARP

Direct3D 11 デザインゴール

非同期リソースロード
マルチスレッド描画と状態変更
デバイスとコンテキスト、3つのコンテキスト：デバイス、直接コンテキスト、繰り延べコンテキスト
状態継承
Direct3D 11 APIは D3D10ハードウェアとドライバでも利用可能
VistaとWinodows 7で利用可能

Direct3D 11 テセレーションは、Bezier, NURBS, 動的・静的テセレーション、変位、再分割に使える

FBXフォーマット

Windows Vistaでの性能更新 http://support.microsoft.com/kb/971644

The State of Parallel Programming

この講演者の Burton Smith は Microsoft のフェローで並列コンピューティングの第一人者として有名な方のようです。大学の授業のようで非常に難しかったです。

結論

関数型言語とトランザクションメモリーはより高いレベルの並列プログラミングを実現する
分離とアトミックの効率的な実装が重要
アーキテクチャがこれらの助けになるはずだ
フォンノイマンモデルは近々置き換えられるだろう

Developing with the Windows API Code Pack for Microsoft .NET Framework

Windows API Code Packの使い方をサンプルを使って紹介していました、

アナウンス：バージョン1.0.1 に更新されたそうです

Ask the Expert

午後6個半から開催された Ask the Expertは、Microsoftの様々なテクノロジーの専門家（講演者など）とテーブルを囲んでディスカッションできる時間です。これも日本人にはちょっと難しいイベントでしたが、ビールと軽食が出ました。

【追記】各セッションのビデオへのリンクを追加しました

DirectX SDK (August 2009)

hiroyuk — Thu, 10 Sep 2009 03:53:37 GMT

DirectX SDK (August 2009) が公開されました。以下の更新が行われています。

Direct3D 11 RTM
ゲーム開発者用の Direct3D 11 の配置
Effect 11
Direct3D コンピュートシェーダー拡張 (D3DCSX)
新しいサンプルと更新

基本
シャドウ
コンピュートシェーダー
テセレーション
BC6H.BC7 テクスチャ圧縮
DDSファイル形式
Direct3D 10.1
Windows 7 タッチメッセージ
Games for Windows Showcase S.6 (Direct3D 10 サンプル）

Games for Windows 技術要件とテスト要件の更新
XNA テストケースツールの更新
XNA 算術演算（Math）の改善
DirectX SDK ユーティリティの更新
ドキュメントの更新

Windows API Code Pack for Microsoft .NET Framework (v1.0)

hiroyuk — Mon, 10 Aug 2009 09:27:56 GMT

Windows API Code Pack v1.0 が公開されました。機能的には v0.9 と同じですね。D3D, D2D はサンプルコードもあるので、マネージコードでD3Dを！という方は試してみてください。残念ながらマルチタッチは含まれていません。

Windows 7 タスクバージャンプリスト、アイコンオーバーレイ、プログレスバー、タブサムネイル、サムネイルツールバー
既知のフォルダー、Windows 7 ライブラリ、非ファイルシステムコンテナ、シェルオブジェクト用のドラッグ＆ドロップ機能
Windows 7 エクスプローラーブラウザーコントロール
シェルプロパティシステム
Windows Vista と Windows 7 コモンファイルダイアログ（カスタムコントロールを含む）
Windows Vista と Windows 7 のタスクダイアログ
Direct3D 11.0、Direct3D 10.0/10.1、DXGI 1.0/1.1、Direct2D 1.0、DirectWrite、Windows Imaging Component (WIC) API（DirectWriteとWICは部分的なサポート）
センサープラットフォーム API
拡張言語サービス API
電源管理 API
アプリケーション再起動・リカバリー API
ネットワークリストマネージャ API
コマンドリンクコントロールとシステム定義シェルアイコン

Direct2D の紹介 (MSDNマガジン6月号)

hiroyuk — Wed, 15 Jul 2009 07:26:36 GMT

MSDNマガジン6月号に「Direct2Dの紹介」記事が載っています。

GDI, D3D, WPFなどとの比較もあります。

Media Foundation ⑥ WebCam + WPF XAMLとC#の実装

hiroyuk — Tue, 07 Jul 2009 04:38:00 GMT

それでは XAMLとC#を実装しましょう。次のようにビデオ画像と、スライダーで回転・スケールを行うので、XAMLではD3DImageと2つのスライダー（とラベル）を宣言します。一つのスライダーはD3DImageの回転角度に、もう一つはD3DImageのXScaleとYScaleにバインディングします。

D3DImageはSystem.Windows.Interop名前空間にあるので、名前空間の追加に注意してください。

C#の実装

D3DImage チュートリアルとの違いは、初期化時にビデオのサイズを取得していることと、Rendering イベントハンドラーとコールバックを宣言する代わりに、Windows メッセージを処理するためのコールバック（ここではBltVideo）を HWndSourceクラスのAddHookメソッドを使って宣言することです。そのあとで一回目の非同期サンプリング命令（Sample）を呼び出します。

private readonly D3DWrapper myD3DScene = new D3DWrapper();
private HwndSource source;
private const int WM_PAINT = 0x000F;
private int videoWidth = 0;
private int videoHeight = 0;

...

private void StartDXRendering()
{
if (!myD3DImage.IsFrontBufferAvailable)
return;
IntPtr scene = myD3DScene.Initialize(
new WindowInteropHelper(this).Handle,
ref videoWidth,
ref videoHeight);
myD3DImage.Lock();
myD3DImage.SetBackBuffer(
D3DResourceType.IDirect3DSurface9, scene);
myD3DImage.Unlock();
source = HwndSource.FromHwnd(
new WindowInteropHelper(this).Handle);
source.AddHook(new HwndSourceHook(BltVideo));
myD3DScene.Sample();
}

BltVideo では WM_PAINT メッセージかどうかを確認して、D3DImageの内容を更新します。そのあとで、メッセージの処理完了を示す handled を true にし、次の非同期サンプリング命令を呼び出します。

private IntPtr BltVideo( IntPtr hwnd, int msg, IntPtr wParam,
                         IntPtr lParam, ref bool handled)
{
if (msg == WM_PAINT)
{
    myD3DImage.Lock();
    myD3DImage.AddDirtyRect(
    new Int32Rect(0, 0, videoWidth, videoHeight));
    myD3DImage.Unlock();
    handled = true;
    myD3DScene.Sample();
}
return IntPtr.Zero;
}

ソリューションを添付するので、WebCam のついた PC でビルド・実行してみてください。動作環境は以下の通りです。

Windows 7 (RC)
Windows 7 SDK (RC)
Visual Studio 2008 SP1
DirectX SDK (Mar 2009)

Media Foundation ⑤ WebCam + WPF プロジェクトの作成とC++の実装

hiroyuk — Mon, 06 Jul 2009 04:14:51 GMT

以前紹介したMedia Foundation の MFCaptureD3D サンプルを基に、WebCam のビデオ出力を D3DImage 経由で WPF で表示してみましょう。WPF で表示できれば、回転やスケールは思いのままですし、ブラーなどのエフェクトも容易です。

WPFソリューションの作成と混合アセンブリに変換

D3DImage チュートリアルを参考にして、WPFソリューションを作成し、MFCaptureD3Dプロジェクトを追加し、C++/CLIの混合アセンブリに変換します。マニフェストは明示的に追加しなくても、自動生成のもので構いません。ついでに、WPFプロジェクトの設定もしておいてください。

C++コードの編集

まず、キャプチャしたビデオを表示するウィンドウを生成し、メッセージポンプを定義している winmain.cpp を「プロジェクトから除外」します。次にD3DWrapper.cppを追加します。D3DWrapper.cppの内容は以下の通りです。初期化するときにD3Dサーフェイスとビデオの幅と高さを取得して、呼び出し元（つまりC#側）に返します。あとは、SampleメソッドでのMFReaderの非同期サンプリングの命令と、クリーンアップだけです。非同期サンプリングなので、このSampleメソッドが返っても、サンプリングは終了していません。初期化時にMFStartupを、クリーンアップ時にMFShutdownを呼び出していることにも注意してください。

#include "MFcaptureD3D.h"
#include <vcclr.h>
using namespace System;
CPreview* g_pPreview;

namespace MFCaptureViewer
{
public ref class D3DWrapper
{
public:
    IntPtr Initialize(IntPtr hwnd, int% width, int% height)
    {
      LPDIRECT3DSURFACE9 g_pd3dSurface;
      MFStartup(MF_VERSION);
      if (SUCCEEDED(CPreview::CreateInstance((HWND)
           hwnd.ToPointer(),
           (HWND)hwnd.ToPointer(),
           &g_pPreview)))
      {
        // Get Surface
        g_pPreview->m_draw.m_pSwapChain->GetBackBuffer
         (0,D3DBACKBUFFER_TYPE_MONO, &g_pd3dSurface);
        // Video width & height
        width = g_pPreview->m_draw.m_width;
        height = g_pPreview->m_draw.m_height;
        return IntPtr(g_pd3dSurface);
      }
    return IntPtr::Zero;
    }

    VOID Sample()
    {
        g_pPreview->m_pReader->ReadSample(
          (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
          0, NULL, NULL, NULL, NULL);
    }

    VOID Cleanup()
    {
       g_pPreview->Release();
       MFShutdown();
}
};
}

device.h と device.cpp

device.cppでは主にD3D系の処理を行っています。まずバックバッファのD3DSrufaceとビデオの幅・高さを D3DWrapperで取得できるように、device.hで4つのプロパティをパブリックにします。

public:
    UINT m_width; // moved to public
    UINT m_height; // moved to public
    IDirect3DSwapChain9 *m_pSwapChain; // moved to public
    DrawDevice(); // moved to public

virtual ~DrawDevice();

device.cpp では、マルチスレッドの解決、およびスワップチェーンのブリットは不要なので、次の2か所を変更します。

    hr = m_pD3D->CreateDevice(
        D3DADAPTER_DEFAULT,
        D3DDEVTYPE_HAL,
        hwnd,
        D3DCREATE_HARDWARE_VERTEXPROCESSING |
        D3DCREATE_FPU_PRESERVE |
        D3DCREATE_MULTITHREADED, // Add
        &pp,
        &m_pDevice
        );

…

    // Present the frame.
    // Removed
    // hr = m_pDevice->Present(NULL, NULL, NULL, NULL);

preview.hと preview.cpp

preview.cpp では主にMF関連の処理を行っています。まず、D3DWrapperで使えるように preview.h で2つのプロパティをパブリックにします。

public:
IMFSourceReader *m_pReader; // moved to public
DrawDevice m_draw; // moved to public

preview.cpp では、以下の2つのメソッドを変更します。前者で追加しているのは winmain.cppで行われていたWebCamデバイスを取得するコードです。後者では、非同期のコールバック内で次のサンプリングを呼び出していたのを、WM_PAINT メッセージの送付に変更しています（必ずしもWM_PAINTでなければならないわけではありません）。WPFではこのメッセージを基にD3DImageへの書き込みを行います。灰色は変更しないコードです。

HRESULT CPreview::Initialize()
{
    HRESULT hr = S_OK;
    hr = m_draw.CreateDevice(m_hwndVideo);
    // Add to get WebCam
    IMFActivate **ppDevices;
    UINT32 count = 0;
    IMFAttributes *pAttributes=NULL;
    hr = MFCreateAttributes(&pAttributes,1);
    hr = pAttributes->SetGUID(
      MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE,
      MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID);
    hr = MFEnumDeviceSources(pAttributes, &ppDevices, &count);
    if (count >0)
      hr = this->SetDevice(ppDevices[0]);
    // done
    return hr;
}

…

HRESULT CPreview::OnReadSample(
    HRESULT hrStatus,
    DWORD ,
    DWORD ,
    LONGLONG ,
    IMFSample *pSample      // Can be NULL
    )
{
    HRESULT hr = S_OK;
    IMFMediaBuffer *pBuffer = NULL;
    EnterCriticalSection(&m_critsec);
    if (FAILED(hrStatus))
    {
        hr = hrStatus;
        goto done;
    }
    if (pSample)
    {
        // Get the video frame buffer from the sample.
        hr = pSample->GetBufferByIndex(0, &pBuffer);
        if (FAILED(hr)) { goto done; }
        // Draw the frame.
        hr = m_draw.DrawFrame(pBuffer);
        if (FAILED(hr)) { goto done; }
    }
    // Add
    hr = SendMessage(m_hwndEvent, WM_PAINT, 0, 0);
    // Request the next frame.
    // Removed
    // hr = m_pReader->ReadSample(
    //    (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
    //    0,
    //    NULL,   // actual
    //    NULL,   // flags
    //    NULL,   // timestamp
    //    NULL    // sample
    //    );
done:
    if (FAILED(hr))
    {
        NotifyError(hr);
    }
    SafeRelease(&pBuffer);
    LeaveCriticalSection(&m_critsec);
    return hr;
}

ここで追加した SendMessage が非同期サンプリング時のC++とC#との同期問題を解決するカギの一つです。

この時点で、ソリューションエクスプローラーでこのMFCaptureD3Dプロジェクトを右クリックして、[プロジェクトのみ]→[MFCaptureD3Dのみをリビルド]を実行して、エラーが出ないことを確認してください。

つづく

H.264 / AVC デコード DXVAの仕様書の更新

hiroyuk — Mon, 29 Jun 2009 05:09:00 GMT

DXVAはビデオなどのメディアをGPUでハードウェアデコードするための Win32 API です。ダウンロードセンターに以前からあったH.264 ハードウェアデコードの仕様書が少しだけ更新されました（バグフィックス）。

RDP 7 の変更

hiroyuk — Fri, 26 Jun 2009 03:46:00 GMT

Windows 7 の RDP（リモートデスクトッププロトコル）では、以下のように（PDC 08の資料）多くのテクノロジーがクライアントでレンダリングされる予定でした（RCでは有効です）。

クライアントでレンダリングできれば、ホストから送られるデータが減らせるためネットワーク帯域の負荷が減らせるとともに、ホスト側の負荷も軽減できます。ホストレンダリングでは、レンダリング結果を毎フレーム画像として送るので（もちろん何らかの圧縮は掛けますが...）、非効率なため高品質なデスクトップを生成できません。Direct3D や Direct2D のクライアントレンダリング能力は、リモートデスクトップでクライアント側にあるGPU性能がフルに活用できる興味深い仕様でした。

ところが、RDP チームのブログによると、Direct2DとDirect3D 10.1 のクライアントレンダリングは Windows 7 RTM 版から取り除かれたそうです（こんな感じ）。

しかし、RDP 7 で Aero Glass は有効ですし、GDIとメディアプレイヤーはクライアントレンダリングなので、クライアント側にある GPU 上のコンポジターはリモートで利用可能なままのようです。

しかし、RDP チームはクライアントレンダリング機能の強化を続けているので、将来のバージョンアップでは D3D10などもクライアントレンダリング可能になるのでしょう。

RDPでAero Glassを有効にするには Windows 7 のリモートデスクトップ接続のオプションからデスクトップコンポジションを有効にする必要があります。Windows Server 2008 R2での設定については、RDPチームのブログを参照してください。

Media Foundation ④ WebCam + WPF 同期か非同期か

hiroyuk — Thu, 25 Jun 2009 07:57:30 GMT

Windows 7 SDk (RC) にある Media Foundation のサンプル MFCaptureD3D を使って WPF で WebCam のビデオを表示してみましょう。D3DSurface → D3DImage → WPF という流れは、以前 D3DImage チュートリアルで紹介したとおりですが、WebCam の画像をWPFで表示するときには、同期サンプリングか非同期サンプリングかのどちらの戦略をとるかを選ばなければなりません。

非同期サンプリング

MFCaptureD3D では元々サンプリングを非同期で行っています。アトリビュートストアでMF_SOURCE_READER_ASYNC_CALLBACKを指定し、非同期コールバックを設定しています。

// ③非同期コールバックを設定
hr = pAttributes->SetUnknown(
MF_SOURCE_READER_ASYNC_CALLBACK,
this
);

サンプリングを待つ時間を他のUIスレッドで使えるので、WPFのようなアプリには非同期が理想的です。

このサンプルコードでは非同期コールバックの場所として this が指定されているので、サンプリングが完了すると自クラスの OnReadSample メソッドが呼び出されます。このメソッドで、サンプリングした画像をD3DSurfaceに書き込んでから、C++ から C# に何らかのメッセージを送ってD3DSurfaceにビデオ画像が書き込まれたことを通知する仕組みが必要です。

同期サンプリング

以前の D3DImage チュートリアルでは、C# 側から Render メソッドで C++ の Direct3D レンダリングを実行し、それが戻ったら、ロックして AddDirtyRect メソッドでブリットしていました。同期サンプリングの戦略であれば、WebCam から画像を取得し D3DSrufaceへの書き込みを待ってブリットするという、同じ手順でレンダリングできます。

しかし、WebCam デバイスのサンプリングには待ち時間が発生します。しかも1秒間に30フレーム程度確保しようとすると、待ち時間は全体のかなりの割合を占める可能性があります。その間 UI を操作できず、パフォーマンスが悪化する可能性があります。

同期サンプリングを実装するには、アトリビュートストアに前述の非同期指定（MF_SOURCE_READER_ASYNC_CALLBACK）を入れずに、ソースリーダーを取得して、次のようにReadSampleを呼び出すだけです。同期サンプリングでは ReadSample が帰ったときにサンプル画像が取得できます（実装では取得できるまでサンプリングを繰り返します）。

DWORD dwStream;
DWORD dwFlags;
IMFSample* pSample = NULL;
LONGLONG llTimeStamp;
while( !pSample )
{
    hr = m_pReader->ReadSample(
          (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
          0,
          &dwStream,
          &dwFlags,
          &llTimeStamp,
          &pSample
        );
   }

結論として、今回のサンプルコードでは、非同期サンプリングの戦略で実装することにしました。両方とも実装してテストしてみましたが、やはり同期サンプリングでは UI 操作の引っ掛かりが発生することと、C++ コードの修正が多くなるためです。

Windows API Code Pack for Microsoft .NET Framework (v0.9)

hiroyuk — Mon, 15 Jun 2009 07:12:00 GMT

Windows API Code Pack が v0.9 に更新されました。内容は以下の通りで、緑色がv0.85からの追加部分です。バグフィックスとともに、VBを含む新しいサンプルも追加されています。

Direct3D 10/10.1 も追加されました！ D3DX10も含まれ、チュートリアルを含むサンプルもたくさん用意されているのでかなり役に立ちそうです。チュートリアルにはWinForm用、WinFormコントロール用、WPF用が用意されています。

しかしマルチタッチは含まれていません。.NET のマルチタッチについては、.NET Framework 4を待つしかないかもしれません。マルチタッチは Visual Studio 2010 Beta1 にもまだ含まれていませんでした。

Windows 7 タスクバージャンプリスト、アイコンオーバーレイ、プログレスバー、タブサムネイル、サムネイルツールバー
既知のフォルダー、Windows 7 ライブラリ、非ファイルシステムコンテナ、シェル名前空間エンティティの階層
Windows 7 エクスプローラーブラウザーコントロール
シェルプロパティシステム
Windows Vista と Windows 7 コモンファイルダイアログ（カスタムファイルダイアログを含む）
Windows Vista と Windows 7 のタスクダイアログ
Direct3D 11.0、Direct3D 10.0/10.1、DXGI 1.0/1.1、Direct2D 1.0、DirectWrite、Windows Imaging Component (WIC) API（DirectWriteとWICは部分的なサポート）
センサープラットフォーム API
拡張言語サービス API
電源管理 API
アプリケーション再起動・リカバリー API
ネットワークリストマネージャ API
コマンドリンクコントロールとシステム定義シェルアイコン

ビルドには以下の環境が必要です。

.NET Framework 3.5 以上、
Windows SDK for Windows 7 RC
DirectX SDK (March 2009)

D3D10チュートリアルビルド時の注意

Direct3Dでビルドするときには、DirectX SDKのインクルードフォルダとライブラリフォルダを[ツール]→[オプション]から[プロジェクトおよびソリューション]→[VC++ディレクトリ]で追加する必要があります。

しかし、D3D10のサンプルをビルドしようとしたとき、なぜか「D3DX10.hが見つからない」というビルドエラーで失敗しました。Direct3DX10プロジェクトを右クリックして[プロパティ]を選び、[構成プロパティ]→[C/C++]→[全般]で、[追加のインクルードディレクトリ]にDirectX SDKのインクルードフォルダ（C:\Program Files\Microsoft DirectX SDK (March 2009)\Include）を指定します。さらに[構成プロパティ]→[リンカ]で[追加のライブラリディレクトリ]にDirectX SDKライブラリフォルダ（C:\Program Files\Microsoft DirectX SDK (March 2009)\Lib\x86）を追加します。

D3DTutorial09_WPFの結果。ライティングが指定されていないので暗い。

Windows 7 ホワイトペーパー

hiroyuk — Wed, 13 May 2009 08:04:36 GMT

MSDN Windows デベロッパーセンターでWindows 7 ホワイトペーパー（日本語）が公開されています。以下のようなDirect3D, Direct2D, DirectWriteやマルチタッチ、WIC、PUMAなどについてのホワイトペーパーが日本語で公開されています。英語版は昨年のPDC08で公開されたもので、ネイティブAPI（Win32）向けのものです。

Windows API Code Pack for Microsoft .NET Framework (v0.85)

hiroyuk — Fri, 08 May 2009 04:13:52 GMT

Windows 7 RCの公開に伴い Windows API Code Packがv0.85に更新されていました。内容は以下のとおりです。緑色がv0.8から追加された部分です。

Windows 7 ライブラリを含む Windows Shell 名前空間オブジェクト、既知のフォルダーと非ファイルシステムコンテナ
Windows Vista と Windows 7 のタスクダイアログ
WPF と Windows Forms での Windows 7 Explorer Browser Control のサポート
シェルプロパティシステムのサポート
Windows 7 タスクバージャンプリスト、アイコンオーバーレイ、プログレスバー用のヘルパー
Windows Vista と Windows 7 コモンファイルダイアログのサポート（カスタムファイルダイアログを含む）
Direct3D 11.0とDXGI 1.0/1.1 APIのサポート
センサープラットフォーム API
拡張言語サービス API

残念ながら、マルチタッチ APIはまだ含まれていません。

Direct3D 11.0サポートというのが気になります...

D3DImage チュートリアル ⑦ UIと制御の追加

hiroyuk — Mon, 27 Apr 2009 08:52:56 GMT

D3DImageの上に半透明のメニューペインを追加し、自動回転の開始・停止用とワイヤーフレーム表示用のチェックボックスを２つ追加します。

D3DRenderer.h

まず、レンダリング時に自動回転とワイヤーフレームのフラグを渡せるようにします。

VOID Render(bool b_AutoRotation, bool b_WireframeMode);

D3DRenderer.cpp

それを基にレンダーステートを変更するようD3DRenderer.cppを編集します。

VOID Render(bool b_AutoRotation, bool b_WireframeMode)
{
// Clear the backbuffer and the zbuffer
g_pd3dDevice->Clear( 0, NULL,
D3DCLEAR_TARGET | D3DCLEAR_ZBUFFER,
D3DCOLOR_ARGB( 0, 0, 0, 0 ), 1.0f, 0 );

    // Begin the scene
if( SUCCEEDED( g_pd3dDevice->BeginScene() ) )
{
    // Setup the world, view, and projection matrices
    // SetupMatrices();
    if (b_AutoRotation) SetupMatrices();
    g_pd3dDevice->SetRenderState(D3DRS_FILLMODE,
      (b_WireframeMode) ? D3DFILL_WIREFRAME : D3DFILL_SOLID);
    g_pd3dDevice->SetRenderState(D3DRS_CULLMODE,
      (b_WireframeMode) ? D3DCULL_NONE : D3DCULL_CCW);

これだけでもよいのですが、もともとの回転が時間を基にしているため、一度回転を止めてから再開すると、ジャンプしてしまうので、SetupMatrices()も少し変更します。

VOID SetupMatrices()
{
// Set up world matrix
D3DXMATRIX matWorld;
// D3DXMatrixRotationY( &matWorld,
timeGetTime() / 1000.0f );
static float angle = 0.0f;
D3DXMatrixRotationY( &matWorld, angle+=0.03f );

D3DWrapper.cpp

ラッパーでは、前述のフラグをパブリックプロパティとして定義し、::Renderメソッド呼び出しの引数とします。

public ref class D3DWrapper
{
private:
bool _rotation;
bool _wireframe;

public:
   D3DWrapper()
   {
    _rotation = true;
    _wireframe = false;
   }
   property bool AutoRotate
   {
    bool get() {return _rotation;}
    void set(bool value) { _rotation = value;}
   }
   property bool RenderWireframe
   {
    bool get() {return _wireframe;}
    void set(bool value) { _wireframe = value;}
   }

...

    VOID Render(int% width, int% height)
    {
      ::Render(_rotation, _wireframe);
      width = SCREEN_WIDTH;
      height = SCREEN_HEIGHT;
    }

Window1.xaml

XAMLでは、メニューを追加します。

Window1.xaml.cs

コードビハインドのC#ではコールバックを実装し、前述のフラグをセットします。

private void RotationChanged(object sender, RoutedEventArgs e)
{
CheckBox c = sender as CheckBox;
myD3DScene.AutoRotate = c.IsChecked.Value;
}

private void WireframeChanged(object sender, RoutedEventArgs)
{
CheckBox c = sender as CheckBox;
myD3DScene.RenderWireframe = c.IsChecked.Value;
}

F5キーを押してデバッグ実行してください。以下のようにメニュー付きでトラが回転します。Rotationをオフにすると回転が止まります。Wireframeをオンにするとワイヤーフレームのトラになります。

これら以外にも、マウスでの座標変換などのいろいろな制御も可能でしょう。WPFなので、コントロールテンプレートを変更してもっとかっこいいメニューにすることもできるでしょう。使いやすいUIをWPFで、高速な3DをDirect3Dでという組み合わせは、なかなか便利だと思います。

完成したプロジェクトは「第0回はじめに」にあります。

D3DImage チュートリアル ⑥ C#の編集

hiroyuk — Thu, 23 Apr 2009 08:01:10 GMT

コードビハインドでは、D3DWrapper.cppで実装したD3DWrapperクラスをコンストラクトして、Initialize（およびInitGeometry）, Render, Cleanupを呼び出すメソッドを実装します。

StartDXRenderingメソッドはInitialize（およびInitGeometry）を呼び出し、D3DImageとD3DSurfaceとを対応付け、レンダリング用のイベントハンドラーを定義します。

private readonly D3DWrapper myD3DScene = new D3DWrapper();

private void StartDXRendering()
{
if (!myD3DImage.IsFrontBufferAvailable)
return;

IntPtr scene =
    myD3DScene.Initialize(
      new WindowInteropHelper(this).Handle);
myD3DScene.InitGeometry();
myD3DImage.Lock();
myD3DImage.SetBackBuffer(
    D3DResourceType.IDirect3DSurface9, scene);
myD3DImage.Unlock();

CompositionTarget.Rendering +=
new EventHandler(OnRendering);
}

StopRenderingメソッドはCleanupを呼び出し、StartDXRenderingで定義したイベントハンドラーを削除します。

private void StopDXRendering()
{
CompositionTarget.Rendering -= OnRendering;
myD3DScene.Cleanup();
}

OnRenderメソッドはD3DImageをロックし、Renderを呼び出し、D3DImage.AddDirtyRectを呼び出してから（書き込む範囲を決める）、ロック解除します。このメソッドはレンダリング可能な時いつも呼び出されます。

void OnRendering(object sender, EventArgs e)
{
if (!myD3DImage.IsFrontBufferAvailable)
return;

myD3DImage.Lock();
int width = 0, height = 0;
myD3DScene.Render(ref width, ref height);
myD3DImage.AddDirtyRect(new Int32Rect(0, 0, width, height));
myD3DImage.Unlock();
}

残りは、XAMLで宣言したイベントハンドラーのコールバックを実装するだけです。Load時にはStartDXRenderingを呼び出し、フロントバッファの状態が変化したときは、IsFrontBufferAvailableをチェックして、StartDXRenderingかStopDXRenderingを呼び出します。

private void Window_Loaded(object sender,RoutedEventArgs e)
{
StartDXRendering();
}

private void myD3DImage_IsFrontBufferAvailableChanged(
object sender, DependencyPropertyChangedEventArgs e)
{
if (myD3DImage.IsFrontBufferAvailable)
{
StartDXRendering();
}
else
{
StopDXRendering();
}
}

これでひとまず完成です。F5キーを押してデバッグ実行してください。以下のようにSample Browserからインストールした同じトラが回転しているはずです。D3DRenderer.cppのRenderメソッドにブレークポイントを追加すれば、ネイティブCPPのデバッグもできます！

次回は、WPFでメニューを作成して、Direct3Dのレンダリングを制御してみましょう。

つづく

川西 裕幸のブログ : Direct3D