川西裕幸のブログ : Win32

同時実行コンテナ in VS2010 Beta 2

hiroyuk — Mon, 02 Nov 2009 01:21:03 GMT

スレッドセーフでロックフリーのデータコレクション（同時実行コンテナ）concurrent_queueとconcurrent_vector は、PDC 08で紹介されていましたが、Visual Studio 2010 Beta 1 には実装されていませんでした。

Parellel Programming for Native Code ブログ「What’s new in Beta 2 for the Concurrency Runtime, Parallel Pattern Library and Asynchronous Agents Library」によると、Beta 2 にはこの2つのコンテナが入っているとのことです。

このブログではそれ以外の Beta 2 での更新内容（デバッグ、ドキュメント、task_groupなど）も紹介されています。

Dolby Digital CODEC @ Windows 7

hiroyuk — Tue, 15 Sep 2009 04:50:40 GMT

Windows 7 上の Dolby Digital CODEC（AC-3など）には制限があるので、独自のメディアアプリケーションを開発される方は、注意してください。SDK ドキュメント「Microsoft MPEG-1/DD/AAC Audio Decoder」によると、以下のように記述されています。

Note The Microsoft implementation of the Dolby Digital technology is restricted under terms of the Dolby Digital licensing program to use by Microsoft applications.

つまり、Windows 7 に搭載されている、マイクロソフトが実装した AC-3 デコーダー（DirectShow フィルター）は、マイクロソフト製品（たとえば Windows Media Player）以外では使うことができません。

したがって、AC-3 でエンコードされたメディアを再生したいアプリケーション開発者は Dolby Digital からライセンスを取得し、デコーダーを実装する必要があります。

DirectX SDK (August 2009)

hiroyuk — Thu, 10 Sep 2009 03:53:37 GMT

DirectX SDK (August 2009) が公開されました。以下の更新が行われています。

Direct3D 11 RTM
ゲーム開発者用の Direct3D 11 の配置
Effect 11
Direct3D コンピュートシェーダー拡張 (D3DCSX)
新しいサンプルと更新

基本
シャドウ
コンピュートシェーダー
テセレーション
BC6H.BC7 テクスチャ圧縮
DDSファイル形式
Direct3D 10.1
Windows 7 タッチメッセージ
Games for Windows Showcase S.6 (Direct3D 10 サンプル）

Games for Windows 技術要件とテスト要件の更新
XNA テストケースツールの更新
XNA 算術演算（Math）の改善
DirectX SDK ユーティリティの更新
ドキュメントの更新

Windows 7 ハンズオンラボ～Direct2D, DirectWrite~

hiroyuk — Fri, 04 Sep 2009 07:00:50 GMT

Windows 7 の新しい Win32 APIである Direct2D と DirectWrite の実装を自習できるハンズオンラボが公開されました。内容は以下の通りです。

Direct2D

描画用のターゲットを作成し、これを使用して、スクリーンへ描画する
幾何学図形のオブジェクトを使用して、図形を描画し、これにグラデーションを付ける
GDI サーフェイスに Direct2D のコンテンツを描画する方法を用いて、GDI ベースのアプリケーションのグラフィックス描画を強化する

DirectWrite

DirectWrite API を使用して、テキストの整形と配置を行う
Direct2D API を使用して、テキストの描画を行う
DirectWrite API のいつくかの異なる方法で描画する
Direct2D API を介して、テキストをグラフィックスとして扱う
テキストのカスタムレンダリング (custom text renderer) を実装する

Win32, Silverlight 3, WPF 4 の Windows 7 マルチタッチへの対応

hiroyuk — Mon, 27 Jul 2009 08:48:13 GMT

Windows 7 の新機能にマルチタッチがあります。Win32, Silverlight 3, WPF 4 はそれぞれ Windows 7 マルチタッチに対応していますが、それぞれ特徴があるのでここでまとめます。

Win32

WM_TOUCH メッセージは最も下位レベルのメッセージで（生のメッセージ）、複数のタッチIDと位置などが取得できます。Win32 でこのメッセージを受け取るには RegisterTouchWindow を呼び出す必要があります。
WM_GESTURE メッセージは上位レベルのメッセージで、パン・ズーム・回転の情報を取得できます。Win32 ではデフォルトでこのメッセージを受け取れますが、RegisterTouchWindow を呼び出すと WM_TOUCH しか受け取れません、つまり WM_TOUCH と WM_GESTURE は排他です。
Manipulation & Inertia は WM_TOUCHと組み合わせて、ManipulationEventSink を実装することによって、移動や回転の慣性や減衰の処理ができます。
Windows 7 SDK にサンプルがあります。

Silverlight 3

Silverlight 3 は WM_TOUCH にのみ対応します。
マルチタッチを処理するには、UIElementのようなオブジェクトにイベントハンドラーを追加するのではなく、System.Windows.Input.Touch.FrameReported にTouchFrameEventHandler イベントハンドラーを追加します。
そのコールバック内で、TouchFrameEventArg の GetPrimaryTouchPoint メソッドなどを使ってタッチポイントを取得します。
DevCornerにサンプルがあります。

WPF ４

Beta 1 では WM_TOUCH に対応していません（Beta 2 から対応予定）。
WPF ４では Maniputaion & Inertia と WM_GESTURE が統合されています（Gestureという用語が使われていないので、分かりにくくなっています）。UIElement.ManipulationMode に Translate, Scale, Rotate などを設定することにより、パン・ズーム・回転を処理できます。
OnManipulationStarted や OnManipulationDelta、あるいはOnInertiaStarted などをオーバーライドして、それぞれの動きを実装します。
Visual Studio 2010 and .NET Framework 4 Training Kit - May Preview にサンプルがあります。

まとめるとこんな感じです。

	WM_TOUCH	WM_GESTURE	Manip&Inertia
Win32	〇	◎	〇
Silverlight 3	〇	×	×
WPF 4(Beta1)	× (Beta2で対応)	〇

食事する哲学者の問題を Asynchronous Agents で解決する（MSDNマガジン6月号）

hiroyuk — Mon, 20 Jul 2009 08:46:00 GMT

やはり MSDN マガジン 6月号に「食事する哲学者の問題を Asynchronous Agents で解決する」が掲載されています。C++ PPL（Parallel Pattern Library）と Asynchorouns Agents Library による非同期エージェントを使った、メッセージ渡しによる並列プログラミングの解説です。~~OpenMP と PPL との比較も少し載っています。~~

特徴的なのは、この問題に対してよく使われる、明示的なロックやスレッド API を直接的には使わずに解決していることです。

WPF MediaKit @ codeplex

hiroyuk — Fri, 17 Jul 2009 05:39:24 GMT

WPF MediaKit では、DirectShow や MediaElement を WPF で使えるようにしています。作者は Jeremiah Morrill です。

例えば DvdPlayerElement 要素とか VideoCaptureElement があり、以下のように使えます。

<WPFMediaKit:VideoCaptureElement x:Name="videoCapElement"
       LoadedBehavior="Play"
       DesiredPixelWidth="320"
       DesiredPixelHeight="240"
       Stretch="Fill"
       VideoCaptureSource="{Binding Path=CaptureDeviceName}"
       FPS="30" />

Direct2D の紹介 (MSDNマガジン6月号)

hiroyuk — Wed, 15 Jul 2009 07:26:36 GMT

MSDNマガジン6月号に「Direct2Dの紹介」記事が載っています。

GDI, D3D, WPFなどとの比較もあります。

Media Foundation ⑥ WebCam + WPF XAMLとC#の実装

hiroyuk — Tue, 07 Jul 2009 04:38:00 GMT

それでは XAMLとC#を実装しましょう。次のようにビデオ画像と、スライダーで回転・スケールを行うので、XAMLではD3DImageと2つのスライダー（とラベル）を宣言します。一つのスライダーはD3DImageの回転角度に、もう一つはD3DImageのXScaleとYScaleにバインディングします。

D3DImageはSystem.Windows.Interop名前空間にあるので、名前空間の追加に注意してください。

C#の実装

D3DImage チュートリアルとの違いは、初期化時にビデオのサイズを取得していることと、Rendering イベントハンドラーとコールバックを宣言する代わりに、Windows メッセージを処理するためのコールバック（ここではBltVideo）を HWndSourceクラスのAddHookメソッドを使って宣言することです。そのあとで一回目の非同期サンプリング命令（Sample）を呼び出します。

private readonly D3DWrapper myD3DScene = new D3DWrapper();
private HwndSource source;
private const int WM_PAINT = 0x000F;
private int videoWidth = 0;
private int videoHeight = 0;

...

private void StartDXRendering()
{
if (!myD3DImage.IsFrontBufferAvailable)
return;
IntPtr scene = myD3DScene.Initialize(
new WindowInteropHelper(this).Handle,
ref videoWidth,
ref videoHeight);
myD3DImage.Lock();
myD3DImage.SetBackBuffer(
D3DResourceType.IDirect3DSurface9, scene);
myD3DImage.Unlock();
source = HwndSource.FromHwnd(
new WindowInteropHelper(this).Handle);
source.AddHook(new HwndSourceHook(BltVideo));
myD3DScene.Sample();
}

BltVideo では WM_PAINT メッセージかどうかを確認して、D3DImageの内容を更新します。そのあとで、メッセージの処理完了を示す handled を true にし、次の非同期サンプリング命令を呼び出します。

private IntPtr BltVideo( IntPtr hwnd, int msg, IntPtr wParam,
                         IntPtr lParam, ref bool handled)
{
if (msg == WM_PAINT)
{
    myD3DImage.Lock();
    myD3DImage.AddDirtyRect(
    new Int32Rect(0, 0, videoWidth, videoHeight));
    myD3DImage.Unlock();
    handled = true;
    myD3DScene.Sample();
}
return IntPtr.Zero;
}

ソリューションを添付するので、WebCam のついた PC でビルド・実行してみてください。動作環境は以下の通りです。

Windows 7 (RC)
Windows 7 SDK (RC)
Visual Studio 2008 SP1
DirectX SDK (Mar 2009)

Media Foundation ⑤ WebCam + WPF プロジェクトの作成とC++の実装

hiroyuk — Mon, 06 Jul 2009 04:14:51 GMT

以前紹介したMedia Foundation の MFCaptureD3D サンプルを基に、WebCam のビデオ出力を D3DImage 経由で WPF で表示してみましょう。WPF で表示できれば、回転やスケールは思いのままですし、ブラーなどのエフェクトも容易です。

WPFソリューションの作成と混合アセンブリに変換

D3DImage チュートリアルを参考にして、WPFソリューションを作成し、MFCaptureD3Dプロジェクトを追加し、C++/CLIの混合アセンブリに変換します。マニフェストは明示的に追加しなくても、自動生成のもので構いません。ついでに、WPFプロジェクトの設定もしておいてください。

C++コードの編集

まず、キャプチャしたビデオを表示するウィンドウを生成し、メッセージポンプを定義している winmain.cpp を「プロジェクトから除外」します。次にD3DWrapper.cppを追加します。D3DWrapper.cppの内容は以下の通りです。初期化するときにD3Dサーフェイスとビデオの幅と高さを取得して、呼び出し元（つまりC#側）に返します。あとは、SampleメソッドでのMFReaderの非同期サンプリングの命令と、クリーンアップだけです。非同期サンプリングなので、このSampleメソッドが返っても、サンプリングは終了していません。初期化時にMFStartupを、クリーンアップ時にMFShutdownを呼び出していることにも注意してください。

#include "MFcaptureD3D.h"
#include <vcclr.h>
using namespace System;
CPreview* g_pPreview;

namespace MFCaptureViewer
{
public ref class D3DWrapper
{
public:
    IntPtr Initialize(IntPtr hwnd, int% width, int% height)
    {
      LPDIRECT3DSURFACE9 g_pd3dSurface;
      MFStartup(MF_VERSION);
      if (SUCCEEDED(CPreview::CreateInstance((HWND)
           hwnd.ToPointer(),
           (HWND)hwnd.ToPointer(),
           &g_pPreview)))
      {
        // Get Surface
        g_pPreview->m_draw.m_pSwapChain->GetBackBuffer
         (0,D3DBACKBUFFER_TYPE_MONO, &g_pd3dSurface);
        // Video width & height
        width = g_pPreview->m_draw.m_width;
        height = g_pPreview->m_draw.m_height;
        return IntPtr(g_pd3dSurface);
      }
    return IntPtr::Zero;
    }

    VOID Sample()
    {
        g_pPreview->m_pReader->ReadSample(
          (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
          0, NULL, NULL, NULL, NULL);
    }

    VOID Cleanup()
    {
       g_pPreview->Release();
       MFShutdown();
}
};
}

device.h と device.cpp

device.cppでは主にD3D系の処理を行っています。まずバックバッファのD3DSrufaceとビデオの幅・高さを D3DWrapperで取得できるように、device.hで4つのプロパティをパブリックにします。

public:
    UINT m_width; // moved to public
    UINT m_height; // moved to public
    IDirect3DSwapChain9 *m_pSwapChain; // moved to public
    DrawDevice(); // moved to public

virtual ~DrawDevice();

device.cpp では、マルチスレッドの解決、およびスワップチェーンのブリットは不要なので、次の2か所を変更します。

    hr = m_pD3D->CreateDevice(
        D3DADAPTER_DEFAULT,
        D3DDEVTYPE_HAL,
        hwnd,
        D3DCREATE_HARDWARE_VERTEXPROCESSING |
        D3DCREATE_FPU_PRESERVE |
        D3DCREATE_MULTITHREADED, // Add
        &pp,
        &m_pDevice
        );

…

    // Present the frame.
    // Removed
    // hr = m_pDevice->Present(NULL, NULL, NULL, NULL);

preview.hと preview.cpp

preview.cpp では主にMF関連の処理を行っています。まず、D3DWrapperで使えるように preview.h で2つのプロパティをパブリックにします。

public:
IMFSourceReader *m_pReader; // moved to public
DrawDevice m_draw; // moved to public

preview.cpp では、以下の2つのメソッドを変更します。前者で追加しているのは winmain.cppで行われていたWebCamデバイスを取得するコードです。後者では、非同期のコールバック内で次のサンプリングを呼び出していたのを、WM_PAINT メッセージの送付に変更しています（必ずしもWM_PAINTでなければならないわけではありません）。WPFではこのメッセージを基にD3DImageへの書き込みを行います。灰色は変更しないコードです。

HRESULT CPreview::Initialize()
{
    HRESULT hr = S_OK;
    hr = m_draw.CreateDevice(m_hwndVideo);
    // Add to get WebCam
    IMFActivate **ppDevices;
    UINT32 count = 0;
    IMFAttributes *pAttributes=NULL;
    hr = MFCreateAttributes(&pAttributes,1);
    hr = pAttributes->SetGUID(
      MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE,
      MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID);
    hr = MFEnumDeviceSources(pAttributes, &ppDevices, &count);
    if (count >0)
      hr = this->SetDevice(ppDevices[0]);
    // done
    return hr;
}

…

HRESULT CPreview::OnReadSample(
    HRESULT hrStatus,
    DWORD ,
    DWORD ,
    LONGLONG ,
    IMFSample *pSample      // Can be NULL
    )
{
    HRESULT hr = S_OK;
    IMFMediaBuffer *pBuffer = NULL;
    EnterCriticalSection(&m_critsec);
    if (FAILED(hrStatus))
    {
        hr = hrStatus;
        goto done;
    }
    if (pSample)
    {
        // Get the video frame buffer from the sample.
        hr = pSample->GetBufferByIndex(0, &pBuffer);
        if (FAILED(hr)) { goto done; }
        // Draw the frame.
        hr = m_draw.DrawFrame(pBuffer);
        if (FAILED(hr)) { goto done; }
    }
    // Add
    hr = SendMessage(m_hwndEvent, WM_PAINT, 0, 0);
    // Request the next frame.
    // Removed
    // hr = m_pReader->ReadSample(
    //    (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
    //    0,
    //    NULL,   // actual
    //    NULL,   // flags
    //    NULL,   // timestamp
    //    NULL    // sample
    //    );
done:
    if (FAILED(hr))
    {
        NotifyError(hr);
    }
    SafeRelease(&pBuffer);
    LeaveCriticalSection(&m_critsec);
    return hr;
}

ここで追加した SendMessage が非同期サンプリング時のC++とC#との同期問題を解決するカギの一つです。

この時点で、ソリューションエクスプローラーでこのMFCaptureD3Dプロジェクトを右クリックして、[プロジェクトのみ]→[MFCaptureD3Dのみをリビルド]を実行して、エラーが出ないことを確認してください。

つづく

並行ランタイムと並列パターンライブラリのサンプル

hiroyuk — Mon, 29 Jun 2009 06:02:00 GMT

以前、「並列プログラミングサンプル .NET 4 Beta 1」を紹介しましたが、ネイティブ Win32 のサンプルも「並行ランタイムと並列パターンライブラリ（PPL）のコードサンプル」として公開されています。「フィボナッチ数」を求めたり、「食事をする哲学者」などのサンプルがあります。

H.264 / AVC デコード DXVAの仕様書の更新

hiroyuk — Mon, 29 Jun 2009 05:09:00 GMT

DXVAはビデオなどのメディアをGPUでハードウェアデコードするための Win32 API です。ダウンロードセンターに以前からあったH.264 ハードウェアデコードの仕様書が少しだけ更新されました（バグフィックス）。

Media Foundation ④ WebCam + WPF 同期か非同期か

hiroyuk — Thu, 25 Jun 2009 07:57:30 GMT

Windows 7 SDk (RC) にある Media Foundation のサンプル MFCaptureD3D を使って WPF で WebCam のビデオを表示してみましょう。D3DSurface → D3DImage → WPF という流れは、以前 D3DImage チュートリアルで紹介したとおりですが、WebCam の画像をWPFで表示するときには、同期サンプリングか非同期サンプリングかのどちらの戦略をとるかを選ばなければなりません。

非同期サンプリング

MFCaptureD3D では元々サンプリングを非同期で行っています。アトリビュートストアでMF_SOURCE_READER_ASYNC_CALLBACKを指定し、非同期コールバックを設定しています。

// ③非同期コールバックを設定
hr = pAttributes->SetUnknown(
MF_SOURCE_READER_ASYNC_CALLBACK,
this
);

サンプリングを待つ時間を他のUIスレッドで使えるので、WPFのようなアプリには非同期が理想的です。

このサンプルコードでは非同期コールバックの場所として this が指定されているので、サンプリングが完了すると自クラスの OnReadSample メソッドが呼び出されます。このメソッドで、サンプリングした画像をD3DSurfaceに書き込んでから、C++ から C# に何らかのメッセージを送ってD3DSurfaceにビデオ画像が書き込まれたことを通知する仕組みが必要です。

同期サンプリング

以前の D3DImage チュートリアルでは、C# 側から Render メソッドで C++ の Direct3D レンダリングを実行し、それが戻ったら、ロックして AddDirtyRect メソッドでブリットしていました。同期サンプリングの戦略であれば、WebCam から画像を取得し D3DSrufaceへの書き込みを待ってブリットするという、同じ手順でレンダリングできます。

しかし、WebCam デバイスのサンプリングには待ち時間が発生します。しかも1秒間に30フレーム程度確保しようとすると、待ち時間は全体のかなりの割合を占める可能性があります。その間 UI を操作できず、パフォーマンスが悪化する可能性があります。

同期サンプリングを実装するには、アトリビュートストアに前述の非同期指定（MF_SOURCE_READER_ASYNC_CALLBACK）を入れずに、ソースリーダーを取得して、次のようにReadSampleを呼び出すだけです。同期サンプリングでは ReadSample が帰ったときにサンプル画像が取得できます（実装では取得できるまでサンプリングを繰り返します）。

DWORD dwStream;
DWORD dwFlags;
IMFSample* pSample = NULL;
LONGLONG llTimeStamp;
while( !pSample )
{
    hr = m_pReader->ReadSample(
          (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
          0,
          &dwStream,
          &dwFlags,
          &llTimeStamp,
          &pSample
        );
   }

結論として、今回のサンプルコードでは、非同期サンプリングの戦略で実装することにしました。両方とも実装してテストしてみましたが、やはり同期サンプリングでは UI 操作の引っ掛かりが発生することと、C++ コードの修正が多くなるためです。

TechEd 2009 オープンステージ

hiroyuk — Tue, 23 Jun 2009 05:37:33 GMT

8月26日-28日に開催されるTechEd 2009 では、オープンステージで「Media Foundation (Win32) の新機能 @ Windows 7」を話します。短い時間ですが、このブログでも紹介した、ビデオキャプチャやMFPlayの話をしようと思います。

Windows API Code Pack for Microsoft .NET Framework (v0.9)

hiroyuk — Mon, 15 Jun 2009 07:12:00 GMT

Windows API Code Pack が v0.9 に更新されました。内容は以下の通りで、緑色がv0.85からの追加部分です。バグフィックスとともに、VBを含む新しいサンプルも追加されています。

Direct3D 10/10.1 も追加されました！ D3DX10も含まれ、チュートリアルを含むサンプルもたくさん用意されているのでかなり役に立ちそうです。チュートリアルにはWinForm用、WinFormコントロール用、WPF用が用意されています。

しかしマルチタッチは含まれていません。.NET のマルチタッチについては、.NET Framework 4を待つしかないかもしれません。マルチタッチは Visual Studio 2010 Beta1 にもまだ含まれていませんでした。

Windows 7 タスクバージャンプリスト、アイコンオーバーレイ、プログレスバー、タブサムネイル、サムネイルツールバー
既知のフォルダー、Windows 7 ライブラリ、非ファイルシステムコンテナ、シェル名前空間エンティティの階層
Windows 7 エクスプローラーブラウザーコントロール
シェルプロパティシステム
Windows Vista と Windows 7 コモンファイルダイアログ（カスタムファイルダイアログを含む）
Windows Vista と Windows 7 のタスクダイアログ
Direct3D 11.0、Direct3D 10.0/10.1、DXGI 1.0/1.1、Direct2D 1.0、DirectWrite、Windows Imaging Component (WIC) API（DirectWriteとWICは部分的なサポート）
センサープラットフォーム API
拡張言語サービス API
電源管理 API
アプリケーション再起動・リカバリー API
ネットワークリストマネージャ API
コマンドリンクコントロールとシステム定義シェルアイコン

ビルドには以下の環境が必要です。

.NET Framework 3.5 以上、
Windows SDK for Windows 7 RC
DirectX SDK (March 2009)

D3D10チュートリアルビルド時の注意

Direct3Dでビルドするときには、DirectX SDKのインクルードフォルダとライブラリフォルダを[ツール]→[オプション]から[プロジェクトおよびソリューション]→[VC++ディレクトリ]で追加する必要があります。

しかし、D3D10のサンプルをビルドしようとしたとき、なぜか「D3DX10.hが見つからない」というビルドエラーで失敗しました。Direct3DX10プロジェクトを右クリックして[プロパティ]を選び、[構成プロパティ]→[C/C++]→[全般]で、[追加のインクルードディレクトリ]にDirectX SDKのインクルードフォルダ（C:\Program Files\Microsoft DirectX SDK (March 2009)\Include）を指定します。さらに[構成プロパティ]→[リンカ]で[追加のライブラリディレクトリ]にDirectX SDKライブラリフォルダ（C:\Program Files\Microsoft DirectX SDK (March 2009)\Lib\x86）を追加します。

D3DTutorial09_WPFの結果。ライティングが指定されていないので暗い。

川西 裕幸のブログ : Win32