川西裕幸のブログ : Media Foundation

PDC 2009 (Nov.18)

hiroyuk — Thu, 19 Nov 2009 07:01:00 GMT

PDC09 も本番2日目です（私は3日目ですが）、今日もキーノートがありました。今日、参加したセッションは以下の通りです。

キーノート
BOF Developers on Better Design, User Experience and Why It Matters
CL34 Media Foundation: Supporting Hardware Codecs and Cameras
CL15 Modern 3D Graphics Using Windows 7 and Direct3D 11 Hardware
FT07 The State of Parallel Programming
CL12 Developing with the Windows API Code Pack for Microsoft .NET Framework

キーノート

ウルトラセブンのテーマソングとともに現れたSteven SinofskyがIE9について、HTML5, JavaScriptの高速化、Direct2D・DirectWriteの使用などをアナウンスしましたが、PDC09の参加者（社員は除く）にWindows 7 が乗ったAcerのマルチタッチノートPCを無料で配布するというビッグニュースにかき消されてしまいました（写真は捨てられた箱）。

次にScott Guthrieが Silverlight 4 Betaのアナウンスをしました。Silverlight.net からダウンロードできます。

最後に Kurt DelBene が Office 2010 と Sharepoint 2010 のベータをアナウンスしました。http://www.microsoft.com/2010/ja からダウンロードできます（日本語版）。Sharepoint 2010 は Visual Studio 2010 とちゃんと統合され、F5キーでちゃんとサーバーで実行できると言うと、会場は拍手喝采でした。これまでかなり大変だったんですね。それ以外にも Duet Enteprise for Sharepoint and SAP や Outlook Social Connector もアナウンスされました。最後にMIX10についても言及されていました。

Developers on Better Design, User Experience and Why It Matters

BOF（Bird of Feather）でした。最初のお題は以下のように書いてありましたが、みんなが意見を言い合うので結局進まず、①だけで終わりました。

Best and Worst UX Experience? What can we learn?
The UX ROI
Building Better UX Teams)

UCD（ユーザー中心設計）や Expression Blend の SketchFlowの話になったのですが、私がペルソナの話が聞きたいと振ったところ、100名くらいの参加者の5・6名がペルソナを使ったことがあると答え、ペルソナで盛り上がりました。そのあと開発者とデザイナーの仕事などの話で終わりました。テーマの割に1時間では時間が少なかったようです。

Media Foundation: Supporting Hardware Codecs and Cameras

講演者の Stan Pennington は以前からよく知っていたので楽しみだったのですが、広い部屋に参加者が10名程度しかいなくてかわいそうでした。ランチセッションでネイティブWin32の話だから、少ないとは思いましたが...

Windows のメディアインフラは以下の通り

Video for Windows
DirectShow
Windows Media Format SDK
Media Foundation

MSがMFを使う理由

ストリームオブジェクト（IStream）
接続性とデータフロー
より良いスレッド制御
制約のあるコンポーネントとトポロジー

MFの機能

COM
C++
Vista
Windows 7

Source Reader, Sink Writer, Transcode API, Asynchronous MFT, HW Accerelation

ハードウェアコーデックライセンスプログラム

ビデオコーデックとビデオプロセッサーのみ
WME用のインボックスMDTコーデック
ｗｍａｌ＠ｍｉｃｒｏｓｏｆｔ．ｃｏｍにメールしてください。
2種類のコードタイプ Transcode only, General
正しいＭＦ属性の設定が必要、ＭＦＴはハードウェアデータフローが使える

ＭｅｄｉａＦｏｕｎｄａｔｉｏｎのブログ http://blogs.msdn.com/mf/

Modern 3D Graphics Using Windows 7 and Direct3D 11 Hardware

Agenda

Windows 7 Direct3D レビュー

Direct3D 10 レビュー
Expanding Reach: D3D10Level9 & WARP
HLSL & Shader

D3D11

マルチスレッド
テセレーション

Direct3D 10 パイプライン

入力アセンブリー⇒頂点シェーダー⇒ジオメトリーシェーダー⇒ラスタらいざー⇒ピクセルシェーダー⇒出力合成

Direct3D10 Level9 フィーチャーレベル Level9_2, Level9_1, Level9_1, WARP

Direct3D 11 デザインゴール

非同期リソースロード
マルチスレッド描画と状態変更
デバイスとコンテキスト、3つのコンテキスト：デバイス、直接コンテキスト、繰り延べコンテキスト
状態継承
Direct3D 11 APIは D3D10ハードウェアとドライバでも利用可能
VistaとWinodows 7で利用可能

Direct3D 11 テセレーションは、Bezier, NURBS, 動的・静的テセレーション、変位、再分割に使える

FBXフォーマット

Windows Vistaでの性能更新 http://support.microsoft.com/kb/971644

The State of Parallel Programming

この講演者の Burton Smith は Microsoft のフェローで並列コンピューティングの第一人者として有名な方のようです。大学の授業のようで非常に難しかったです。

結論

関数型言語とトランザクションメモリーはより高いレベルの並列プログラミングを実現する
分離とアトミックの効率的な実装が重要
アーキテクチャがこれらの助けになるはずだ
フォンノイマンモデルは近々置き換えられるだろう

Developing with the Windows API Code Pack for Microsoft .NET Framework

Windows API Code Packの使い方をサンプルを使って紹介していました、

アナウンス：バージョン1.0.1 に更新されたそうです

Ask the Expert

午後6個半から開催された Ask the Expertは、Microsoftの様々なテクノロジーの専門家（講演者など）とテーブルを囲んでディスカッションできる時間です。これも日本人にはちょっと難しいイベントでしたが、ビールと軽食が出ました。

【追記】各セッションのビデオへのリンクを追加しました

Dolby Digital CODEC @ Windows 7

hiroyuk — Tue, 15 Sep 2009 04:50:40 GMT

Windows 7 上の Dolby Digital CODEC（AC-3など）には制限があるので、独自のメディアアプリケーションを開発される方は、注意してください。SDK ドキュメント「Microsoft MPEG-1/DD/AAC Audio Decoder」によると、以下のように記述されています。

Note The Microsoft implementation of the Dolby Digital technology is restricted under terms of the Dolby Digital licensing program to use by Microsoft applications.

つまり、Windows 7 に搭載されている、マイクロソフトが実装した AC-3 デコーダー（DirectShow フィルター）は、マイクロソフト製品（たとえば Windows Media Player）以外では使うことができません。

したがって、AC-3 でエンコードされたメディアを再生したいアプリケーション開発者は Dolby Digital からライセンスを取得し、デコーダーを実装する必要があります。

WPF MediaKit @ codeplex

hiroyuk — Fri, 17 Jul 2009 05:39:24 GMT

WPF MediaKit では、DirectShow や MediaElement を WPF で使えるようにしています。作者は Jeremiah Morrill です。

例えば DvdPlayerElement 要素とか VideoCaptureElement があり、以下のように使えます。

<WPFMediaKit:VideoCaptureElement x:Name="videoCapElement"
       LoadedBehavior="Play"
       DesiredPixelWidth="320"
       DesiredPixelHeight="240"
       Stretch="Fill"
       VideoCaptureSource="{Binding Path=CaptureDeviceName}"
       FPS="30" />

Media Foundation ⑥ WebCam + WPF XAMLとC#の実装

hiroyuk — Tue, 07 Jul 2009 04:38:00 GMT

それでは XAMLとC#を実装しましょう。次のようにビデオ画像と、スライダーで回転・スケールを行うので、XAMLではD3DImageと2つのスライダー（とラベル）を宣言します。一つのスライダーはD3DImageの回転角度に、もう一つはD3DImageのXScaleとYScaleにバインディングします。

D3DImageはSystem.Windows.Interop名前空間にあるので、名前空間の追加に注意してください。

C#の実装

D3DImage チュートリアルとの違いは、初期化時にビデオのサイズを取得していることと、Rendering イベントハンドラーとコールバックを宣言する代わりに、Windows メッセージを処理するためのコールバック（ここではBltVideo）を HWndSourceクラスのAddHookメソッドを使って宣言することです。そのあとで一回目の非同期サンプリング命令（Sample）を呼び出します。

private readonly D3DWrapper myD3DScene = new D3DWrapper();
private HwndSource source;
private const int WM_PAINT = 0x000F;
private int videoWidth = 0;
private int videoHeight = 0;

...

private void StartDXRendering()
{
if (!myD3DImage.IsFrontBufferAvailable)
return;
IntPtr scene = myD3DScene.Initialize(
new WindowInteropHelper(this).Handle,
ref videoWidth,
ref videoHeight);
myD3DImage.Lock();
myD3DImage.SetBackBuffer(
D3DResourceType.IDirect3DSurface9, scene);
myD3DImage.Unlock();
source = HwndSource.FromHwnd(
new WindowInteropHelper(this).Handle);
source.AddHook(new HwndSourceHook(BltVideo));
myD3DScene.Sample();
}

BltVideo では WM_PAINT メッセージかどうかを確認して、D3DImageの内容を更新します。そのあとで、メッセージの処理完了を示す handled を true にし、次の非同期サンプリング命令を呼び出します。

private IntPtr BltVideo( IntPtr hwnd, int msg, IntPtr wParam,
                         IntPtr lParam, ref bool handled)
{
if (msg == WM_PAINT)
{
    myD3DImage.Lock();
    myD3DImage.AddDirtyRect(
    new Int32Rect(0, 0, videoWidth, videoHeight));
    myD3DImage.Unlock();
    handled = true;
    myD3DScene.Sample();
}
return IntPtr.Zero;
}

ソリューションを添付するので、WebCam のついた PC でビルド・実行してみてください。動作環境は以下の通りです。

Windows 7 (RC)
Windows 7 SDK (RC)
Visual Studio 2008 SP1
DirectX SDK (Mar 2009)

Media Foundation ⑤ WebCam + WPF プロジェクトの作成とC++の実装

hiroyuk — Mon, 06 Jul 2009 04:14:51 GMT

以前紹介したMedia Foundation の MFCaptureD3D サンプルを基に、WebCam のビデオ出力を D3DImage 経由で WPF で表示してみましょう。WPF で表示できれば、回転やスケールは思いのままですし、ブラーなどのエフェクトも容易です。

WPFソリューションの作成と混合アセンブリに変換

D3DImage チュートリアルを参考にして、WPFソリューションを作成し、MFCaptureD3Dプロジェクトを追加し、C++/CLIの混合アセンブリに変換します。マニフェストは明示的に追加しなくても、自動生成のもので構いません。ついでに、WPFプロジェクトの設定もしておいてください。

C++コードの編集

まず、キャプチャしたビデオを表示するウィンドウを生成し、メッセージポンプを定義している winmain.cpp を「プロジェクトから除外」します。次にD3DWrapper.cppを追加します。D3DWrapper.cppの内容は以下の通りです。初期化するときにD3Dサーフェイスとビデオの幅と高さを取得して、呼び出し元（つまりC#側）に返します。あとは、SampleメソッドでのMFReaderの非同期サンプリングの命令と、クリーンアップだけです。非同期サンプリングなので、このSampleメソッドが返っても、サンプリングは終了していません。初期化時にMFStartupを、クリーンアップ時にMFShutdownを呼び出していることにも注意してください。

#include "MFcaptureD3D.h"
#include <vcclr.h>
using namespace System;
CPreview* g_pPreview;

namespace MFCaptureViewer
{
public ref class D3DWrapper
{
public:
    IntPtr Initialize(IntPtr hwnd, int% width, int% height)
    {
      LPDIRECT3DSURFACE9 g_pd3dSurface;
      MFStartup(MF_VERSION);
      if (SUCCEEDED(CPreview::CreateInstance((HWND)
           hwnd.ToPointer(),
           (HWND)hwnd.ToPointer(),
           &g_pPreview)))
      {
        // Get Surface
        g_pPreview->m_draw.m_pSwapChain->GetBackBuffer
         (0,D3DBACKBUFFER_TYPE_MONO, &g_pd3dSurface);
        // Video width & height
        width = g_pPreview->m_draw.m_width;
        height = g_pPreview->m_draw.m_height;
        return IntPtr(g_pd3dSurface);
      }
    return IntPtr::Zero;
    }

    VOID Sample()
    {
        g_pPreview->m_pReader->ReadSample(
          (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
          0, NULL, NULL, NULL, NULL);
    }

    VOID Cleanup()
    {
       g_pPreview->Release();
       MFShutdown();
}
};
}

device.h と device.cpp

device.cppでは主にD3D系の処理を行っています。まずバックバッファのD3DSrufaceとビデオの幅・高さを D3DWrapperで取得できるように、device.hで4つのプロパティをパブリックにします。

public:
    UINT m_width; // moved to public
    UINT m_height; // moved to public
    IDirect3DSwapChain9 *m_pSwapChain; // moved to public
    DrawDevice(); // moved to public

virtual ~DrawDevice();

device.cpp では、マルチスレッドの解決、およびスワップチェーンのブリットは不要なので、次の2か所を変更します。

    hr = m_pD3D->CreateDevice(
        D3DADAPTER_DEFAULT,
        D3DDEVTYPE_HAL,
        hwnd,
        D3DCREATE_HARDWARE_VERTEXPROCESSING |
        D3DCREATE_FPU_PRESERVE |
        D3DCREATE_MULTITHREADED, // Add
        &pp,
        &m_pDevice
        );

…

    // Present the frame.
    // Removed
    // hr = m_pDevice->Present(NULL, NULL, NULL, NULL);

preview.hと preview.cpp

preview.cpp では主にMF関連の処理を行っています。まず、D3DWrapperで使えるように preview.h で2つのプロパティをパブリックにします。

public:
IMFSourceReader *m_pReader; // moved to public
DrawDevice m_draw; // moved to public

preview.cpp では、以下の2つのメソッドを変更します。前者で追加しているのは winmain.cppで行われていたWebCamデバイスを取得するコードです。後者では、非同期のコールバック内で次のサンプリングを呼び出していたのを、WM_PAINT メッセージの送付に変更しています（必ずしもWM_PAINTでなければならないわけではありません）。WPFではこのメッセージを基にD3DImageへの書き込みを行います。灰色は変更しないコードです。

HRESULT CPreview::Initialize()
{
    HRESULT hr = S_OK;
    hr = m_draw.CreateDevice(m_hwndVideo);
    // Add to get WebCam
    IMFActivate **ppDevices;
    UINT32 count = 0;
    IMFAttributes *pAttributes=NULL;
    hr = MFCreateAttributes(&pAttributes,1);
    hr = pAttributes->SetGUID(
      MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE,
      MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID);
    hr = MFEnumDeviceSources(pAttributes, &ppDevices, &count);
    if (count >0)
      hr = this->SetDevice(ppDevices[0]);
    // done
    return hr;
}

…

HRESULT CPreview::OnReadSample(
    HRESULT hrStatus,
    DWORD ,
    DWORD ,
    LONGLONG ,
    IMFSample *pSample      // Can be NULL
    )
{
    HRESULT hr = S_OK;
    IMFMediaBuffer *pBuffer = NULL;
    EnterCriticalSection(&m_critsec);
    if (FAILED(hrStatus))
    {
        hr = hrStatus;
        goto done;
    }
    if (pSample)
    {
        // Get the video frame buffer from the sample.
        hr = pSample->GetBufferByIndex(0, &pBuffer);
        if (FAILED(hr)) { goto done; }
        // Draw the frame.
        hr = m_draw.DrawFrame(pBuffer);
        if (FAILED(hr)) { goto done; }
    }
    // Add
    hr = SendMessage(m_hwndEvent, WM_PAINT, 0, 0);
    // Request the next frame.
    // Removed
    // hr = m_pReader->ReadSample(
    //    (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
    //    0,
    //    NULL,   // actual
    //    NULL,   // flags
    //    NULL,   // timestamp
    //    NULL    // sample
    //    );
done:
    if (FAILED(hr))
    {
        NotifyError(hr);
    }
    SafeRelease(&pBuffer);
    LeaveCriticalSection(&m_critsec);
    return hr;
}

ここで追加した SendMessage が非同期サンプリング時のC++とC#との同期問題を解決するカギの一つです。

この時点で、ソリューションエクスプローラーでこのMFCaptureD3Dプロジェクトを右クリックして、[プロジェクトのみ]→[MFCaptureD3Dのみをリビルド]を実行して、エラーが出ないことを確認してください。

つづく

H.264 / AVC デコード DXVAの仕様書の更新

hiroyuk — Mon, 29 Jun 2009 05:09:00 GMT

DXVAはビデオなどのメディアをGPUでハードウェアデコードするための Win32 API です。ダウンロードセンターに以前からあったH.264 ハードウェアデコードの仕様書が少しだけ更新されました（バグフィックス）。

RDP 7 の変更

hiroyuk — Fri, 26 Jun 2009 03:46:00 GMT

Windows 7 の RDP（リモートデスクトッププロトコル）では、以下のように（PDC 08の資料）多くのテクノロジーがクライアントでレンダリングされる予定でした（RCでは有効です）。

クライアントでレンダリングできれば、ホストから送られるデータが減らせるためネットワーク帯域の負荷が減らせるとともに、ホスト側の負荷も軽減できます。ホストレンダリングでは、レンダリング結果を毎フレーム画像として送るので（もちろん何らかの圧縮は掛けますが...）、非効率なため高品質なデスクトップを生成できません。Direct3D や Direct2D のクライアントレンダリング能力は、リモートデスクトップでクライアント側にあるGPU性能がフルに活用できる興味深い仕様でした。

ところが、RDP チームのブログによると、Direct2DとDirect3D 10.1 のクライアントレンダリングは Windows 7 RTM 版から取り除かれたそうです（こんな感じ）。

しかし、RDP 7 で Aero Glass は有効ですし、GDIとメディアプレイヤーはクライアントレンダリングなので、クライアント側にある GPU 上のコンポジターはリモートで利用可能なままのようです。

しかし、RDP チームはクライアントレンダリング機能の強化を続けているので、将来のバージョンアップでは D3D10などもクライアントレンダリング可能になるのでしょう。

RDPでAero Glassを有効にするには Windows 7 のリモートデスクトップ接続のオプションからデスクトップコンポジションを有効にする必要があります。Windows Server 2008 R2での設定については、RDPチームのブログを参照してください。

Media Foundation ③ MFCaptureD3D

hiroyuk — Tue, 09 Jun 2009 07:15:29 GMT

Windows 7 SDK (RC) 内の Media Foundation のサンプルコードの一つに MFCaptureD3D があります。Windows 7 SDK (RC) がインストールされていれば、C:\Program Files\Microsoft SDKs\Windows\v7.0\Samples\Multimedia\MediaFoundation\MFCaptureD3D にプロジェクトはあります。このサンプルコードでは、Media FoundationでキャプチャしたWebCamの「画像」を Direct3D 9 Surface（スワップチェーンのバックバッファ）にコピーして Direct3D 9 で表示します。

MFPlayを使った場合には、WebCam デバイスからメディアソースを作成するだけで、1枚1枚の画像をサンプリング必要はありませんでした（MFPlayがやってくれました）。このサンプルではメディアソースからMFReaderを生成して、画像を1枚1枚サンプリングしています。この作業は preview.cpp に実装されています。

さらにDirect3D 9 Surfaceにコピーするとき、サンプリング結果をRGB32に変換しています。現在の WebCam ではエンコード動画（ex. VC1やH.264）を出力するデバイスはないと思いますが、エンコード画像（ JPEGなど）を出力するデバイスもありますし（ex. Microsoft LifeCam NX-6000）、YUVを出力するデバイスもあります（Media Foundationでのビデオフォーマットの詳細は Video Subtype GUIDs を参照してください）。

いずれにせよDirect3D 9 Surfaceに渡すにはRGBにする必要があります。この作業は device.cpp に実装されています。このサンプルコードではこれをソフトウェアで実装しています。

ここでは Media Foundation を使って非同期で WebCam から画像をサンプリングする方法を preview.cpp を基に解説します。サンプリングに必要な手順は以下の通りです（CPreview::SetDevice()メソッド）。実際にビルドして、デバッグ実行しながらお読みください。

MFCreateAttribure関数を呼び出しアトリビュートストアを作成
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE に MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID を指定
MFEnumDeviceSource 関数を呼び出し、デバイスを列挙
[ここまでは winmain.cpp の OnChooseDeviceメソッドで実装され、SetDeviceを呼び出している]
IMFActivate::ActivateObjectメソッドを呼び出し、そのアクティベーションオブジェクトからメディアソースオブジェクトを作成
シンボリックリンクを作成（デバイス消失のチェックに必要）
[ここまではMFPlayを使ったときと同じ]

再度MFCreateAttributes関数を呼び出し、アトリビュートストアを作成
そのアトリビュートストアでMF_READWRITE_DISABLE_CONVERTERSをTRUE にする（このサンプルコードではソフトウェアでフォーマット変換するため）。
そのアトリビュートストアで非同期サンプリングを指定、MF_SOURCE_READER_ASYNC_CALLBACK を this にする。すると、サンプリングが完了したとき、このクラスの OnReadSample コールバックが呼び出される。
MFCreateSourceReaderFromMediaSource関数にこのアトリビュートストアを渡し、ソースリーダー（m_pReader）を作成。
ソースリーダーのGetNativeMediaTypeメソッドで取得可能なメディアタイプを取得。
変換可能なメディアタイプを選び、ソースリーダーのSetCurrentMediaTypeメソッドにそのメディアタイプを渡す。
[TryMediaTypeで実装]

これで準備は終わりで、最後にソースリーダーのReadSampleメソッドを呼び出します。サンプリングが終了すると、前述のようにOnReadSampleコールバックが呼び出されます。

OnReadSampleではIMFSample型のサンプルが渡されるので、そのサンプルから最初のインデックスのバッファ（IMediaBuffer）をGetBudderByIndexで取得し、device.cppで実装されているDrawFrameメソッドに渡して、バッファの結果をデコード・変換・コピー・表示します（ここでは紹介しません、興味のある方はdevice.cppを参照してください）。このサンプルコードではこのコールバックの中で再度ReadSampleを呼び出し、連続的に画像を取得しています。

HRESULT CPreview::SetDevice(IMFActivate *pActivate)
{
    HRESULT hr = S_OK;
    IMFMediaSource *pSource = NULL;
    IMFAttributes   *pAttributes = NULL;
    IMFMediaType    *pType = NULL;
    EnterCriticalSection(&m_critsec);
// もしあれば現在のデバイスをリリース
    hr = CloseDevice();
    if (FAILED(hr)) { goto done; }
// デバイス用のメディアソースを作成
    hr = pActivate->ActivateObject(
        __uuidof(IMFMediaSource),
        (void**)&pSource
        );
    if (FAILED(hr)) { goto done; }
   // シンボリックリンクを取得
    hr = pActivate->GetAllocatedString(
     MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_SYMBOLIC_LINK,
        &m_pwszSymbolicLink,
        &m_cchSymbolicLink
        );
    if (FAILED(hr)) { goto done; }
    //
    // ①ソースリーダーの作成
    // 初期設定を保持するアトリビュートストアを作成
    hr = MFCreateAttributes(&pAttributes, 2);
    if (FAILED(hr)) { goto done; }

    // ②コンバーター非使用の設定
    hr = pAttributes->SetUINT32
      MF_READWRITE_DISABLE_CONVERTERS, TRUE);
    if (FAILED(hr)) { goto done; }
    // ③非同期コールバックを設定
    hr = pAttributes->SetUnknown(
     MF_SOURCE_READER_ASYNC_CALLBACK,
        this
        );
    if (FAILED(hr)) { goto done; }
    // ④メディアソースの作成
    hr = MFCreateSourceReaderFromMediaSource(
        pSource,
        pAttributes,
        &m_pReader
        );
    if (FAILED(hr)) { goto done; }

    for (DWORD i = 0; ; i++)
   {
              // ⑤メディアタイプを取得
        hr = m_pReader->GetNativeMediaType(
            (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
            i,
            &pType
            );
        if (FAILED(hr)) { goto done; }
        hr = TryMediaType(pType);
              // ⑤変換可能なメディアタイプを見つける
        SafeRelease(&pType);
        if (SUCCEEDED(hr)) { break; }
    }
    if (FAILED(hr))    { goto done; }
    // ⑥最初のサンプリング開始
    hr = m_pReader->ReadSample(
        (DWORD)MF_SOURCE_READER_FIRST_VIDEO_STREAM,
        0,
        NULL,
        NULL,
        NULL,
        NULL
        );
done:
    SafeRelease(&pSource);
    SafeRelease(&pAttributes);
    SafeRelease(&pType);
    LeaveCriticalSection(&m_critsec);
    return hr;
}

MFPlayを使う場合に比べて少し複雑になりましたが（実は device.cpp 側はもっと複雑です）、これで WebCamからのビデオ画像を Direct3D 9 Surface にコピーできました。

ということは D3DImage を使えば WPF でこの WevCam の出力を表示できます。WPF で WebCam のビデオ出力が表示できれば、拡大縮小などの加工が楽になるだけではなく、WPFアプリケーションにWebCamの機能を追加できます。次回からは、これに挑戦してみましょう。

注意：Media Foundationを使うとき、初めに MFStartup(MF_VERSION) を、最後に MFShutdown() を呼び出す必要があります

Media Foundation ② WebCam キャプチャ

hiroyuk — Thu, 04 Jun 2009 10:08:28 GMT

Media Foundation で WebCam からビデオをキャプチャしてMFPlayで表示する方法を Audio/Video Capure in Media Foundation を基に解説します。Windows 7 SDK (RC) がインストールしてあれば、サンプルコードは C:\Program Files\Microsoft SDKs\Windows\v7.0\Samples\Multimedia\MediaFoundation\SimpleCapture にあります。

手順は以下の通りです。

MFCreateAttribure関数を呼び出しアトリビュートストアを作成
MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE に MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID を指定
MFEnumDeviceSource 関数を呼び出し、デバイスを列挙
IMFActivate::ActivateObjectメソッドを呼び出し、そのアクティベーションオブジェクトからメディアソースオブジェクトを作成
シンボリックリンクを作成（デバイスロストのチェックに必要）
MFPlay プレイヤーを作成
4 で作成したメディアソースを第1引数にして、6 で作成したMFPlayプレイヤーの CreateMediaItemFromObject メソッドを呼び出し、メディアアイテムを作成。

#define CHECK_HR(hr) { if (FAILED(hr)) { goto done; } }

HRESULT CreateVideoCaptureDevice()
{
HRESULT hr = S_OK;
UINT32 count = 0;

    IMFAttributes *pConfig = NULL;
    IMFActivate **ppDevices = NULL;
    IMFMediaSource *pSource = NULL;

// ①アトリビュートストアを作成
CHECK_HR(hr = MFCreateAttributes(&pConfig, 1));

      // ②ビデオキャプチャデバイスを要求
    CHECK_HR(hr = pConfig->SetGUID(
        MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE,
        MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID
        ));
      // ③デバイスの列挙
    CHECK_HR(hr = MFEnumDeviceSources(
                                pConfig, &ppDevices, &count));

    // ④リスト内の最初のデバイスからメディアソースを作成
    if (count > 0)
    {
        CHECK_HR(hr = ppDevices[0]->ActivateObject(
            __uuidof(IMFMediaSource),
            (void**)&pSource
            ));
    }
    else
    {
        hr = MF_E_NOT_FOUND;
    }

// ⑤シンボリックリンクを作成
CHECK_HR(hr = pActivate->GetAllocatedString(    MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_SYMBOLIC_LINK,
    &m_pwszSymbolicLink,
    &m_cchSymbolicLink
    ));

// ⑥MFPlayプレイヤーを作成
CHECK_HR(hr = MFPCreateMediaPlayer(
     NULL,
     FALSE,
     0,
     NULL,
     m_hwnd,
     &m_pPlayer
     ));

// ⑦このメディアソース用のメディアアイテムを作成
CHECK_HR(hr = m_pPlayer->CreateMediaItemFromObject(
    pSource,
    FALSE,
    0,
    NULL
    ));

done:
    for (DWORD i = 0; i < count; i++)
    {
        ppDevices[i]->Release();
    }
    CoTaskMemFree(ppDevices);
    SAFE_RELEASE(pSource);
    return hr;
}

注意：Media Foundationを使うとき、初めに MFStartup(MF_VERSION) を、最後に MFShutdown() を呼び出す必要があります。

Media Foundation ① MFPlay

hiroyuk — Mon, 01 Jun 2009 06:41:15 GMT

以前紹介したように、Media Foundation は Windows 7 でかなり使いやすくなりました。今回はメディア再生APIの MFPlay の使い方をGetting Started with MFPlayを基に解説します。

MFPlayを使うとき、インクルードファイルはmfplay.h、ライブラリはmfplay.libが必要です。また、WINVERは_WIN32_WINNT_WIN7です。サンプルコードは C:\Program Files\Microsoft SDKs\Windows\v7.0\Samples\Multimedia\MediaFoundation\SimplePlay にありますので、実際にコードを見て、ビルドしてみてください。

メディアファイルの再生

メディアを再生するには、以下のようにMFPCreateMediaPlayer関数を呼び出すだけです。

IMFPMediaPlayer *g_pPlayer = NULL;

…

hr = MFPCreateMediaPlayer(
    sURL,       // ファイル名
    TRUE,        // 自動的に開始するかどうか
    0,             // フラグ
    NULL,        // コールバックポインター
    hwnd,       // 表示ウィンドウ
    &g_pPlayer
    );

第1引数はファイル名（あるいはURL）
第2引数はファイルロード後自動的に再生を開始するかどうかを指定する真偽値、TRUEが自動再生
第3引数はオプションで、デフォルト値は0．
第4引数はオプションで、コールバックインターフェイスのポインターMFPlayは非同期でメディアを処理するので、多くの場合このコールバック関数を使用
第5引数はウィンドウハンドル。オーディオのみの場合はNULL
第6引数は返されるプレイヤーオブジェクトのIMFPlayerインターフェイス、このオブジェクトを使ってスタート、ポーズなどの制御をおこなう

再生の制御

Stop(), Play(), Pause()などのIMFPMediaPlayerインターフェイスのメソッドを使う。現在の状態はGetState()で取得する。

再生レート（速度）を変更するにはSetRate()メソッドを使う。1.0が標準速度、0.5が0.5倍速、2.0が2倍速です。マイナスにすると巻き戻し再生になります。

プレイヤーのイベントを処理

以下のようにMFPCreateMediPlayerの第4引数にコールバックインターフェイスポインターを渡すと、MediaPlayerCallback::OnMediaPlayerEvent()コールバックを実装して、プレイヤーからのイベントに対応できます。

MediaPlayerCallback *g_pPlayerCB = NULL;

…

g_pPlayerCB = new (std::nothrow) MediaPlayerCallback();

hr = MFPCreateMediaPlayer(
    sURL,
    FALSE,
    0,
    g_pPlayerCB,
    hwnd,
    &g_pPlayer
    );

...

void MediaPlayerCallback::OnMediaPlayerEvent(
                                  MFP_EVENT_HEADER * pEventHeader)
{
    if (FAILED(pEventHeader->hrEvent))
    {
        ShowErrorMessage(L"Playback error", pEventHeader->hrEvent);
        return;
    }

    switch (pEventHeader->eEventType)
    {
        ...
    }
}

メディアファイルの情報を取得

MFPlayは渡されたメディアから、IMFPMediaItemインターフェイスを公開するメディアアイテムと呼ばれるオブジェクトを生成します。明示的にCreateMediaItemFromURL()メソッドを呼び出してメディアアイテムを作成することもできます。また、SetMediaItem()メソッドを使うと、同じプレイヤーで別のメディアを再生できます。

    hr = MFPCreateMediaPlayer(
        NULL,
        FALSE,
        0,
        g_pPlayerCB,
        hwnd,
        &g_pPlayer
        );
    hr = g_pPlayer->CreateMediaItemFromURL(sURL, FALSE, 0, NULL);

IMFPMediaItemインターフェイスを使うと、メディアにビデオが含まれているか、オーディオが含まれているか、メディアの尺（時間幅）などの情報を取得できます。

MFPlayの制限

デフォルトではストリーミングに対応していません。rtsp*, mms*, mcastプロトコルには対応していないので、その場合は Source Resolver が必要。
DRMで保護されたメディアに対応していません。
サーバーサイドプレイリストに対応していません。
動作には Windows 7 以降が必要です。

Media Foundation の更新 @ Windows 7

hiroyuk — Mon, 25 May 2009 05:31:40 GMT

Media Foundation は Windows Vistaから新設された新しいメディア用のネイティブAPIです。PMP（Protected Media Path）のようなセキュアなメディア処理に優れています。しかし、DirectShow に比べ対応デコーダも少なく、下位レベルのAPIばかりでプログラミングが簡単ではなく、Windows XP では動作しないので、あまり使われませんでした。

Windows 7 では改善されて、Media Foundation がかなり使いやすくなったように思います。What’s New in Windows 7は以下の通りです。

より多くのフォーマットサポート（MPEG-4を含む）
- AVI/WAVEソース
- MP4/3GPソース／シンク
- H.264デコーダ
- MJPEGデコーダ
- ASPストリームシンク
- MP3ファイルシンク
キャプチャデバイスとハードウェアコーデックのサポート
- UVC（USB Video Class）1.1 ビデオキャプチャデバイス
- オーディオキャプチャデバイス
- ハードウェアエンコーダ／デコーダ
- ハードウェアビデオプロセッサ（ex. 色空間変換）
プログラミングモデルの単純化
- MFPlay
- Source Reader
- Sink Writer
- Fast Transcode
- Caputer device
プラットフォームへの改善
- 最適化
- DXVA-HD

とくにキャプチャデバイスサポートとMF用プレーヤーAPI（MFPlay）のおかげで、最近のノートPCによく付いているWebcamでビデオをキャプチャして、ウィンドウ上で再生するのは、かなり簡単にプログラミングできるようになりました。サンプルコードSampleCapureをビルドして、WebcamをつないだPCで実行してみてください。

プログラミングモデルが単純化されたのも重要です。このページのアーキテクチャ図で、左の破線で囲まれた部分しかVistaのときにはなかったのですが、Windows 7では MFPlayだけではなく、右の Source Reader, Sink Writer も追加されたので、プログラミングが容易になりました。

川西 裕幸のブログ : Media Foundation