ジニアス平井氏のナイスアドバイスでやり方が判明。

追記 さらにアイテム追加用の ItemTemplate 側の設定も教えていただきました。

1. ProjectTemplates フォルダにある Silverlight for Windows Phone テンプレートの1033フォルダをコピーして1041に変更
   
   C:\Program Files (x86)\Microsoft Visual Studio 10.0\Common7\IDE\ProjectTemplates\CSharp\Silverlight for Windows Phone\1033
   
2. ItemTemplates フォルダにある Silverlight for Windows Phone テンプレートの1033フォルダをコピーして1041に変更 追記
   
   C:\Program Files (x86)\Microsoft Visual Studio 10.0\Common7\IDE\ItemTemplates\CSharp\Silverlight for Windows Phone\1033
   
3. Visul Studio コマンドプロンプトを管理者権限で起動
   
   スタート＞すべてのプログラム＞Microsoft Visual Studio 2010＞Visual Studio Tools＞Visual Studio コマンド プロンプト (2010)
   
4. devenv –installvstemplates を実行（しばらくかかる）
   
   
5. Visual Studio 2010 日本語版を起動して、新しいプロジェクトを起こすとテンプレートが入っているはず。
   
    

これでめでたく、日本語のVisual Studio の環境に Windows Phone 7 の開発テンプレートが乗りました。

ありがとう!ジニアス

そして、まだまだ勉強が足りないなぁとちょっとだけ反省。