GET AR

世界を変えるARニュースメディア

HoloLensを使って電子キーボードでピアノレッスンする動画

2017/01/12
 1408

Matt RobinsonさんがHoloLensを利用したピアノレッスンの動画が話題に。HoloLensが次の弾く鍵盤を認識して、それを3Dホログラムに順番に表示している。またYoutubeタイトルのKeyboARdというネーミングセンスもうかがえる。boardのaとrを大文字にしてAR(Augmented Reality:拡張現実)としているところがクリエーターっぽい。

HoloLensを使って電子キーボードでピアノレッスン方法

キーボードを上から見ている視界。注視カーソルでのハンドジェスチャーは必要ない。HoloLensが鍵盤の位置を読み取り、3Dホログラムで反映させる。白鍵はエメラルドグリーンで黒鍵はコバルトブルーだ。驚くほどブレがない。

HoloLensを使った、スケール

一音ずつド・レ・ミ・ファ・ソ・ラ・シ・ドと上昇して、ド・シ・ラ・ソ・ファ・ミ・レ・ドの下降する流れ。最初はレからスタート。レを弾くと次のミにエメラルドグリーンの3Dホログラムが反映せる。おおよそ、スピード的には0.8秒ほどだろうか。下降し最後のドの白鍵を弾くと、よくできました!次のレッスンをスタートするには「次へ」をクリック。

HoloLensで投影される、和音

黒鍵を含む、3つ以上の音を同時に出すこと。3つずつ、白鍵や黒鍵が3Dホログラムとして反映される。スケールと同じ手順どおり弾いていこう。

HoloLensを使って、曲を流せる

3Dホログラムが音の雨のように電子キーボードの上から下へと流れているのがわかる。白い鍵盤の上近辺に来た瞬間に弾くとベストだ。「メリーさんの羊」と「きらきら星」のデモのようだ。きらきら星は変化のないリズムだが、メリーさんの羊は変化があるので、一方的なリズムであった。改善の余地が必要である。

HoloLensで見れる、音楽ファイル

すでに録音している音楽ファイルで歌を奏でる。なんとも不思議な光景だが、現実世界ではキーボードは弾いていない。だが、ホログラム上では弾いている。しかも視界はキーボードを手前にして奥に壁がある状態だ。奥から3Dホログラムが迫ってくる光景である。

まとめ

ピアノレッスンで先生代わりになるHoloLens、これが数年以内に完成するとピアノ教室がこの世からなくなる。便利な時代になることは確かだが、雇用や経済的にどうなるかが問題だ。ピアノだけではなく、例えば、ギターや木琴、ドラムなどすべての音楽関係にも利用できることがわかる。不安と関心を持って、今後の活動を見ていきたい。

関連記事
HoloLensを利用したピアノ教育、Pianolensが面白い

HoloLens
Microsoft HoloLens | オフィシャル サイト

ARニュース HoloLens

國士舘大学体育大学武道学科卒→商社→セブ留学→独学でWebを勉強→GET AR管理人。ARの可能性に興味をもち、AR大好きな人。語彙はないが、情熱はある人。

次回予告
気になる方は登録を↓
follow us in feedly