音を戻す!?聞き逃しを無くすナイスなアシスト
皆さん、作業に集中しすぎて周りから呼びかけられる声が聞こえなくなる時ってありますよね。電車の中で音楽を聴いていて、降りる駅を過ぎちゃったり。病院の待合室で本を読んでいて自分の順番がもう呼ばれたのか不安になったり。あれ?アナウンス聞こえなかったけどな…なんて経験ありませんか。
人間の脳は、多くの音の中から重要と感じた音を選択し、注意を向けます。一方で、それ以外の音には注意が向かず聞き逃してしまうことがあります。もしそれをお助けしてスイッチを切り替えるきっかけができたら…。そんなガジェットがあったら、皆さん使ってみますか?
目次
人間は何かに集中すると、他のコトが疎かになる
ーー今、VRやARがすごく盛り上がっていて、あちこちでVRグラスを付けたニュースなどを目にすることが増えました。人間への情報インプットは圧倒的に視覚情報が多いと思います。そういった中で、今回こちらのソリューションはなぜ聴覚にフォーカスしたのでしょうか?
金岡:もともとの発端として、マスクをつけている人の声が聞き取りづらいという話がありました。その聞き取りづらい声に対し、声を大きくしてあげれば良いと最初に考えましたが、結局マスクを付けている側が声を大きくしても、聞いている側もその声に意識を向けないと聞き取れないという現象に気づきました。
そこから始まって、では人間の「聞く」というのはどんなことなんだろう、「理解する」というのはどんなことなんだろうと調べていくと、聞こえているのに聞き取れていないということが分かりました。実は認知の機能によって人間は全部のことを聞いてないんですね。要するに、自分が注意を向けたものしか聞こえていない、理解できないということです。
ーー音そのものを聞こえるというより、認知させるように仕向けたのですね。
金岡:音を大きくして聞き取りやすくするには、例えば補聴器みたいなものが世の中にたくさん存在していますが、それでも聞き取れないケースが多くあります。
ーーつまり聞き取れるというところに突き詰めた結果、今のアイデアの発端になったということですね。
金岡:実は今朝、私も電車の中で本を読んでいたらアナウンスを聞き逃して乗り過ごしてしましました(笑)。人間は何かに集中すると、他の事柄に対して疎かになるのです。
ーー目覚ましアラームを設定するのも一つの手段ですが、電車がアクシデントで遅れたりすることもありますよね。
金岡:アラームだと「どのアラーム?何のアラーム?」と一瞬戸惑ってしまうこともあります。気付かせるだけでなく、何のアラームだったのかを理解させるための仕組みが重要だと認識しており、それでやっぱり普段は元に戻すことのできない「音」をどうやって戻すかというところを考えました。
シンプルな構成で認知機能を拡張
ーー今回開発された「聴覚拡張ヒアラブルデバイス」はどのようなものですか?
金岡:今回私たちが開発した「聴覚拡張ヒアラブルデバイス」は周囲音への注意を代替することで、それ以外の作業への集中を促すメディエーター*¹のような存在となります。主にバイノーラルマイク*²、骨伝導イヤホンと音を保持・再生するAIシステムで構成されています。
ーーシンプルな構成ですね。このシステムは主にどんな特長がありますか?
金岡:バイノーラルマイクには、リングバッファ*³、イベント検知、リプレイ制御の機能が備えられています。これらをAIシステムで音響処理を行い、骨伝導イヤホンで音を出します。
*¹…メディエーター(英語:Mediator):仲介者
*²…バイノーラルマイク:実際の耳で聞いているような立体感のある音声が収録できるマイク
*³…リングバッファ:リング状に配置されたバッファ(情報処理機器での記憶単位間のデータ転送において一時的にデータを記憶する領域)
ーー周囲音への注意を代替する機能ですが、気づけないといけないことを事前にインプットしておく感じですか?
金岡:そうです。今の仕組みとして現在のプロトタイプは自分の名前、あるいは乗りたい飛行機、降りたい駅など言葉をインプットしています。
ーーそのインプットも比較的簡単にできる感じですか?
金岡:スマートフォン上で簡単にできます。現段階は日本語だけですが、将来的に外国語も対応していきたいと考えています。
ーーインプットした後、周りの音も取り込むわけですよね。それは結構ノイジーじゃないですか?
金岡:いかに音をクリアに聞かせるか、雑音を除去したり声の速度調整をしたり、聞き取りやすいように音を少し加工しています。また、聞いている途中に音が返ってくると余計に分からなくなることもありますので、一連の発言が終わってから通知するようにしています。
ーー事前に聞きたい単語を登録しておく使い方は理解できましたが、普段の会話の中で相手の言うことを想定できない場合、どのような補助作用をしてくれますか?
金岡:実はこのデバイスに2つの機能が入っています。自動検知機能と、ちょっと前に戻る機能があります。この2つの機能は別物です。「音を戻す」機能は自分の意思でコントロールできます。ですので「さっきの音はなんだっけ?」のようにぼそっと言うと、その要求もきちんと答えてくれます。
あるいは聞き取りづらい時にマイクに向かって「戻して」と言わなくても、耳を覆う仕草だけでも音を戻してくれます。実際は自動検知機能より、自分で音を戻す方が多いと思います。
ーー確かに会話相手の前ではマイクに向かって喋りづらいですよね。手の動作でさりげなく戻してくれるのがとてもありがたいです。リングバッファに溜まっている音の長さはやはり直近の30秒だけですか?
金岡:はい。そうです。「さっき、アナウンスがあったけど、なんだっけ?」と思った時に戻すのは30秒までです。
ーー人間って意識していなければ数秒しか音の記憶が残ってないので、そうそう20秒残してもそれ以上先は覚えられませんね。
金岡:音の長さに関しては技術的にできなくはないですが、最適な長さにする必要があります。全部を聞き返すと聞き直す時間がかかってしまいます。あくまで自分の記憶で忘れたところを少し取り戻す程度にしています。
今後について
ーーこういうデバイスの機能は、どこに実装する形ですか?スマホですか?
金岡:イヤホンです。先程言ったようなメモリーとか、AIの処理などを全部イヤホンに入れることが望ましいと考えています。現在の単純に音楽を聞くイヤホン機能に、機能を付加するイメージです。
ーーイヤホンを一日中にずっと付けていると、耳が痛くなったりしませんか?
金岡:ポストスマートフォンの一つの形態として、将来的にワイヤレスイヤホンになっていくのではと思っています。日本はまだまだですが、海外は割と音声サービスが進んでいると聞きます。一日中付けるとやはり衛生的でないといけないため、骨伝導で使うことは一つの前提になります。今回のプロトタイプを骨伝導にしている理由もそこにあります。
ーー今回のシステムは去年(2022年)のCEATECにも出されましたね。どんなところが一番興味を持たれましたか?
金岡:圧倒的に多かったのはやはりこのコンセプトに皆さんが共感してくれたところですね。今までは補聴器について皆さんが研究されたり、製品を開発されたりしましたが、「音を戻す」という発想がなかったという声が一番多かったです。
認知の話をしましたが、高齢になってくるとだんだん認知機能が低下していきますね。結構大きな声で話しかけても気づいてくれないことはよくあります。それはやはり注意が向かなくなった証拠だと思います。そういったところはやはり単に補聴器だけではなく、注意を向けてあげることが重要です。
ーー今後どんな業界への展開を予想されていますか?
金岡:他にも建設業界の方々などは、騒音に囲まれた環境の中で作業されている場合が多いので、そういった場所でも活用できると考えています。また、通訳業界での応用も可能と考えています。
ーー今後はイヤホンメーカーと一緒にコラボレーションすることを考えられていますか?
金岡:メーカーの中で、このユーザー体験の開発コンセプトに興味を持っていただく方が多いため、メーカーとのコラボレーションを検討しています。商品化するにはスピードが大事だと思いますし、得意な企業と組みたいと考えています。
編集部より
情報化社会に生きる我々はこれからも、様々な手段で情報を得ることができますが、情報過多のため、情報の取りこぼしが社会問題になってくることが予想されます。そのような中で、「聞き逃し」を防ぐことが可能な技術は、今後、社会に少しずつ浸透していくのではないかと感じました。
特に、今回の「聴覚拡張ヒアラブルデバイス」は、このような課題に対し、シンプルな構成でソリューションを提供できることが特徴的だと感じました。また、現在はスマートフォンのポップアップ通知のように視覚に訴えてのアシストが多い中、あまり着目されていない「聴覚」に訴えたアシストという発想については、今後流行する余地は十分にあるのではないかと思います。
※本デバイスは研究開発中の試作品となり、未発売となります。
ご興味のある方、体験したい方、またご意見やご要望(例:商品化希望)などございましたら下記ボタンよりお問い合わせください。