テクノロジーによるスポーツの拡張
テクノロジーによるスポーツの拡張
木下真吾│NTT人間情報研究所 所長
テクノロジーの進化により、スポーツ観戦やトレーニングなど様々な分野でイノベーションが起こっている。NTT人間情報研究所では、AIやサイバネティクス、感性研究を中心に、人間のあらゆる要素をデジタル化し、社会課題の解決や豊かな文化創造などを通じて、人や社会のウェルビーイングの実現に向けて研究開発を進めている。
NTT人間情報研究所が東京2020で行った、臨場感や一体感の高いスポーツ観戦や障害のある方と一緒に楽しめるインクルーシブな観戦、さらには、現在取り組み中のサイバネティクスやAI技術を活用したトレーニング方法など、最新のテクノロジーをスポーツの拡張に活用した事例を紹介する。
part 1
東京2020で行った3つのイノベーション
東京2020大会でNTTは通信のスポンサーをしていたので、通信回線やセキュリティなどを本来業務として行いましたが、NTT人間情報研究が行った
1. 新しいスポーツ観戦
2. 新しいイベント運営
3. 新しいトレーニング
この3つのタイトルについて紹介します。
1番目の新しいスポーツ観戦では、簡単に言うと、次世代のパブリックビューイングです。離れていても、会場にいる人と同じ臨場感を届けるために「Kirari!（超高臨場感通信技術）」を利用しました。具体的に臨場感をどのように届けるかというと、通常の体験はスマホやテレビから映像や音が流れている状態です。これに対して、Kirari!では視野角を覆うような非常にワイドな映像を提供します。登場する人物はホグラフィックにより立体的に表示され、さらに、その場所で音が出ているかのような立体的な音響を届けます。この3つの要素を上手く組み合わせることで、テレビやスマホでは体験できないような臨場感を届けるチャレンジを「スポーツ観戦の再創造」と銘打ち、セーリング、バトミントン、マラソン、ゴールボールの4競技で取り組みました。
新しいスポーツ観戦・セーリングケース
まずセーリングでは、観客席から数キロ離れたところでレースが行われるので、通常双眼鏡が必要だったりします。それをまるでレース海面近くのクルーズ船から観戦しているかのような臨場感、リアルを超える革新的な観戦体験を5GとKirari!を使って届けました。複数の4Kカメラを搭載したドローンや、船で撮影した大容量の映像を5Gでリアルタイムに転送し、KIRARI!によって横解像度12Kの超ワイド映像にリアルタイム合成した後、全長55mの洋上ワイドビジョンに投影しました。またコロナ禍で現地に行けない応援をこのビジョンで選手に届けることで選手と応援者の一体感を高めました。
さらにこの超ワイド映像は、東京ビッグサイトのメインプレスセンターに設置された横幅13mの超高解像度LEDにも表示され、世界中のメディア関係者にも新しいリモート感染の形を体験して頂きました。
難しかった点は、超ワイドな映像を作るために4Kカメラを扇状に並べて撮影しましたが、そのまま合成すると、境界線のところがギザギザになったり、オーバーラップがあったりして、綺麗な映像ができません。それをAIで自動的にシームレスに繋ぐということをやっています。また、撮影船が海に出て、そこから5Gなどの無線技術を使って陸上に中継しますが、波の揺れに応じてアンテナを自動調整するようなメカニズムを入れました。5Gはあまり距離が飛ばないので、短い距離は5Gを使うけれど、長くなったら違う通信電波を使うなど4,5種類の無線を適時的所で組み合わせて、利用しました。
現地の55mワイドビジョンは海に浮かべました。陸上に置いたとしても、映像を投影する点においては同じ効果ですが、海に浮かべることで、海の様相を切り取ったような表現ができ、環境と合わせた臨場感が生まれたと思います。
しかし、大型のディスプレイを搭載した船を浮かべるということで、安全面など警察や海上保安庁との調整は非常に難しく、大きなプロジェクトになりました。
離れていても、臨場感と一体感を届ける取り組みは、ニューノーマル時代にふさわしい 新しいスポーツ観戦の形として価値があったように思います。
新しいスポーツ観戦・バドミントンケース
実際は武蔵野の森総合スポーツプラザで試合が行われていましたが、それをリモートで、まるで競技会場のS席スタンドから観戦しているような臨場感を届けることを狙った取り組みです。
東京2020組織委員会と協力し、撮影した8K映像から選手映像を切り出し、ネットワークを通じて九段下の日本科学未来館特設コートに転送、ホログラフィックに表示しました。kirari !では、クロマキーなど、背景に大きな制約はありません。激しく動き、時には重なってしまう選手と、高速で移動し、輪郭をとらえるのが難しいシャトルも安定的かつ精緻に分離し、それぞれの要素を同期しながら、リモート会場に転送しました。
転送された選手とシャトルの映像はリモート会場に再現された実物大のコート上に、試合会場の位置情報を再現しながらホログラフィックに投影されました。実際に目の前で選手が競技しているかのような、空間そのままの臨場感を実現できて、メディア関係者からは会場で試合を見るのと変わらないくらい楽しめたという高い評価を多くいただきました。
科学未来館にリアルサイズの本物のネットやコートを設置し、ネットの手前側と奥側に、それぞれ選手を投影することで、実際の試合と同じ距離感で観戦することができます。透明のスクリーンを2枚組み合わせて、手前側と奥側に距離の差をつけて表示できるような形にしていますが、シャトルが連続的にこちらからあちらに行くのが課題でしたが、見え方を工夫することで比較的連続的に、シャトルの移動も表現できたと思います。
新しいスポーツ観戦・マラソンケース
マラソンでは、臨場感というよりは、一体感を高めようと行ったプロジェクトです。沿道でもなかなか応援できなかった時期でもあり、まるで沿道から応援されているかのように選手が感じる一体感、単にパブリックビューイングで観戦するということではなく、いかに応援の声を選手に届けるかということを重要視しました。
マラソンは札幌で行われたこともあり、東京でマラソンの試合を見ながら自分の目の前を選手が走った時に応援の声を出すと実際に札幌の選手までその声がリアルタイムに届く、遠く離れた場所からもエールを届けるために新たな試みを実施しました。
「超低遅延通信技術」と言い、一般的な通信技術でモニターを繋ぐと数秒の遅れが発生しますが、しかし マラソンランナーが駆け抜けるスピードは秒速5mです。1秒でも遅れると、東京にいる人々の声はもう届きません。そこで、限りなく遅延を無くした通信技術で、非圧縮で現地のLEDモニターに表示することで遅延なく、選手の挑戦と観客の声援を双方向に届けることが可能になりました。
この時は200msecぐらいの遅延でした。普通はこれだけ大きな映像は圧縮して送るんですが、そうすると圧縮遅延が大きくなります。いかに圧縮せずに送るかがポイントでした。
新しいスポーツ観戦・ゴールボールケース
ゴールボールは3対3人で目隠しをした選手が鈴の入ったボールを相手ゴールに入れるサッカーのようなパラリンピック競技です。基本的には音を楽しむ競技です。まるで自分がコートの中の選手の位置に立っているかのような音の体験をできないかということでチャレンジしました。
ここで我々は「高臨場音像定位技術」を使い、横浜市盲特別支援学校の子ども達に体験して頂きました。
これは100台のスピーカーの音を再生するタイミングとパワーを制御して任意の位置に音源が存在するかのような音場を作り出す技術です。選手がコート内で聞いている、相手選手の足音やボールの音をリモート会場に再現しました。
私も体験しましたが、ゴールボールは結構難しく、盲学校の生徒もかなり敏感ですが、さらに選手は繊細に音を聞き分けるというところや違いを、子供たちは楽しんでくれたかなと思います。ゴールボールのボール自体はバスケットボールに近い重さがあり、目をつぶってそれを取る怖さなども感じながら楽しむスポーツを体験できたことは、私にとっても非常に良い体験だったかなと思っております。
新しいイベント運営・CUzoカード
オリンピックは非常に大きなイベントで多くの人が関わります。そこで、テクノロジーを利用して貢献できないかと考え、新たなイベント運営体験の創造にチャレンジしました。
会場スタッフのためにシンプルなデバイスでも高機能なサービスを実現できる「機能分散通信技術CUzo」を実装した半透明透過型ディスプレイCUzoカードを開発しました。
未来的なディスプレイによって、大会スタッフから来場者に話しかけたり、コミュニケーションを取りやすくしました。デバイスが透明であることで、スタッフと来場者が目と目を合わせながら翻訳してコミュニケーションをとることが可能となり、会場には自然なサポートが生まれました。
新しいイベント運営・MaPiece
車椅子ユーザーの方が大会会場に移動するための技術提供も行いました。バリアフリー情報通信技術MaPiece（マッピース）と、それを活用したアプリ、ジャパンウォークガイドです。
マッピースは地図制作の専門知識を持たないボランティアでも、簡単に精度の高いバリアフリー情報を収集するための技術です。
ジャパンウォークガイドは、マッピースで収集、更新したバリアフリー地図情報を利用した駅と会場間の歩行ナビゲーション機能と、駅構内バリアフリー情報を含む乗換案内機能の2つの機能をシームレスに統合したアプリです。
車椅子ユーザーに最寄りのバス停や駅からオリパラ会場までのバリアフリー情報を一気通貫で提供し、実際に使っていただき高い評価を頂きました。
新しいイベント運営・熱中症アラート
大会の設備を守る作業員の熱中症リスクは、炎天下や空調設備のない屋内での作業が含まれているため大きな課題でした。そこで私たちは、ウェアラブル生体環境センサーを装着した作業者の心拍数、衣服内温度、湿度から体内温度変動を推定する手法を創出し、熱中症発生リスクを可視化し、高リスク時のアラート発出を行うシステムを開発しました。
センサー技術やAI 技術を活用し、一人一人の健康と安心・安全で効率的な労働環境を創造することができました。オリンピック会場の特性として、非常に広大な敷地があってさらに、日陰になるような屋根がない場所も多いですが、1人の作業者も大きな事故なく完遂できました。
新しいイベント運営・NTT-CERT
大会を支えるネットワークインフラを運営するNTTがサイバー攻撃を受けた場合、その影響はリアルな世界にまで及ぶ可能性がありました。NTT研究所は、サイバーインシデントの未然防止、攻撃を受けた際の被害の最小化を二本柱とし、サイバーセキュリティーの強化に取り組んできました。
インシデントを予測、察知するため、SNSから、サイバー犯罪者が集まるダークサイトまで広範囲に渡って情報を集め、分析しました。サイバー攻撃者の侵入を検知した場合は、膨大なデータから原因を突き止める解析技術で対応し、同じ攻撃を許さないためのセキュリティの改善など、万一の際 、被害を最小限に食い止めるための高度なスキルを、練習や研究を通じて追求しています。
大会後にプレスリリースを出しましたが、大会期間中、トータル4.5億回の攻撃がありました。それを全て防ぎ、インシデント0件にすることができました。
新しいトレーニング・ソフトボールケース
金メダルを取れた女子ソフトボールチームとは、数年前から特にスポーツ脳科学の分野で共同研究をして来ました。 単純にトレーニングするということより、スポーツを脳がどうとらえて反応しているかを、脳科学の観点から分析することでスポーツの上達に役立てようという研究です。
例えばピッチングマシーンは、さまざまな球種やスピードを制限できるだけでは実は不十分で、バッターは無意識のうちにピッチャーの動きの違いを感覚的に捉えています。カーブやストレートの違いをピッチャーの微妙な体の動きの違いから何かを察して打っているという仮説がありました。それを日本女子のチームと、マシーンを作り再現することで、優勝に貢献できたと思います。
球種毎に相手ピッチャーのピッチングの映像を分類し、その球種を投げた時の映像にあわせてピッチングマシーンからボールを出します。それにより選手は、意識せずに情報を得て、予測モデルが洗練されていくことを期待して開発しました。実戦に近い形で練習ができたと評価をいただいております。
part 2
最近の研究
XR（AR/VR）スポーツ観戦
1つ目はXRです。ARとVRを組み合わせた、新しいスポーツ観戦を実験的に行っています。サイクリングを例にあげると、1人は部屋でVRを着け、もう一人は本当に外に出て実際にサイクリングをします。その2人が同じ空間で一緒に走っているような体験をどうやったら表現できるかというところです。
映像から空間を推論し、より自由度の高い空間として再現する方法を「6DoF映像空間推定・再現技術」と言い、ドライバーのヘルメットなどに装着した360度カメラを用いて建物や風景を複数の角度から捉え、その形状を学習・推論することで自由に視点を変えられる3次元空間を再現します。
この6DoF映像空間推定・再現技術の大規模化・リアルタイム化により、自由にコースを走りながら、他の選手と「今」を共有できるリモート競技空間の実現を目指しています。
また、音の空間的な広がりを丸ごと再現する「6DoF音響空間推定・再現技術」により、単に音のする方向だけではなく、個々の音の位置や残響も再現します。音響空間を自由に移動しながら、その場にいるような音を聞くことができるようになります。
さらに路面の振動を伝えること「振動マップ生成技術」は、AIが映像から路面の状況を判断し、リアルな振動情報を生成し遠隔地へ伝送、再現します。
スポーツデータの可視化
ボクシングに今適用していますが、会場にステレオカメラや広角カメラ、魚眼カメラ、ハイスピードカメラを複数設置します。それをAIを用いて、ヒト・モノ・環境をメディア処理しデータ化します。パンチ数や移動距離、リングの中で選手がどの辺を動いたのかなどを可視化することによって、エンターテインメントにも取れるし、スポーツの分析にも活かせないかと考えています。これらを人間が目視で行うのでなく、全てAIによって全自動で処理されます。
情動的知覚制御
コロナ禍以降、オンラインライブやオンラインスポーツ観戦が流行ってきましたが、実際にリアルで行くライブに比べると臨場感や一体感に欠ける部分がどうしても出てしまいます。それを、どうしたら家にいながら実際のライブ会場に行ったような熱狂など、対面ならではの情動を伴う体感が作れるかという研究です。
ユーザー個人の情動の表出特性を推定し、それに基づき情動を制御します。「他の観客と一体感を感じたい」「一人きりの空間で熱中したい」などの一人一人の楽しみ方に合わせて最適化したパーソナルバーチャル会場を生成することで、リモート環境においても個人や群衆の情動の増幅・共鳴共鳴が活発に行われる世界を目指します。これらを実現する「情動的知覚制御技術」とは、情動推定技術と情動制御技術の2つの軸となる技術から成っています。
まず、情動推定技術とは、センシングされた生体情報や画像・音声・コンテンツなどのデータから観客の情動を推定します。観客個人の情動の推定と、観客全体の情動の推定の2つの研究を進めています。観客個人の情動はウエアラブルデバイスにより生体情報を入力し、利用者が感じている快・不快、高覚醒・低覚醒などの情動の強さや喜びや悲みなどの情動の種類をAIにより判定します。
観客全体の情動は、観客席を含むイベント会場の映像から、例えば演者からの呼びかけが各観客に振る舞いに平均的にどのような影響を与えるか、一体感のある振る舞いをしているかなどを推定します。
この2つの情報からフィードバックされた情動推定モデルを用いることで、例えば、音楽ライブのどの曲が一体感のある振る舞いを生んでいるかなどを把握することや、パーソナルバーチャル会場内の仮想観客の振るまいを現地の振る舞いと類似したものとすることが可能となります。
情動制御技術は、情動推定技術で得られた結果を用いて熱狂や一体感を誘起するインタラクション技術です。現在、心理的側面と行動的側面の2つから情動体験を高める研究を進めています。心理的側面による取り組みとしてリモート観客に、自身以外の観客を最適なかたちで提示できればと考えています。例えば、盛り上がっていない観客の表示を減らし、自身と同じような振る舞いや、盛り上がりを示す観客を提示するなどが考えられます。
また、行動的側面からは、リモート環境では大声での声援や身体を大きく動かすアクションを行いにくい点に着目し、マルチモーダルなフィードバックを付加することで、リモート観客自身の動作を錯覚させる手法を検討しています。
実際に、東京ガールズコレクションさんのミニライブなどで実験しておりますが、リアルなライブがまた戻ってきているので、現地と同じというよりはVRライブやアバターのライブなどでうまく活かせないかと検討しています。リモート観客全員が、個人個人に最適化した盛り上がりを提供することを狙っています。
運動能力転写・身体知獲得
運動能力転写は先生やプロの身体の動きを言葉や身振りで伝えるのではなく、生徒へ筋肉から筋肉へ直接情報を伝達して動きを真似してもらう技術です。
例えばピアノでは、先生と生徒の腕に電極を着けて、電気信号を送り、筋肉制御するをことで、指の動きや強弱などをシンクロさせることができます。また、ゴルフのグリップの握り方や握りの強さなどをフィードバックしたり、色々なスポーツに展開できると思います。
身体知というのは、スポーツのコツや、気づき、身体で理解する、言葉で表現できないことを指します。この、プロが持っている身体知を生徒に伝えるプロジェクトです。
海上で様々な器具を利用し、コーチが横に着いて教えることが難しいウインドサーフィンでこの技術を利用しています。プロが使っているボートにセンサーを着け、傾きなどの動きを陸上のシュミレーターに送ります。すると陸上にあるシュミレーターでも同じ感覚を体感することができます。コーチがシュミレーターに乗り、海上の選手にリアルタイムで指導をすることもできます。
現在、競技団体の方と実験をしており、外国人選手と日本人選手の何が違うかを分析し、シュミレーターに乗ってもらうことで、外国人選手の腰の位置など、身体知を獲得できております。こちらも様々なスポーツに展開できると思います。
ドライバーの瞬目
フォーミュラカーレースのダンデライオンさんというチームと共同研究をしていますが、ドライバーの目の動き、瞬きに注目し、どういうところで瞬きをして、それをどうすれば成績が上がるのか、瞬目と集中力と成績の関係を明らかにするという研究です。
カーレースは1/100秒を争うスポーツで、それを縮めるための努力は肉体的なものだけだと説明しきれません。もっと認知的、情報処理的な観点で大きな努力をしているだろうと予想できます。
ドライバーの認知状態を知るために一番有力な手がかりとして眼球運動があります。ドライバーが加速時や非常に大きなGがかかるカーブの時にどのような認知状態になっているのかは、これまであまり知られてきませんでした。
瞬きの回数は人によって大きな差があることはわかっていましたが、瞬きを集中させるタイミングは共通していたり、本気度によって、少しづつ違う傾向がわかってきています。このように瞬きなどのバイタルデータを使って色々解析しています。
スポーツ選手の行動変容
スポーツ選手も人間なので、トレーニングがなかなか続かなかったりというケースもあります。それに対して科学的にアプローチできないかということで、行動変容技術という研究しています。
例えば現在志向バイアスというのがあります。子どもに1個のマシュマロを今すぐもらうか、15分後に2個もらうかというマシュマロテストでは3人に2人の子どもがすぐにもらう方を選んだそうです。目先の利益が遠くの利益よりも大きく見えてしまうということが現在志向バイアスです。これをうまく利用することができると、選手のトレーニングを継続させるためにいろんな働きかけができたりします。
選手の行動分析を行い、その人がどのくらい現在志向バイアスが高いかを自動推定します。図1はこの方法を現したものですが、寝起きに体重をすぐ測る人ほど現在志向バイアスが高い傾向があります。こういう行動を検知することにより、現在志向バイアスが強めだな、弱めだなというところが分かり、それを参考にトレーニングへの介入を試みることで行動変容を促します。
eスポーツの遅延解消
マラソンのパートで超遅延転送技術を紹介しましたが、eスポーツは従来ネットワークの遅延があるために、実はやはり1か所に集まって行うことが一般的です。現在、超遅延転送技術に加え、遠隔にある会場の遅延時間を揃える研究をしており、これにより離れた場所でもeスポーツの大会を開けるのではと考えています。
札幌、東京、大阪、福岡の4拠点でeスポーツ大会を開催し、サーバーが東京にある場合、東京から離れるほど遅延が大きくなります。
さらに、それぞれの遅延量は時事刻々と不安定に揺らぎます。高いリアルタイム性が要求され、高額な賞金のかかるeスポーツにおいて、わずかな遅延の差は大きな問題です。
これに対し、本技術では既存の光電装装置に開発した遅延マネージド伝送装置を接続することで、サーバー拠点と各ユーザー拠点で発生する通信遅延の測定と調整が可能になります。
この装置にはサーバー拠点に設置するModel-Aと、ユーザー拠点側に設置するModel-Bがあります。Model-Aには遅延測定機能と遅延調整機能、Model-Bには遅延測定機能が備わっています。遅延測定機能により各ユーザー拠点とサーバー拠点間ごとの通信パスの伝送遅延を測定し、その情報を元に、遅延調整機能によりマイクロ秒単位で任意の拠点に遅延を付加することで、拠点間の遅延を均一に調整します。
さらに現在、高リフレッシュレート映像転送技術を開発しております。これは、eスポーツに求められるフルHD240hzのHDMI映像信号映像信号転送を実現する技術です。これらの技術を組み合わせることで、リモートアクティビティのユーザーエクスペリエンスをさらに高めることができると考えています。
この技術により、eスポーツはもちろん、多地点間を結んだ遠隔合奏など、リモートワーキング、教育、文化・芸術、遠隔医療、遠隔コラボレーションなど複数拠点を結ぶインタラクションのあるアクティビティへの応用が期待されています。
Q&A
Q.スポーツ観戦や戦略分析などスポーツ産業におけるICT利用が広がってきましたが、実証実験に留まっているケースが多く、スポーツ団体の多くではICTの実利用が少ない、または予算が極めて少ない印象があります。最先端の研究者として、スポーツ産業におけるICT利用の壁や普及の方法は何だと考えますか？
A.実際問題、特に日本だとスポーツのビジネス規模が小さく、実証実験はしたものの、ペイするのか？というところで頓挫するケースが多いように聞いています。やはりまずはスポーツのビジネスのパイが大きくなるような仕組みがないと新しい技術への投資は難しいと感じています。一方で、テレビ観戦ではない、リモートなどの観戦に人やお金が流れてきているので、そちら側から変わっていく可能性もあると思います。
Q.まず人を把握し、その次はコントロールするところにいくのだとと思いますそのレベルに達するにはどのくらいの期間が必要でしょうか。
A.身体知に関しては、ウインドサーフィンで日本の選手を、世界トップランクに押し上げるためのプロジェクトを現在すでにやっています。一方、筋肉を遠隔から制御する運動能力転写は、今は基礎的な部分で、実際に演奏をうまくできるようになったり、プロの技を筋肉に伝えるには、相当な時間がかかると思っております。
Q.ピアノのプロが弾いた音をマシンで再現することは、例えばレコードなどでできますし、メタバースのアバターを考えた時に、実際に人が何かを上手に動かせるようになる理由がなくなるようにも思います。プロセスが進んでいく中で人がいなくなるという段階がありえますか？
A.今やってる研究の目的は、音楽を再生することではなく、演奏楽しんだり、演奏を上達するのをいかに手助けできるかというところなので、あくまで主体は人間が何か行動を起こすことに対して支援を行うということです。最終目的が再生というアウトプットではなく、それを奏でる人間の喜びをサポートできれば、そこは永遠に消えないターゲットなのかなと思います。
Q.人が道具を使いこなし、それでより高い芸術性が現れるというお話は安心感がありますが、情動をコントロールするとなった時、それが進んで行き、情動さえも提供されることが人の人らしさなどについて、どういう未来になるんでしょう？
A.情動を制御すること自体が、実際に適用する時にはおそらく倫理的に良いのかの検討が必要だと思います。我々世代と若い世代で映像メディアの体験の仕方が変わってきており、最近の若い人はYouTubeやtiktokなどで本当に好きなものをどんどん早く消費しているような気がします。もしかすると時代とともに変わっていくのかもしれませんが、その人の興味にカスタマイズされたものだけが提供されていくことが本当に良いのかなど、問題視されているところもあるので、どちらかというと情報制御というより、カスタマイズの限界と課題は分析していかなければいけないと思います。
▶本稿は2023年4月11日（火）に開催されたスポーツ産業アカデミー（ウエビナー）の講演内容をまとめたものである。
