研究テーマ
バーチャル空間とリアル空間をつなぐインタフェース
デバイスの進化，ネットワークの進化そして，コンテンツ・アプリケーション製作ツールの普及により， 従来困難であった映像表現・認識処理が、誰でも手軽に実現できるようになりました． とくにヘッドマウントディスプレイ(HMD)の普及に伴うヴァーチャルリアリティ（VR)、カメラの高性能化・画像処理技術の進歩に伴うAR技術は身近な技術になりました．そして、近年、メタバースという形で、バーチャル空間が新たなコミュニケーション空間・手段に変わりつつあります。堀越研究室では，これら技術の可能性を様々な視点で考えています．
■３つの研究分野 関連キーワード
(1)バーチャルリアリティ(VR)・拡張現実感(AR)・MR（複合現実）・メタバース
(2)ユーザインタフェース・コミュニケーション
(3)３DCGコンテンツ，3Dディスプレイ
■３つの研究分野 関連キーワード
(1)バーチャルリアリティ(VR)・拡張現実感(AR)・MR（複合現実）・メタバース
(2)ユーザインタフェース・コミュニケーション
(3)３DCGコンテンツ，3Dディスプレイ
主な活動内容
これまでの主な活動内容を紹介します．研究活動は，「遊びの発想を真剣に研究する」というスタンスで進めています．
■11月24日 「石川と東京の高校生が進めている心でつなぐプロジェクト（遠隔演劇）」に技術協力しました。
300km離れた遠方にいても、リアル空間の舞台にアバターとして飛び出して演じる事が可能なシステムを実現しました。
・石川県側：県立七尾東雲高等学校演劇科、東京都側：都立広尾学園高等学校有志
・機材協力：株式会社タケナカ様
・メタバースプラットフォーム協力：クラスター株式会社様
・東京会場提供：Artience株式会社様
300km離れた遠方にいても、リアル空間の舞台にアバターとして飛び出して演じる事が可能なシステムを実現しました。
・石川県側：県立七尾東雲高等学校演劇科、東京都側：都立広尾学園高等学校有志
・機材協力：株式会社タケナカ様
・メタバースプラットフォーム協力：クラスター株式会社様
・東京会場提供：Artience株式会社様
■江ノ島水族館で開催されたイベントにて、ハロウィンにちなんで、深海魚にキャンディをあげる深海魚パーティゲームを製作し展示しました。
■松稜祭 学生のアイデアで製作した多数のXR体験システムをを展示しました。上記写真は、バイクのコーナリングをVRやHMD無しで体感できるシステム。バランスボールをバイクのタンクに見立てて、リアルなライド感を楽しめます。
また、東京ゲームショウ2023で展示したSaveTheCatも展示しました。リアルとバーチャルを繋いだゲームであり年齢を問わず楽しんでいただけました
■秋のTsujiFes（10月12,13日）に展示しました。江ノ電・腰越商店街をモチーフにデザイン科の学生が制作したモデルを、情報学科の学生がバーチャル空間で再構築し散策できるシステムを構築しました。地上を走る江ノ電、空を飛ぶ江ノ電に乗って、町並みを見て回ることができます、大人はHMD(ヘッドマウントディスプレイ）を使って、子どもたちは、ゲームパッドを使って、バーチャル空間を動き回れるようにしました。親子連れなど大勢の方に楽しんでいただけました。
https://www.shonan-it.ac.jp/topics/20241002_01/
https://www.shonan-it.ac.jp/topics/20241002_01/
■東京ゲームショウに湘南工科大学として出展しました
堀越研並びにXR（クロスリアリティ）チームから、VRゲーム2作品、2Dゲーム3作品を出展しました。
おそーじクリーン大作戦！、水族館からの挑戦状、ファントムシーフ、NeonGear、AR花火
https://www.shonan-it.ac.jp/topics/20230918_01/
堀越研並びにXR（クロスリアリティ）チームから、VRゲーム2作品、2Dゲーム3作品を出展しました。
おそーじクリーン大作戦！、水族館からの挑戦状、ファントムシーフ、NeonGear、AR花火
https://www.shonan-it.ac.jp/topics/20230918_01/
⬛️手書きの絵が泳ぐバーチャル海底（江ノ島水族館での体験イベント）
江ノ島水族館にて、ナイトアクアリウムVR体験会を実施しました。当日来場した子供達の絵を、スキャナで取り込み、バーチャル空間に再現した海底に泳がせるシステムを製作しました。
バーチャル海底のシーンの大画面スクリーン投影だけでなく、ヘッドマウントディスプレイによるVR体験も行いました。
子供達には、自分で描いた魚が泳ぐ姿を見て楽しんでいただけました
https://www.shonan-it.ac.jp/topics/20240308_03/
本プロジェクトは、Luz湘南辻堂様、湘南える新聞社様支援のもと実施したプロジェクトです。
江ノ島水族館にて、ナイトアクアリウムVR体験会を実施しました。当日来場した子供達の絵を、スキャナで取り込み、バーチャル空間に再現した海底に泳がせるシステムを製作しました。
バーチャル海底のシーンの大画面スクリーン投影だけでなく、ヘッドマウントディスプレイによるVR体験も行いました。
子供達には、自分で描いた魚が泳ぐ姿を見て楽しんでいただけました
https://www.shonan-it.ac.jp/topics/20240308_03/
本プロジェクトは、Luz湘南辻堂様、湘南える新聞社様支援のもと実施したプロジェクトです。
江ノ島水族館 ナイトアクアリウムVR体験会での様子
ナイトアクアリウムで展示したバーチャル海底を春の辻堂フェスティバルでも展示しました
⬛️2024年4月 春の辻堂フェスティバル（TSUJIFES)展示
デザイン学科中尾研との共同プロジェクト、今回は、浮世絵をモチーフに、江ノ島と富士山をデザインしたバーチャル空間を構築しました。２つの壁面投影で展示し、コントローラで自由に動き回ることができます。視界いっぱいに広がったバーチャル空間では、リアルな飛行感覚や臨場感を味わうことができました。
https://www.shonan-it.ac.jp/topics/20240418_01/
本プロジェクトは、Luz湘南辻堂様、湘南える新聞社様支援のもと実施したプロジェクトです。
デザイン学科中尾研との共同プロジェクト、今回は、浮世絵をモチーフに、江ノ島と富士山をデザインしたバーチャル空間を構築しました。２つの壁面投影で展示し、コントローラで自由に動き回ることができます。視界いっぱいに広がったバーチャル空間では、リアルな飛行感覚や臨場感を味わうことができました。
https://www.shonan-it.ac.jp/topics/20240418_01/
本プロジェクトは、Luz湘南辻堂様、湘南える新聞社様支援のもと実施したプロジェクトです。
⬛️メタバース空間を構築
2023年秋 デザイン学科の中尾研と協力して、メタバース空間（Cluster)の中に、未来の江ノ島をイメージしたワールドを構築しました。コントローラを使って、メタバース空間を自由に動き回ることができます。ヘッドマウントディスプレイを使うと、さらにメタバース空間への没入感を感じることができました。
https://www.shonan-it.ac.jp/topics/20231005_02/
本プロジェクトは、Luz湘南辻堂様、湘南える新聞社様、J:COM様の支援のもと実施したプロジェクトです。
2023年秋 デザイン学科の中尾研と協力して、メタバース空間（Cluster)の中に、未来の江ノ島をイメージしたワールドを構築しました。コントローラを使って、メタバース空間を自由に動き回ることができます。ヘッドマウントディスプレイを使うと、さらにメタバース空間への没入感を感じることができました。
https://www.shonan-it.ac.jp/topics/20231005_02/
本プロジェクトは、Luz湘南辻堂様、湘南える新聞社様、J:COM様の支援のもと実施したプロジェクトです。
⬛️2023年VR学会で発表
圧力センサの値と腕の動きの関係を学習し、圧力センサのみで腕の動きを再現する手法をポスター発表しました
圧力センサの値と腕の動きの関係を学習し、圧力センサのみで腕の動きを再現する手法をポスター発表しました
■MR（複合現実感）ピアノ
床面に投影されたピアノの鍵盤を踏むことで、ピアノを演奏する事が出来ます
（2022年 大学学園際：松稜祭にて展示）
床面に投影されたピアノの鍵盤を踏むことで、ピアノを演奏する事が出来ます
（2022年 大学学園際：松稜祭にて展示）
■バーチャルキャラクタの触覚再現
HMD（ヘッドマウントディスプレイ）越しに見えるバーチャルキャラクタを実際に触る体験を実現。
ゴムボールの位置に連動させて、バーチャルキャラクタを表示することで、実際にバーチャルなキャラクタに触ったような柔らかい触力覚を再現することができました。
（2022年 大学学園際：松稜祭にて展示）
HMD（ヘッドマウントディスプレイ）越しに見えるバーチャルキャラクタを実際に触る体験を実現。
ゴムボールの位置に連動させて、バーチャルキャラクタを表示することで、実際にバーチャルなキャラクタに触ったような柔らかい触力覚を再現することができました。
（2022年 大学学園際：松稜祭にて展示）
■バーチャルバイク
このシステムは、幼児用自転車のハンドルにジャイロセンサを取り付け、自転車のハンドルの傾きやハンドルの回転に合わせて、バーチャル空間のバイクを傾けたり加速させたりすることが可能です。直感的な操作でバイクを動かすことができるため、小さな子どもたちにも楽しんでいただけました。
（2019年 大学学園際：松稜祭にて展示）
このシステムは、幼児用自転車のハンドルにジャイロセンサを取り付け、自転車のハンドルの傾きやハンドルの回転に合わせて、バーチャル空間のバイクを傾けたり加速させたりすることが可能です。直感的な操作でバイクを動かすことができるため、小さな子どもたちにも楽しんでいただけました。
（2019年 大学学園際：松稜祭にて展示）
■ＶＲを利用したドローン操作
バーチャル空間で自由な視点で確認しながら、実空間の機器を直感的に操縦をすることができるため、複雑な飛行経路をバーチャル空間内のコントローラで直接的に操作することができます。
ドローンの操縦は、奥行きや距離感を把握することが難しく、操縦スキルが要求されます. このシステムでは、バーチャル空間に見えているマーカ（球体）を、手元のコントローラで指示するだけで、現実空間のドローンを飛ばすことが可能となります。
（2018年VisualMediaExpoにて展示）
バーチャル空間で自由な視点で確認しながら、実空間の機器を直感的に操縦をすることができるため、複雑な飛行経路をバーチャル空間内のコントローラで直接的に操作することができます。
ドローンの操縦は、奥行きや距離感を把握することが難しく、操縦スキルが要求されます. このシステムでは、バーチャル空間に見えているマーカ（球体）を、手元のコントローラで指示するだけで、現実空間のドローンを飛ばすことが可能となります。
（2018年VisualMediaExpoにて展示）
■実空間にいる子供と、バーチャル空間にいる大人が一緒に遊べる脱出ゲーム
・HMD装着者（大人）は、バーチャル空間を自由に動き回り、懐中電灯を使って鍵を探します.
・実空間にいる子供たちは、HMD装着者がどちらを見ているかを上空から見ていて、
HMD装着者に気づかれないようにゾンビを置くことが出来ます.
（投影されたバーチャル空間にvive Trackerを置くことで、ゾンビを置くことが出来ます）
・バーチャル空間の大人と実空間の子供が一緒になってゲームを楽しむことができます.
（2018年 学園際：松稜祭にて展示）
・HMD装着者（大人）は、バーチャル空間を自由に動き回り、懐中電灯を使って鍵を探します.
・実空間にいる子供たちは、HMD装着者がどちらを見ているかを上空から見ていて、
HMD装着者に気づかれないようにゾンビを置くことが出来ます.
（投影されたバーチャル空間にvive Trackerを置くことで、ゾンビを置くことが出来ます）
・バーチャル空間の大人と実空間の子供が一緒になってゲームを楽しむことができます.
（2018年 学園際：松稜祭にて展示）
