YUYA MOROTO 諸戸 祐哉

  • TOP
  • 諸戸 祐哉

諸戸 祐哉 Yuya Moroto
画像・動画像等のマルチメディア信号処理，視線・脳活動等のバイオインフォマティクスに関する研究に加え，それらを協調的に扱う異種データ解析に関する研究に従事．解析には，深層学習をはじめとした機械学習，統計的分析や多変量解析等を主に使用している．
IEEE Graduate Student Member，電子情報通信学会 会員．工学士 (情報科学)，情報科学修士, 博士（情報科学）．
[博士論文]
[PhD Thesis]

[CV] in English updated on Nov 6, 2022

E-mail: moroto [at] lmd [dot] ist [dot] hokudai [dot] ac [dot] jp

 Google scholar  DBLP  ResearchGate

経歴 論文誌 国際会議 国内学会 講演 Preprint 受賞 学会活動その他 訪問者

 

経歴

学歴

  • 2012年4月-2015年3月 三重県立四日市高等学校
  • 2015年4月-2019年3月 北海道大学 工学部
  • 2019年4月-2021年3月 北海道大学大学院情報科学院 修士課程
  • 2021年4月-2024年3月 北海道大学大学院情報科学院 博士後期課程

研究開発経験

  • 2016年8月-2016年9月 三菱樹脂株式会社（現：三菱ケミカル株式会社）インターン ( 経済同友会インターンシッププログラム1期生として)
    研究テーマ：実験ならびにCAE解析を用いた、流動下での混合過程評価と装置の最適化検討
  • 2021年4月-現在 日本学術振興会 特別研究員DC1
  • 2021年9月-10月 CyberAgent AI Lab リサーチインターン
    研究テーマ：通行人の状態認識モデルを用いた新しいサイネージ広告の研究開発
  • 2022年12月-2023年4月 株式会社日立製作所 リサーチインターン（文部科学省 ジョブ型研究インターンシップとして  [link]）
    研究テーマ：映像を用いた人作業や環境を認識する人工知能技術の研究
  • 2023年2月-2023年3月 ソニーグループ株式会社 リサーチインターン
    研究テーマ：コスト制約下での介入方策の評価や学習
  • 2021年度- 2022年度　リサーチアシスタント　データ関連人材育成プログラム (D-DRIVE) に関わる研究補助 (SRA採択) [link]

教育経験

非常勤講師

  • 北海学園大学 工学部「プロジェクト実習」（2021・2022・2023年度）

ティーチングアシスタント/ティーチングフェロー

  • 北海道大学 全学教育科目「ロボットは感情を持つか？」（2019前期, 2020前期, 2021前期）
  • 北海道大学 工学部専門科目「メディアネットワーク実験IA, IIA」（2019前期・後期, 2020前期・後期, 2021前期・後期, 2022前期・後期，2023前期・後期）
  • 北海道大学 工学部専門科目「メディアネットワーク演習 II」（2019前期・後期, 2020前期・後期, 2021前期・後期, 2022前期・後期, 2023前期・後期）
  • 北海道地区国立大学教養教育連携授業 (2019前期・後期, 2020前期・後期, 2021前期, 2022前期)

研究業績

論文誌

  1. Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Multimodal Shot Prediction Based on Spatial-temporal Interaction between Players in Soccer Videos,” Applied Sciences, 14, no. 11: 4847, 2024.  [paper]
  2. Yuya Moroto, Keisuke Maeda, Ren Togo, Takahiro Ogawa and Miki Haseyama: “Multimodal Transformer Model Using Time-Series Data to Classify Winter Road Surface Conditions,” Sensors, 24, no. 11: 3440, 2024. (2023IF 3.9)  [paper]
  3. Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama: “Snow- or Ice-covered Road Detection in Winter Road Surface Conditions using Deep Neural Networks,” Computer-Aided Civil and Infrastructure Engineering (CACAIE), 2024. (2023IF:9.6) [paper]
  4. Yuya Moroto, Yingrui Ye, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama: “Zero-shot Visual Sentiment Prediction via Cross-domain Knowledge Distillation,” IEEE Open Journal of Signal Processing (IEEE OJSP), vol. 5, pp. 177-185, 2024.  [paper]
  5. 諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀: “時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類,” 土木学会 AI・データサイエンス論文集, vol. 4, no. 3, pp. 402-413, 2023.  [paper]
  6. Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Prediction of Shooting Events in Soccer Videos Using Complete Bipartite Graphs and Players’ Spatial-temporal Relations,” Sensors, vol. 23, no. 9: 4506, 2023. (2021 IF=3.847) [paper]
  7. 諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀: “テキストおよび画像情報に基づくFocal Lossを導入した深層学習による冬期路面状態の分類,” 土木学会 AI・データサイエンス論文集, vol. 3, no. J2, pp. 293-306, 2022.  [paper]
  8. Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama: “Human-Centric Emotion Estimation Based on Correlation Maximization Considering Changes with Time in Visual Attention and Brain Activity,” IEEE Access, vol. 8, pp. 203358-203368, 2020. (2020IF 3.745)  [paper]
  9. Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Few-shot Personalized Saliency Prediction Based on Adaptive Image Selection Considering Object and Visual Attention,” Sensors, 20, no. 8: 2170, 2020. (2020IF 4.066)  [paper]
  10. Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Tensor-Based Emotional Category Classification via Visual Attention-Based Heterogeneous CNN Feature Fusion,” Sensors, 20, no. 7: 2146, 2020. (2020IF 4.066)  [paper]

国際会議

  1. 〇Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “What to do and where to go next? action prediction in soccer using multimodal co-attention transformer,” in Proceedings of 7th International Workshop on Multimedia Content Analysis in Sports (MMSports’24), 2024. (Accepted for publication)
  2. Yuya Moroto, Yingrui Ye, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama: “Zero-shot Visual Sentiment Prediction via Cross-domain Knowledge Distillation,” in Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2024. (IEEE OJSP 2024 の内容として発表)
  3. 〇Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Huang-Chia Shih and Miki Haseyama: “Masked Modeling-based Action Event Prediction Considering Bidirectional Time-series in Soccer,” in Proceedings of the International Workshop on Advanced Image Technology (IWAIT), pp.13164, 2024.1.
  4. Yuya Moroto*, Rintaro Yanagi*, Naoki Ogawa, Kyohei Kamikawa, Keigo Sakurai, Ren Togo, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Personalized Content Recommender System via Non-verbal Interaction Using Face Mesh and Facial Expression,” in Proceedings of the ACM Multimedia (ACM MM), Demos and Videos Track, pp.9399-9401, 2023.10. *: Equal contributions.  [link]
  5. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Multi-view Variational Recurrent Neural Network for Human Emotion Recognition Using Multi-Modal Biological Signals,” in Proceedings of the IEEE International Conference on Image Processing (ICIP), pp. 2925-2929, 2023.10.  [link] [presentation file]
  6. 〇Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Shoot Event Prediction in Soccer Considering Expected Goals Based on Players’ Positions,” in Proceedings of the IEEE International Conference on Consumer Electronics – Taiwan (ICCE-TW), pp.449–450, 2023.7. [link]
  7. 〇Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Prediction of Shoot Events by Considering Spatio-temporal Relations of Multimodal Features,” in Proceedings of the IEEE International Conference on Consumer Electronics – Taiwan (ICCE-TW), pp.793–794, 2023.7. [link]
  8. 〇Yingrui Ye, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Affective Embedding Framework with Semantic Representations from Tweets for Zero-shot Visual Sentiment Prediction,” in Proceedings of the ACM Multimedia Asia, pp.1–7, 2022.12. [link]
  9. 〇Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Shoot Event Prediction From Soccer Videos by Considering Players’ Spatio-Temporal Relations,” in Proceedings of the IEEE Global Conference on Consumer Electronics (GCCE), pp.417-418, 2022.10.  [link]
  10. 〇Yingrui Ye, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Visual Sentiment Prediction Using Cross-way Few-Shot Learning Based on Knowledge Distillation,” in Proceedings of the IEEE International Conference on Image Processing (ICIP), pp. 3838-3842, 2022.10. [link]
  11. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Few-shot Personalized Saliency Prediction with Similarity of gaze Tendency Using Object-based Structual Information,” in Proceedings of the IEEE International Conference on Image Processing (ICIP), pp. 3823-3827, 2022.10. [link]
  12. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Human Emotion Recognition Using Multi-Modal Biological Signals Based on Time Lag-Considered Correlation Maximization,” in Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.4683-4687, 2022.5. [link] [presentation file]
  13. 〇Yingrui Ye, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Visual Sentiment Prediction Using Few-shot Learning via Distribution Relations of Visual Features,” in Proceedings of the IEEE Global Conference on Consumer Electronics (GCCE), pp.217-218, 2021.10. [link]
  14. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Few-Shot Personalized Saliency Prediction Using Person Similarity Based on Collaborative Multi-Output Gaussian Process Regression,” in Proceedings of the IEEE International Conference on Image Processing (ICIP), pp. 1469-1473, 2021.9.  [link]  [presentation file]
  15. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Human Emotion Estimation Using Multi-Modal Variational AutoEncoder with Time Changes,” in Proceedings of the IEEE Global Conference on Life Sciences and Technologies (LifeTech), pp.82-83, 2021.3. [link]
  16. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Estimation of User-Specific Visual Attention Considering Individual Tendency Toward Gazed Objects,” in Proceedings of the IEEE Global Conference on Consumer Electronics (GCCE), pp.554-555, 2020.10. [link]
  17. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Estimation of Person-Specific Visual Attention via Selection of Similar Persons,” in Proceedings of the IEEE International Conference on Consumer Electronics – Taiwan (ICCE-TW), pp.1-2, 2020.9. [link]
  18. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Estimation of User-Specific Visual Attention Based on Gaze Information of Similar Users,” in Proceedings of the IEEE Global Conference on Consumer Electronics (GCCE), pp.486-487, 2019.10. [link]
  19. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Estimation of Emotion Labels via Tensor-based Spatiotemporal Visual Attention Analysis,” in Proceedings of IEEE the International Conference on Image Processing (ICIP), pp.4105-4109, 2019.9. [link]
  20. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “User-Specific Visual Attention Estimation Based on Visual Similarity and Spatial Information in Images,” in Proceedings of the IEEE International Conference on Consumer Electronics – Taiwan (ICCE-TW), pp.479-480, 2019.5. [link]
  21. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Estimation of Visual Attention via Canonical Correlation between Visual and Gaze-based Features,” in Proceedings of the IEEE Global Conference on Life Sciences and Technologies (LifeTech), pp.229-230, 2019.3. [link]
  22. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “User-centric Visual Attention Estimation Based on Relationship Between Image and Eye Gaze Data,” in Proceedings of the IEEE Global Conference on Consumer Electronics (GCCE), pp.44-45, 2018.10. [link]

国内会議

  1. 〇五箇 亮太, 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “双方向Transformerに基づいたサッカー選手のイベントデータからの行動推定に関する検討,” 映像情報メディア学会技術報告, vol. 48, no. 6, pp. 318-322, 2024.2.
  2. 〇諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀: “時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類,” 第4回　ＡＩ・データサイエンスシンポジウム, 2023.11. (土木学会 AI・データサイエンス論文集, 2023の内容として発表)
  3. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “ Human emotion recognition while viewing images based on multi-view variational recurrent neural network,” 第26回 画像の認識・理解シンポジウム (MIRU 2023), pp. 1-5, 2023.7.
  4. Yingrui Ye, 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Zero-shot Visual Sentiment Prediction with Cross-domain Sentiments Using Knowledge Distillation,” 第26回 画像の認識・理解シンポジウム (MIRU 2023), pp. 1-5, 2023.7. (ロングオーラル採択 採択率16/194=16%)
  5. 〇五箇 亮太, 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “サッカー映像における時空間的関係を考慮したシュート予測の高精度化に関する検討 ～競技者のチーム情報に基づく完全二部グラフの導入～,” 映像情報メディア学会技術報告, vol. 47, no. 6, pp. 227-232, 2023.2.
  6. 〇諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀: “テキストおよび画像情報に基づくFocal Lossを導入した深層学習による冬期路面状態の分類,” 第3回　ＡＩ・データサイエンスシンポジウム, 2022.11. (土木学会 AI・データサイエンス論文集, 2022の内容として発表)
  7. 〇五箇 亮太, 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “サッカー競技のスカウティング映像における選手間の時空間的関係を考慮した不確実性に基づくシュートイベント予測に関する検討,” 令和4年度電気・情報関係学会北海道支部連合大会, pp. 196-197, 2022.11.
  8. 〇Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Few-shot personalized saliency prediction via person similarity using tensor-based regression,” 第25回 画像の認識・理解シンポジウム (MIRU 2022), 2022.7. 
  9. 〇叶 穎睿, 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “知識蒸留を用いたFew-shot Learningに基づく画像の感情ラベル推定に関する検討,” 映像情報メディア学会技術報告, vol. 46, no. 6, pp. 171-175, 2022.2.
  10. 〇諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “画像中の物体情報を考慮したユーザ類似度に基づく個人に特化した注視領域の推定に関する検討,” 映像情報メディア学会技術報告, vol. 44, no. 6, pp. 181－186, 2022.2.
  11. 〇叶 穎睿, 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “Few-shot learningを用いた感情ラベル推定における複数のデータセット利用に関する初期検討,” 令和3年度電気・情報関係学会北海道支部連合大会, pp. 123-124, 2021.11.
  12. 〇諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “路面画像を用いた異常検知に基づく路面状態の識別に関する検討,” 令和2年度電気・情報関係学会北海道支部連合大会, pp. 118-119, 2020.11.
  13. 〇諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “画像注視時のヒトの感情推定のための視線特徴の推定に関する検討,” 映像情報メディア学会技術報告, vol. 44, no. 6, pp. 85-89, 2020.2.
  14. 〇諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “Sparse Bayesian Learningに基づく注視領域の時間変化を考慮したヒトの感情推定に関する検討,” 令和元年度電気・情報関係学会北海道支部連合大会, pp. 149-150, 2019.11.
  15. 〇諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “視線情報を考慮した画像のテンソル表現に基づく感情ラベル推定に関する検討 –複数ユーザの推定結果の統合に基づく高精度化–,” 第22回 画像の認識・理解シンポジウム (MIRU), pp. 1-4, 2019.7.
  16. 〇諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “画像の視覚的および空間的特徴に基づくユーザに特化した注視領域推定の高精度化に関する検討 ～視覚的特徴の類似度と推定精度の関係性に関する一考察～,” イメージ・メディア・クオリティ研究会 (IMQ), pp. 13-16, 2019.7.
  17. 〇諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “画像注視時の注視領域の時間変化を考慮したテンソル解析に基づく感情推定に関する検討,” 平成30年度電気・情報関係学会北海道支部連合大会, pp. 137-138, 2018.11.

講演

  1. 〇諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “［特別講演］路面画像を用いた深層学習に基づく路面状態の識別に関する検討,” 映像情報メディア学会技術報告, vol. 45, no. 4, pp. 165-169, 2021.2.

Preprint

  • Yuya Moroto, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama: “Few-Shot Personalized Saliency Prediction Using Tensor Regression for Preserving Structural Global Information,” arXiv preprint arXiv:2307.02799, 2023.  [link]

    • 受賞等

    受賞

    1. The 2023 IEEE Sapporo Section Encouragement Award (2024年2月)
    2. IWAIT2024 Best Paper Award (2024年1月) (五箇ほか，IWAIT 2024, 共著者として受賞)
    3. AI・データサイエンス奨励賞 Intelligence, Informatics and Infrastructure Award for Outstanding Potential Paper (2023年12月)
    4. IEEE ICCE-TW 2023 Best Paper Award Honorable Mention (2023年7月) (五箇ほか, IEEE ICCE-TW 2023，共著者として受賞)
    5. 令和4年度 電気・情報関係学会北海道支部連合大会 若手優秀論文発表賞 (2022年12月) (五箇ほか, 電気・情報関係学会北海道支部連合大会, 2022，共著者として受賞)
    6. The 2021 IEEE Sapporo Section Student Paper Contest Best Presentation Award (2022年2月) (叶ほか, 電気・情報関係学会北海道支部連合大会, 2021，共著者として受賞)
    7. The 2021 IEEE Sapporo Section Encouragement Award (2022年2月)
    8. 電子情報通信学会北海道支部 学生奨励賞 (2021年3月)
    9. IEEE LifeTech 2021 Excellent Poster Award for On-site Poster Presentation (2021年3月)
    10. 令和2年度 電気・情報関係学会北海道支部連合大会 若手優秀論文発表賞 (2020年11月)
    11. The 2019 IEEE Sapporo Section Student Paper Contest Encouraging Prize (2020年2月)
    12. 2nd Prize IEEE LifeTech 2019 Excellent Paper Award (2019年3月)
    13. IEEE GCCE 2018 Outstanding Paper Award (2018年10月)

    競争的資金/奨学金

    1. 2023.4-2024.3 Sky大浦ICT奨学財団 奨学生 (1,000,000JPY)
    2. 2022.4-2023.3 JEES・三菱商事科学技術学生奨学金 奨学生 (1,300,000JPY)
    3. 2020.4-2022.3 似鳥国際奨学財団　北海道みらいIT人材奨学金 奨学生 (1,920,000JPY)
    4. 2021.4-2024.3 日本学術振興会 特別研究員DC1 (採択率20%, 7,200,000JPY) [link]
    5. 日本学生支援機構 第一種奨学金 特に優れた業績による奨学金返還全学免除 (2,112,000JPY)

    学会活動

    査読

    • JSAI (人工知能学会全国大会) 2022

    寄稿

    • ACM Multimedia 2023 参加報告，日本データベース学会(DBSJ) Newsletter 2023年12月号 (Vol. 16,No. 7)  [link]

    その他

    • 寳金総長に伝えたい！（2021年1月） [link]
    • AI Lab リサーチインターンシップ2021に参加してみて（2021年11月） [link]

    訪問者