NAOKI SAITO 斉藤直輝

斉藤 直輝
北海道大学　総合IR本部　助教
(北海道大学 大学院情報科学研究院 メディアダイナミクス研究室)
斉藤 直輝　Naoki Saito　博士(情報科学)

画像・音響・テキスト・生体情報等の異種データを統合的に用いたマルチモーダル信号処理・機械学習，および大学IRに関する研究に従事．
SNSに投稿されたマルチメディアデータや工業材料の電子顕微鏡画像など多種多様なデータを扱い異分野と連携することで，マルチモーダル情報解析技術の実社会応用について研究を実施している．
IEEE，電子情報通信学会，人工知能学会 会員．博士(情報科学)．

E-mail: saito[at]lmd.ist.hokudai.ac.jp

略歴 研究業績 受賞 学会活動

略歴

学歴

  • 平成24年3月 釧路工業高等専門学校 電子工学科 卒業
  • 平成26年3月 釧路工業高等専門学校 専攻科 電子情報システム工学専攻 修了
  • 平成28年3月 北海道大学大学院 情報科学研究科 修士課程 修了
  • 平成31年3月 北海道大学大学院 情報科学研究科 博士後期課程 修了

職歴

  • 平成28年4月-平成30年9月 北海学園大学 工学部 非常勤講師
  • 平成31年4月-令和元年9月 北海道大学 大学院情報科学研究院 メディアダイナミクス研究室 博士研究員
  • 令和元年10月-令和4年8月 釧路工業高等専門学校 創造工学科 助教
  • 令和4年9月-令和5年3月 北海道大学 総合IR室 助教
  • 令和5年4月-現在 北海道大学 総合IR本部 助教

研究業績

雑誌論文

  • K. Maeda, M. Matsumoto, N. Saito, T. Ogawa, M. Haseyama, “Multi-modal Gaussian Process Latent Variable Model with Semi-supervised Label Dequantization,” IEEE Access, vol. 12, pp. 127244-127258, 2024. 
  • 清野竜生, 斉藤直輝, 前田圭介, 小川貴弘, 長谷山美紀, “地下鉄トンネル点検における技術者のモーションデータを用いたGraph Convolutional Networkに基づく説明可能な熟練度分類”, AI・データサイエンス論文集, vol. 5,no. 1, pp. 101-109, 2024.
  • T. Seino, N. Saito, T. Ogawa, S. Asamizu, M. Haseyama, “Expert–novice Level Classification Using Graph Convolutional Network Introducing Confidence-aware Node-level Attention Mechanism,” Sensors, vol. 24, no. 10: 3033, 2024. 
  • N. Saito, K. Maeda, T. Ogawa, S. Asamizu, M. Haseyama, “Visual Emotion Recognition through Multimodal Cyclic-label Dequantized Gaussian Process Latent Variable Model,” Journal of Robotics and Mechatronics, vol. 35, no. 5, pp. 1321-1330, 2023. 
  • 斉藤直輝, 前田圭介, 小川貴弘, 浅水仁, 長谷山美紀, “画像の感情推定のためのラベル逆量子化を導入した正準相関分析,” 電子情報通信学会論文誌(D), Vol. J106-D, No. 5, pp. 337-348, 2023.
  • R. Togo, N. Saito, K. Maeda, T. Ogawa, M. Haseyama, “Rubber Material Property Prediction Using Electron Microscope Images of Internal Structures Taken Under Multiple Conditions,” Sensors, vol. 21, no. 6, 2088, 2021.
  • M. Matsumoto, N. Saito, K. Maeda, T. Ogawa, M. Haseyama, “Supervised Fractional-order Embedding Multiview Canonical Correlation Analysis via Ordinal Label Dequantization for Image Interest Estimation,” IEEE Access, vol. 9, pp. 21810-21822, 2021.
  • R. Togo, N. Saito, T. Ogawa, M. Haseyama, “Estimating Regions of Deterioration in Electron Microscope Images of Rubber Materials via a Transfer Learning-Based Anomaly Detection Model,” IEEE Access, vol. 7, pp. 162395-162404, 2019.
  • Y. Hirai, N. Okuda, N. Saito, T. Ogawa, R. Machida, S. Nomura, M. Ôhara, M. Haseyama, M. Shimomura, “The Friction Properties of Firebrat Scales,” Biomimetics, vol. 4, no. 1, 2019.
  • 斉藤直輝, 小川貴弘, 浅水仁, 長谷山美紀, “画像共有サービスに投稿される画像の観光名所に関するカテゴリー分類”, 電子情報通信学会論文誌(D), vol. J99-D, no. 9, pp. 848-860, 2016.

その他雑誌・著書

  • 宮内拓実, 斉藤直輝, 浅水仁, “ECサイトのアパレル商品に対する購買意欲の度合いの推定に関する検討,” 釧路工業高等専門学校紀要, no. 56, 2023．
  • 清野竜生, 斉藤直輝, 浅水仁, “正準相関分析を利用した共通潜在空間の構築に基づくプログラミングの理解度推定に関する検討,” 釧路工業高等専門学校紀要, no. 55, pp. 65-68, 2022．
  • 本田瑛暉, 斉藤直輝, 浅水仁, “IoT デバイスを用いた野生動物の目撃情報共有サービスの検討,” 釧路工業高等専門学校紀要, no. 55, pp. 69-74, 2022．
  • 斉藤直輝，山本浩太郎，西川大地，原川良介，岩橋政宏，浅水仁, “映像視聴時の顔器官の動き情報を用いた関心の度合いの推定に関する検討,” 釧路工業高等専門学校紀要, no. 54, pp. 65-70, 2021. 
  • 斉藤直輝, 浅水仁, “拡張現実感を用いたスマートフォンの釧路観光アプリケーションの開発,” 釧路工業高等専門学校紀要, no. 46, pp. 31-34, 2012.

国際会議発表

  • T. Seino, N. Saito, T. Ogawa, H.-C. Shih, S. Asamizu, M. Haseyama, “Expert Comment Generation from Sports Videos Using Multimodal LLM,” International Workshop on Advanced Image Technology (IWAIT), 2025. (to appear)
  • K. Uesugi, N. Saito, K. Maeda, T. Ogawa, M. Haseyama, “Zero-Shot Composed Video Retrieval With Projection Module Bridging Modality Gap,” IEEE Global Conference on Consumer Electronics (GCCE), 2024. (to appear)
  • R. Takahashi, N. Saito, K. Maeda, T. Ogawa, M. Haseyama, “Personalized Visual Emotion Classification via In-Context Learning in Multimodal LLM,” IEEE Global Conference on Consumer Electronics (GCCE), 2024. (to appear)
  • T. Seino, N. Saito, T. Ogawa, S. Asamizu, M. Haseyama, “Graph Convolutional Network-based Sports Skill-level Recognition via Deep Metric Learning,” International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC), 2024. 
  • T. Seino, N. Saito, T. Ogawa, S. Asamizu, M. Haseyama, “Confidence-Aware Spatial-Temporal Attention Graph Convolutional Network for Skeleton-based Expert-novice Level Classification,” IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 2024, pp.1796-1800. 
  • T. Seino, N. Saito, T. Ogawa, S. Asamizu, M. Haseyama, “Skill Level Classification Using Motion Data via Spatial Temporal Graph Convolutional Network,” IEEE Global Conference on Consumer Electronics (GCCE), 2023, pp. 245-246.
  • T. Seino, N. Saito, T. Ogawa, S. Asamizu, M. Haseyama, “Proficiency-level Estimation Using Heterogeneous Features via Label Dequantized CCA,” IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW), 2023, pp. 813-814. 
  • M. Matsumoto, K. Maeda, N. Saito, T. Ogawa, M. Haseyama, “Multi-modal Label Dequantized Gaussian Process Latent Variable Model for Ordinal Label Estimation,” International Conference on Acoustics, Speech, & Signal Processing (ICASSP), 2021, pp. 3985-3989.
  • K. Yamamoto, D. Nishikawa, N. Saito, R. Harakawa, M. Iwahashi, S. Asamizu, “Interest Level Estimation to Video Using Facial Expression-aware Visual Features,” 5th STI-Gigaku, 2020.
  • M. Matsumoto, N. Saito, T. Ogawa, M. Haseyama, “Interest Estimation for Images Using Eye Gaze-based Visual and Text Features via DLPCCA,” in Proceedings of 2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech), 2020, pp. 3-4.
  • M. Matsumoto, N. Saito, T. Ogawa, M. Haseyama, “Interest Estimation for Images Based on Eye Gaze-based Visual and Text Features,” in Proceedings of 2019 IEEE 8th Global Conference on Consumer Electronics (GCCE), 2019, pp. 490-491.
  • M. Matsumoto, N. Saito, T. Ogawa, M. Haseyama, “Convolutional Sparse Coding-based Anomalous Event Detection in Surveillance Videos,” in Proceedings of the 2019 IEEE ICCE-Taiwan (ICCE-TW), 2019, pp. 483–484.
  • T. Matsui, N. Saito, T. Ogawa, S. Asamizu and M. Haseyama, “Estimation of Emotions Evoked by Images Based on Multiple Gaze-based CNN Features,” in Proceedings of the IEEE 1st Global Conference on Life Sciences and Technologies (LifeTech), 2019, pp. 194–195.
  • M. Matsumoto, N. Saito, T. Ogawa, M. Haseyama, “Chronic Gastritis Detection from Gastric X-ray Images via Deep Autoencoding Gaussian Mixture Models,” in Proceedings of the IEEE 1st Global Conference on Life Sciences and Technologies (LifeTech), 2019, pp. 231–232.
  • N. Saito, T. Ogawa, S. Asamizu and M. Haseyama, “Classification of Tourism Categories Based on Heterogeneous Features Considering Existence of Reliable Results,” in Proceedings of the 2019 joint International Workshop on Advanced Image Technology & International Forum on Medical Imaging in Asia, 2019, p. 223.
  • T. Matsui, N. Saito, T. Ogawa, S. Asamizu and M. Haseyama, “Gaze-based Visual Feature Extraction via DLPCCA for Visual Sentiment Estimation,” in Proceedings of the 2019 joint International Workshop on Advanced Image Technology & International Forum on Medical Imaging in Asia, 2019, p. 122.
  • M. Matsumoto, N. Saito, T. Ogawa, M. Haseyama, “Missing Image Data Estimation via Iterative Convolutional Sparse Coding,” in Proceedings of 2018 IEEE 7th Global Conference on Consumer Electronics (GCCE), 2018, pp. 169-170.
  • N. Saito, T. Ogawa, S. Asamizu and M. Haseyama, “Tourism Category Classification Based on Novel Decision-making Process from Multiple Results,” in Proceedings of The 2nd GI-CoRE GSQ, GSB & IGM Joint Symposium, 2018.
  • N. Saito, T. Ogawa, S. Asamizu and M. Haseyama, “Tourism Category Classification on Image Sharing Services Through Estimation of Existence of Reliable Results,” in Proceedings of ACM International Conference on Multimedia Retrieval (ICMR), 2018, pp. 493-496.
  • N. Saito, T. Ogawa and M. Haseyama, “Identification of Reliable Results for Rubber Material Property Estimation Using Scanning Electron Microscope Images and Mix Proportions,” in Proceedings of the 32nd International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC), 2017, pp. 265-266.
  • N. Saito, T. Ogawa, S. Asamizu and M. Haseyama, “A Tourism Category Classification Method Based on Estimation of Reliable Decision,” in Proceedings of 2016 IEEE 5th Global Conference on Consumer Electronics (GCCE), 2016, pp. 52-53.
  • N. Saito, T. Ogawa, S. Asamizu and M. Haseyama, “A Confidence-aware Method for User Activity Genre Classification Based on Heterogeneous Features from Image Sharing Services,” in Proceedings of International Workshop on Advanced Image Technology (IWAIT), 2016, pp. P. 1C-8.
  • N. Saito, T. Ogawa, Y. Hirai, and M. Haseyama, “Estimation of Salient Region Based on Support Vector Machine for Scanning Electron Microphotographs,” in Proceedings of Engineering Neo-Biomimetics VI and Satellite Workshop at Lake Biwa, 2015, p. 50.

技術報告・講演発表

  • 上杉健大，斉藤直輝，前田圭介，小川貴弘，長谷山美紀, “反実仮想画像生成モデルを用いた構成画像検索におけるデータ拡張に関する検討,” 令和6年度電気・情報関係学会北海道支部連合大会講演論文集, 2024. (2024年11月発表予定)
  • 高橋諒，斉藤直輝，前田圭介，小川貴弘，長谷山美紀, “個人の感情誘起の類似性を考慮したMultimodal LLMによる画像の感情分類に関する検討,” 令和6年度電気・情報関係学会北海道支部連合大会講演論文集, 2024. (2024年11月発表予定)
  • 斉藤直輝，藤後廉，前田圭介，小林累輝，中村隆央，岡谷基弘，数井誠人，松沢貴仁，小川貴弘，長谷山美紀, “半導体製造装置のセンサデータを用いた深層距離学習による類似事例検索に関する検討,” 人工知能学会全国大会論文集, p. 3F5GS1001, 2024. 
  • 清野竜生，斉藤直輝，小川貴弘，浅水仁，長谷山美紀, “モーションおよび視線データを用いたSpatial Temporal Attention GCN による熟練度分類に関する検討,” 人工知能学会全国大会論文集, p. 3Xin243, 2024. 
  • 清野竜生，斉藤直輝，小川貴弘，浅水仁，長谷山美紀, “モーションデータを用いたSpatial Temporal Attention Graph Convolutional Networkによる熟練度分類の高精度化に関する検討”, 映像情報メディア学会技術報告, vol.48, no.6, pp.182-187, 2024.
  • 清野竜生，斉藤直輝，小川貴弘，浅水仁，長谷山美紀, “Spatial Temporal Attention Graph Convolutional Networkによるモーションデータを用いた熟練度の分類に関する検討”, 令和5年度電気・情報関係学会北海道支部連合大会講演論文集, pp. 236-237, 2023.
  • 清野竜生，斉藤直輝，浅水仁, “視線情報を用いた正準相関分析によるプログラミングの理解度推定に関する研究”, 令和4年東北・北海道地区高等専門学校専攻科産学連携シンポジウム, 2022.
  • 本田瑛暉, 斉藤直輝, 浅水仁, “IoTデバイスを用いたエゾシカの目撃情報共有プラットフォームの検討,”令和3年東北・北海道地区高等専門学校専攻科産学連携シンポジウム，2021. 
  • 清野竜生, 斉藤直輝, 浅水仁, “視線情報を用いたプログラミングの理解度推定に関する初期検討,” 令和3年度電気・情報関係学会北海道支部連合大会講演論文集，pp. 103-104, 2021.
  • M. Matsumoto, N. Saito, T. Ogawa, M. Haseyama, “Supervised Multiview Canonical Correlation Analysis via Ordinal Label Dequantization for Image Interest Estimation,” 第23回 画像の認識・理解シンポジウム (MIRU), 2020.
  • 松本真直, 斉藤直輝, 小川貴弘, 長谷山美紀, “画像注視時の視線データを用いた関心度の推定に関する検討 ～ラベルの逆量子化を導入したsMVCCAによる推定精度の高精度化～,” 映像情報メディア学会技術報告, vol. 44. no. 6, pp. 73-77, 2020.
  • 松本真直, 斉藤直輝, 小川貴弘, 長谷山美紀, “画像注視時の視線データを用いた関心の識別に関する検討 -LDCCAの基づく特徴量の射影による高精度化-” , 令和元年度電気・情報関係学会北海道支部連合大会講演論文集, pp. 147-148, 2019.
  • 斉藤直輝, 小川貴弘, 浅水仁, 長谷山美紀, “画像共有サービスに投稿される観光画像のカテゴリ分類に関する検討-分類結果の信頼性判定による高精度化-” , 第22回画像の認識・理解シンポジウム (MIRU), pp. PS1-26, 2019.
  • 松本真直, 斉藤直輝, 小川貴弘, 長谷山美紀, “画像注視時の視線データを用いた関心の識別に関する検討-MvLFDAに基づく特徴量統合による高精度化-” , 第22回画像の認識・理解シンポジウム (MIRU), pp. PS2-26, 2019.
  • 松本真直, 斉藤直輝, 小川貴弘, 長谷山美紀, “画像注視時の視線データを用いた関心の識別に関する検討-推定結果の統合による高精度化-,” 電子情報通信学会技術研究報告, vol. 119, no. 131, pp. 17–20, 2019.
  • 斉藤直輝, 小川貴弘, 長谷山美紀, “電子顕微鏡画像および配合量を用いたゴム材料の特性曲線の推定に関する検討 ,” 映像情報メディア学会技術報告, vol. 43, no. 5, pp. 261–164, 2019.
  • 松井太我, 斉藤直輝, 小川貴弘, 浅水仁, 長谷山美紀, “視線データを用いた画像注視時に誘起される感情の推定に関する検討 –KDLPCCAに基づく特徴変換の導入による高精度化–,” 映像情報メディア学会技術報告, vol. 43, no. 5, pp. 323–327, 2019.
  • 松井太我, 斉藤直輝, 小川貴弘, 浅水仁, 長谷山美紀, “視線データを用いた画像注視時の感情推定に関する検討-正準相関分析に基づく画像特徴変換手法の導入-,” 平成30年度 電気・情報関係学会北海道支部連合大会講演論文集, pp. 139–140, 2018.
  • 松本真直, 斉藤直輝, 小川貴弘, 長谷山美紀, “反復型のMulti-channel Convolutional Sparse Codingを用いた欠損した画素値の推定に関する検討,” 平成30年度 電気・情報関係学会北海道支部連合大会講演論文集, pp. 143–144, 2018.
  • 斉藤直輝, 小川貴弘, 浅水仁, 長谷山美紀, “深層学習を用いた画像共有サービスに投稿される観光画像のカテゴリ分類の高精度化に関する検討,” 映像情報メディア学会技術報告, vol. 42, no. 4, pp. 161–165, 2018.
  • 斉藤直輝, 小川貴弘, 長谷山美紀, “複数の条件で撮像された走査型電子顕微鏡画像を用いたゴム材料の物性値推定に関する検討,” 映像情報メディア学会技術報告, vol. 41, no. 29, pp. 31–34, 2017.
  • 斉藤直輝, 小川貴弘, 長谷山美紀, “電子顕微鏡画像および配合量を用いたゴム材料の物性値推定に関する検討,” 映像情報メディア学会技術報告, vol. 41, no. 5, pp. 41–45, 2017.
  • 平井悠司, 奥田直人, 斉藤直輝, 小川貴弘, 町田龍一郎, 野村周平, 大原昌宏, 長谷山美紀, 下村政嗣, “昆虫の体表面摩擦力測定,” 第67回コロイドおよび界面化学討論会, 2016.
  • 平井悠司, 奥田直人, 斉藤直輝, 小川貴弘, 町田龍一郎, 野村周平, 大原昌宏, 長谷山美紀, 下村政嗣, “マダラシミ鱗粉の摩擦特性,” 第65回高分子討論会, 2016.
  • 斉藤直輝, 小川貴弘, 平井悠司, 長谷山美紀, “生物の走査型電子顕微鏡像の撮像部位の分類における特徴選択方法に関する検討” , 映像情報メディア学会技術報告, vol. 40, no. 28, pp. 19-20, 2016.
  • 斉藤直輝, 小川貴弘, 浅水仁, 長谷山美紀, “複数の特徴を用いた観光画像の分類における正確な分類結果の推定方法の導入に関する検討” , 第19回画像の認識・理解シンポジウム (MIRU), pp. PS3-34, 2016.
  • 斉藤直輝, 小川貴弘, 平井悠司, 長谷山美紀, “生物の走査型電子顕微鏡像の撮像部位の分類に関する検討―カーネル法の導入による複数の分類結果統合の高精度化―” , 映像情報メディア学会技術報告, vol. 40, no. 6, pp. 51-54, 2016.
  • 斉藤直輝, 小川貴弘, 浅水仁, 長谷山美紀, “画像共有サービスにおける投稿画像の分類結果の信頼度推定に関する検討,” 電気・情報関係学会北海道支部連合大会 講演論文集, p. 128, 2015.
  • 斉藤直輝, 小川貴弘, 長谷山美紀, “生物の走査型電子顕微鏡像の撮像部位の分類に関する検討 －分類精度を考慮した複数の分類結果の統合手法の導入－,” 第18回画像の認識・理解シンポジウム (MIRU), 2015.
  • 斉藤直輝, 小川貴弘, 浅水仁, 長谷山美紀, “画像共有サイトの投稿画像の高精度な分類に関する検討,” 映像情報メディア学会技術報告, vol. 39, no. 7, pp. 71-75, 2015.
  • 斉藤直輝, 小川貴弘, 浅水仁, 長谷山美紀, “画像共有サイトへの投稿画像およびそのメタデータに注目したマルチモーダル画像検索手法に関する検討,” 電気・情報関係学会北海道支部連合大会講演論文集, p. 141, 2014.
  • 斉藤直輝, 浅水仁, “スマートフォンを用いた睡眠時体動検出手法に関する考察,” 第15回DSPS教育者会議予稿集, pp. 45-46, 2013.
  • 斉藤直輝, 浅水仁, “スマートフォンを用いた睡眠時体動測定に関する検討,” 第14回DSPS教育者会議予稿集, pp. 45-46, 2012.

受賞

  • The 2019 joint International Workshop on Advanced Image Technology & International Forum on Medical Imaging in Asia IWAIT Best Paper Award (2019年)
  • 2017 IEEE Sapporo Section Paper Awards Encouragement Award (2018年)
  • 1st Prize IEEE GCCE 2016 Excellent Poster Award (2016年)
  • The 2015 IEEE Sapporo Section Student Paper Contest Encouraging Prize (2015年)
  • 平成24年度 釧路しんきん地域貢献助成制度 学生研究奨励賞 (2012年)

指導学生の受賞

  • IEEE GCCE 2023 Excellent Student Poster Bronze Award (指導学生：清野 竜生<北海道大学>)(2023年)
  • 令和3年度 電気・情報関係学会北海道支部連合大会 若手優秀論文発表賞 (指導学生：清野 竜生<釧路高専>) (2021年)
  • 令和3年東北・北海道地区高等専門学校専攻科産学連携シンポジウム 優秀賞 (指導学生：本田 瑛暉<釧路高専>) (2021年)
  • 令和元年度 電子情報通信学会北海道支部 学生奨励賞 (指導学生：松本真直<北海道大学>) (2021年)

学会活動

  • 電子情報通信学会 スマートインフォメディアシステム研究専門委員会 専門委員 (2023年6月-現在)
  • 電子情報通信学会 スマートインフォメディアシステム研究会若手研究優秀賞選奨委員会 委員 (2023年)
  • 令和5年度 電気・情報関係学会北海道支部連合大会 映像メディア，画像・マルチメディア信号処理セッション座長 (2023年)
  • 令和4年度 電気・情報関係学会北海道支部連合大会 映像メディア，計算機工学・画像・マルチメディア信号処理セッション座長 (2022年)
  • 令和3年度 電気・情報関係学会北海道支部連合大会 画像・マルチメディア信号処理セッション座長・座長補佐 (2021年)
  • 令和2年度 電気・情報関係学会北海道支部連合大会 画像・マルチメディア信号処理・映像メディアセッション座長 (2020年)
  • 令和元年度 電気・情報関係学会北海道支部連合大会 映像メディアセッション座長 (2019年)
  • IEEE Global Conference on Consumer Electronics (GCCE) 2019, Technical Program Committee (2019年)

外部資金獲得

  • 日本学術振興会 科学研究費助成事業 基盤研究(B)：生成AIとの融合により潜在的嗜好を把握可能とするユーザ中心推薦技術の構築（研究分担者）(2024.04-)
  • 令和２年度 高専－長岡技科大共同研究：モバイル端末のセンシング情報を用いた映像推薦技術の高度化 (研究代表者)