NEWS お知らせ

大規模視覚言語モデルをインフラ維持管理の所見生成へ応用した研究が，BUILT-ITmediaにて紹介されました．

https://built.itmedia.co.jp/…/2401/13/news011_2.html

本内容は，以下の論文成果によるものです．

渡邉 優宇人，小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”Visual language modelを用いた変状画像に対する所見の自動生成－類似画像検索によるFew-shot learningの導入－”, AI・データサイエンス論文集, vol. 4, no. 3, pp. 223-232, 2023.

https://www.jstage.jst.go.jp/…/4/3/4_223/_article/-char/ja

本学医学部との連携による学術論文誌が採録・公開されました！

また、北海道大学病院よりプレスリリースが行われました。

心不全患者の歩行様式を用いた

フレイル自動判定 AI アプリ開発に成功

～客観的かつ鋭敏なフレイルの自動判定が可能となり, 様々な臨床応用に期待～

https://www.huhp.hokudai.ac.jp/…/01/20240104_press.pdf

Yoshifumi Mizuguchi, Motoki Nakao, Toshiyuki Nagai, Yuki Takahashi, Takahiro Abe, Shigeo Kakinoki, Shogo Imagawa, Kenichi Matsutani, Takahiko Saito, Masashige Takahashi, Yoshiya Kato, Hirokazu Komoriyama, Hikaru Hagiwara, Kenji Hirata, Takahiro Ogawa, Takuto Shimizu, Manabu Otsu, Kunihiro Chiyo, Toshihisa Anzai, Machine learning–based gait analysis to predict clinical frailty scale in elderly patients with heart failure, European Heart Journal – Digital Health, 2023;, ztad082, https://doi.org/10.1093/ehjdh/ztad082

2024年1月7日からマレーシア・ランカウイにて開催されている画像工学に関する国際会議International Workshop on Advanced Image Technology 2024 (IWAIT 2024) にて，メディアダイナミクス研究室から以下の論文に関する発表を行いました！
Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Huang-Chia Shih, Miki Haseyama, “Masked Modeling-based Action Event Prediction Considering Bidirectional Time-series in Soccer”.
また，本発表は同会議のBest Paper Awardに選ばれました！

視覚言語モデルのIn-context Few-shot Learningによる構造物劣化画像からの自動所見生成に関する論文が、Journal of Robotics and Mechatronics(Impact Factor: 1.1)に採録されました。
Yuto Watanabe, Naoki Ogawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Automatic findings generation for distress images using in-context few-shot learning of visual language model based on image similarity and text diversity,” Journal of Robotics and Mechatronics (Accepted for publication)

【AI・データサイエンス論文賞】
Intelligence, Informatics and Infrastructure Award for Excellent Paper
地下鉄トンネル点検技術者の新規変状の発見率向上に向けた一人称視点映像からの変状検出
　櫻井 慶悟, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
【AI・データサイエンス奨励賞】
Intelligence, Informatics and Infrastructure Award for Outstanding Potential Paper
時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類
　諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀

https://committees.jsce.or.jp/struct1002/node/42?fbclid=IwAR1KCa7fUrPz3YuzyB3–V6sgGuqZHartu0aa8mi399GfDhiWTvK0Zxu3Mg

世界最高峰の信号処理に関する国際会議 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2024)にメディアダイナミクス研究室より投稿した以下の9件の論文が採択されました！
ICASSPは、IEEE Signal Processing Societyのフラグシップカンファレンスであり、Google ScholarのSignal Processingのカテゴリにおける国際会議の中で1位にランクしています。来年は韓国ソウルで開催です。
【Regular Track】
[1] Masaki Kashiwagi, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Enhancing Noisy Label Learning via Unsupervised Contrastive Loss with Label Correction Based on Prior Knowledge”
[2] Masaya Sato, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Caption Unification for Multi-view Lifelogging Images Based on In-context Learning with Heterogeneous Semantic Contents”
[3] Haruka Matsuda, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Multi-object Editting in Personalized Text-to-image Diffusion Models via Segmentation Guidance”
[4] Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “Confidence-aware Spatial-temporal Attention Graph Convolutoinal Network for Skeleton-based Expert-Novice Level Classification”
[5] Yuhu Feng, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Privacy Preserving Gaze Estimation via Federated Learning Adapted to Egocentric Video”
[6] He Zhu, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Prompt-based Personalized Federated Learning for Medical Visual Question Answering”
【OJSP Track】
[7] Zongyao Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Source-data-free cross-domain knowledge transfer for semantic segmentation”
[8] Yuya Moroto, Yingrui Ye, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-shot Visual Sentiment Prediction via Cross-domain Knowledge Distillation”
[9] Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “TolerantGAN: Text-guided Image Manipulation Tolerant to Real-world Image”

人気バイアスを柔軟に操作可能な情報推薦に関する論文が，データベース分野におけるハイレベル論文誌Information Processing & Management（2022 IF: 8.6）に採録されました！
Hiroki Okamura, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Flexibly Manipulating Popularity Bias for Tackling Trade-Offs in Recommendation ,” Information Processing & Management (Accepted for publication), 2023.

https://www.sciencedirect.com/journal/information-processing-and-management?fbclid=IwAR07v8fav34FberIyNQFYDCM_WwxWBbSJKNQAH_mhE1Lu_QTfxv2uxjSOug

令和5年度 電気・情報関係学会北海道支部連合大会での当研究室の発表に関して、修士1年生の藤後君、学部4年生の佐藤君、松田さんが若手優秀論文発表賞を受賞しました！おめでとうございます！
[1] 藤後 太郎, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “マルチモーダル大規模言語モデルを用いた fMRI からの言語情報の推定に関する検討 – In-context Learning に基づく時系列聴覚刺激からの言語情報の推定 -“, 令和5年度 電気・情報関係学会北海道支部連合大会, pp.248-249 (2023)
[2] 佐藤 雅也, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀: “In-context Learning を用いた複数視点ライフログ画像のキャプションの統一化に関する検討”, 令和5年度 電気・情報関係学会北海道支部連合大会, pp.153-154 (2023)
[3] 松田 遥, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “拡散モデルによる画像生成における複数対象へのパーソナライズ手法に関する検討”, 令和5年度 電気・情報関係学会北海道支部連合大会, pp.250-251 (2023)
https://www.ieice.org/hokkaido/shibukai2023/

当研究室の3件の論文が、IEEE Open Journal of Signal Processing (Impact Factor: 2.8)に採録されました。
これらの論文は、IEEE ICASSP2024にて、SP Society Journal Paper Presentationsの枠で発表が行われる予定です。
[1] Zongyao Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Source-data-free cross-domain knowledge transfer for semantic segmentation,” IEEE Open Journal of Signal Processing (Accepted for publication)
[2] Yuya Moroto, Yingrui Ye, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-shot Visual Sentiment Prediction via Cross-domain Knowledge Distillation,” IEEE Open Journal of Signal Processing (Accepted for publication)
[3] Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “TolerantGAN: Text-guided Image Manipulation Tolerant to Real-world Image,” IEEE Open Journal of Signal Processing (Accepted for publication)

https://signalprocessingsociety.org/publications-resources/ieee-open-journal-signal-processing?fbclid=IwAR0D1GRa3oWHtr5CXaZDK2gwpjaYaFv9R-SjpvOLvUYO-PGdueNx5XeCudU

Yaozong Gan, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-Shot Traffic Sign Recognition Based on Mid-Level Feature Matching,” Sensors (Accepted for publication), 2023.
尚，本研究成果は日本無線株式会社との共同研究成果です．

１．前田 圭介，小川 貴弘，長谷山 美紀，”社会インフラ維持管理効率化に向けた最先端AI研究”
２．渡邉 優宇人，小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”Visual language modelを用いた変状画像に対する所見の自動生成－類似画像検索によるFew-shot learningの導入－”
３．山本 一輝，前田 圭介，藤後 廉，小川 貴弘，長谷山 美紀，”変状の劣化レベル判定支援に向けたグラフニューラルネットワークによるレコードデータの特徴表現の獲得”
４．櫻井 慶悟，前田 圭介，藤後 廉，小川 貴弘，長谷山 美紀，”地下鉄トンネル点検技術者の新規変状の発見率向上に向けた一人称視点映像からの変状検出”
５．小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”セマンティックセグメンテーションに基づく道路走行中の車載映像を用いた枯損木の検出”
６．小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”社会インフラ点検時の変状画像を対象とした変状種と劣化レベルのマルチタスク分類”
７．渡部 航史，小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”Attention-based Multiple Instance Learningに基づく背景の多様性に頑健な道路附属物の異状判定”
８．諸戸 祐哉，前田 圭介，藤後 廉，小川 貴弘，長谷山 美紀，”時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類”
なお，発表論文は「AI・データサイエンス論文集」として，J-STAGEに掲載されます．

Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Manipulation Direction: Evaluating Text-guided Image Manipulation Based on Similarity Between Changes of Image and Text Modalities,” Sensors (Accepted for publication)

2023年10月29日からカナダ・オタワにて開催されているマルチメディアに関する世界最高峰の国際会議 2023 ACM Multimedia (ACM MM 2023) のデモセッションにてメディアダイナミクス研究室から以下の論文に関する発表を行いました！
Yuya Moroto※, Rintaro Yanagi※, Naoki Ogawa, Kyohei Kamikawa, Keigo Sakurai, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Personalized Content Recommender System via Non-verbal Interaction Using Face Mesh and Facial Expression,” ACM MM 2023. ※ equal contribution

IEEE GCCE2023で受賞した2件の論文の賞状が届きました！
●Silver Prize GCCE2023 Excellent Paper Award
Haruka Matsuda, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama: “Text-to-image diffusion model suppressing catastrophic forgetting via elastic weight consolidation”, 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023), pp.842-843 (2023)
●Excellent Student Poster Bronze Award
Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama: “Skill level classification using motion data via spatial temporal graph convolutional network”, 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023), pp.245-246 (2023)

●画像とテキストの関係性を考慮したTextual Inverisionに基づくZero-shot Composed Image Retrieval手法に関する検討

張 華瀛, 柳 凜太郎, 藤後 廉, 小川 貴弘, 長谷山 美紀 (北海道大学)

●In-context Learningを用いた複数視点ライフログ画像のキャプションの統一化に関する検討

佐藤 雅也, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀 (北海道大学)

●視覚反実仮想機械学習モデルにおける精度向上に関する一検討 —特徴抽出モデルが精度に与える影響の検証—

李 想, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀 (北海道大学)

●Spatial Temporal Attention Graph Convolutional Networkによるモーションデータを用いた熟練度の分類に関する検討

清野 竜生, 斉藤 直輝, 小川 貴弘 (北海道大学), 浅水 仁 (釧路工業高等専門学校), 長谷山 美紀 (北海道大学)

●事前学習済みモデルを用いたラベル修正に基づくNoisy Labels Learningの精度向上に関する検討

柏木 將希, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀 (北海道大学)

●マルチモーダル大規模言語モデルを用いたfMRIからの言語情報の推定に関する検討 —In-context Learning に基づく時系列聴覚刺激からの言語情報の推定—

藤後 太郎, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀 (北海道大学)

●拡散モデルによる画像生成における複数対象へのパーソナライズ手法に関する検討

松田 遥, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀 (北海道大学)

当研究室のブースには，４日間で合計796名の方にご来場いただきました．ご来場の皆様，ありがとうございました！

長谷山教授を研究開発責任者とする研究開発テーマ「北海道における産業活性化および雇用創出に繋がる社会人の学び直しのための基盤の構築と実証」が戦略的イノベーション創造プログラム (SIP)に採択されました。
研究室からは、長谷山教授(データ駆動型融合研究開発拠点長)が研究開発責任者、小川教授がメンバーとして参画しています。

https://www.jst.go.jp/sip/pos/

会場へお越しの方は，スタートアップ＆ユニバーシティエリア　ホール5入口近くのブースS015まで是非お越しください！

https://www.ceatec.com/ja/exhibition/detail.html?id=133

１．前田 圭介，小川 貴弘，長谷山 美紀，”社会インフラ維持管理効率化に向けた最先端AI研究”

２．渡邉 優宇人，小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”Visual language modelを用いた変状画像に対する所見の自動生成－類似画像検索によるFew-shot learningの導入－”

３．山本 一輝，前田 圭介，藤後 廉，小川 貴弘，長谷山 美紀，”変状の劣化レベル判定支援に向けたグラフニューラルネットワークによるレコードデータの特徴表現の獲得”

４．櫻井 慶悟，前田 圭介，藤後 廉，小川 貴弘，長谷山 美紀，”地下鉄トンネル点検技術者の新規変状の発見率向上に向けた一人称視点映像からの変状検出”

５．小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”セマンティックセグメンテーションに基づく道路走行中の車載映像を用いた枯損木の検出”

６．小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”社会インフラ点検時の変状画像を対象とした変状種と劣化レベルのマルチタスク分類”

７．渡部 航史，小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”Attention-based Multiple Instance Learningに基づく背景の多様性に頑健な道路附属物の異状判定”

８．諸戸 祐哉，前田 圭介，藤後 廉，小川 貴弘，長谷山 美紀，”時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類”

なお，本シンポジウムにて発表した論文は，「AI・データサイエンス論文集」として，J-STAGEに掲載されます．

https://committees.jsce.or.jp/struct1002/node/39#1A2

2023年10月10日～13日に奈良で開催されているコンシューマーエレクトロニクスに関する国際会議 2023 IEEE 12th Global Conference on Consumer Electronics (GCCE 2023)にて以下の8件の発表を行いました。

また、Excellent Paper Silver Award([5]の発表)およびExcellent Student Poster Bronze Award([2]の発表）を受賞しました。

[1] Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Bundle Detection Based on Graph Convolutional Network Considering Categorical Hierarchical Relationship”

[2] Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “Skill Level Classification Using Motion Data via Spatial Temporal Graph Convolutional Network”

[3] Masaki Kashiwagi, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Deterioration Level Estimation for Infrastructures Considering Noisy Labels via DivideMix”

[4] Masaya Sato, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Caption Unification for Multiple Viewpoint Lifelogging Images and Its Verification”

[5] Haruka Matsuda, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Text-To-Image Diffusion Model Suppressing Catastrophic Forgetting via Elastic Weight Consolidation”

[6] Taro Togo, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Novel Feature Extraction for Classification of Auditory-Visual Stimuli From fNIRS Signals”

[7] Xiang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Improving Visual Counterfactual Explanation Models for Image Classification via CLIP”

[8] Haoyang Wang, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “A Controllable Recoloring Method for Novel Views Using Segment Anything Model”