NEWS お知らせ

本論文では、AIの実社会応用で必要となる「信頼性」と「精度」を同時に向上させるマルチモーダルXAIを提案しています。
本研究は、NEXCO東日本との共同研究による成果です。

Keisuke Maeda, Naoki Ogawa, Takahiro Ogawa, Miki Haseyama, “Damage Level Classification Considering Both Correlation between Image and Text Data and Confidence of Attention Map,” Computer-Aided Civil and Infrastructure Engineering, 2024. (Accepted for publication)

https://onlinelibrary.wiley.com/journal/14678667

2025年1月6-8日に台湾にて開催予定の国際会議 International Workshop on Advanced Image Technology (IWAIT 2025)に，メディアダイナミクス研究室から投稿した以下の5件の論文が採録されました．

[1] Xiang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Enhanced Framework for Generating Counterfactual Images with Sophisticated Caption and Inversion-free Image Editing”

[2] Tasuku Nakajima, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Improving Robustness of CLIP by Adversarial Training Enhanced by Brain Activity”

[3] Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Huang-Chia Shih, Satishi Asamizu, Miki Haseyama, “Expert Comment Generation from Sports Videos Using Multimodal LLM”

[4] Huaying Zhang, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Learning Hierarchical Video-Text Relationship via Large Language Model for Cross-modal Video Retrieval”

[5] Kenta Kubota, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Balancing Generalization and Personalization by Sharing Layers in Clustered Federated Learning”

https://iwait.online/

2024年9月29日～10月4日にイタリアのミラノで開催中のコンピュータ・ビジョン分野のトップカンファレンス European Conference on Computer Vision (ECCV 2024) にて，生成型データセット蒸留に関する研究成果が The First Dataset Distillation Challenge の Generative Track において第3位を獲得し，表彰されました！
なお，本研究は清華大学，香港科技大学，ミュンヘン工科大学との国際連携研究となります．
また，自己教師あり学習に関する研究成果をワークショップ論文として発表しました．

[1] Duo Su†, Junjie Hou†, Guang Li*, Ren Togo, Rui Song, Takahiro Ogawa, Miki Haseyama, “Generative dataset distillation based on diffusion model,” European Conference on Computer Vision (ECCV) Workshops, Milan, Italy, 2024.
† Equal Contribution * Team Lead
[2] Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “RGMIM: Region-guided masked image modeling for learning meaningful representations from X-ray images,” European Conference on Computer Vision (ECCV) Workshops, Milan, Italy, 2024.
https://eccv2024.ecva.net/

2024年9月30日(月)に開催された学部・学科紹介にて、当研究室の研究・技術の紹介を行いました。
約120名の学生が来場し、メディアネットワークコースの紹介を聞いていただきました！

2024年12月3-6日に東京にて開催予定のコンピュータグラフィックスとインタラクティブ技術に関する国際会議SIGGRAPH ASIAに以下の2件の論文が採択されました．
[Technical Communications]
Yuiko Uchida, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “An Evaluation Metric for Single Image-to-3D Models Based on Object Detection Perspective,” SIGGRAPH Asia Technical Communications, 2024.
[Posters]
Yuki Era, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Generalizing Human Motion Style Transfer Method Based on Metadata-independent Learning,” SIGGRAPH Asia Posters, 2024.

https://asia.siggraph.org/2024

https://built.itmedia.co.jp/bt/articles/2409/11/news040.html
本内容は，以下の論文成果によるものです．
大羽賀 駿也, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀: “工事現場の定点カメラを用いた物体検出および姿勢推定に基づくZero-shot高リスク状況検出”, AI・データサイエンス論文集, vol.5, no.1, pp.110-116 (2024)
https://www.jstage.jst.go.jp/article/jsceiii/5/1/5_110/_article/-char/ja

2024年9月15日（日）に北海道大学 創成研究機構 データ駆動型融合研究創発拠点にて，『画像処理・AIの最先端技術』の内容について，高校生を対象に体験講義を実施しました！

当研究室の長谷山教授が、9月11日北海道大学で開催された日本神経回路学会全国大会（JNNS2024）にて基調講演を行いました。
講演タイトル『Energizing the Youth through AI Research and
their Social Implementation ～Examples of Advanced Research and Education at Hokkaido University and Potential of the Semiconductors～』
最先端のAI研究とその実社会応用、若手人材育成、次世代半導体分野とAI研究の関わりについて講演を行いました。

ECCV 2024 Workshopに2本の論文が採択されました！
当研究室から投稿した以下の2本の論文が，コンピュータービジョン分野のトップ会議であるEuropean Conference on Computer Vision (ECCV 2024)のワークショップに採択されました！
ECCV 2024は，2024年9月29日から10月4日にイタリア・ミラノにて開催予定です．
尚、データセット蒸留に関する研究成果は，清華大学（中国），香港科技大学，ミュンヘン工科大学との国際連携研究として実施され、ECCV 2024のThe First Dataset Distillation ChallengeのGenerative Trackにおいて第3位を獲得し，表彰される予定です．
[1] Duo Su†, Junjie Hou†, Guang Li*, Ren Togo, Rui Song, Takahiro Ogawa, Miki Haseyama, “Generative dataset distillation based on diffusion model,” ECCV Workshop, 2024. (The Third Place Winner in Generative Track of the ECCV 2024 DD Challenge)
† Equal Contribution * Team Lead
[2] Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “RGMIM: Region-guided masked image modeling for learning meaningful representations from X-ray images,” ECCV Workshop, 2024. (Accepted)

https://eccv2024.ecva.net/?fbclid=IwY2xjawE4pWFleHRuA2FlbQIxMQABHcWRMyHHyVUjvT_1chja_FWKwp4QwtWBxtlTsfo-fzhovvvSdhgrOwWCpA_aem_2kvFKwFWNCU_2ff0qkZY8A

土木学会 AI・データサイエンス論文集において受賞しました！
【デジタルツイン・DX奨励賞】
五箇 亮太, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀: “Spatial-temporal attentionを導入した再帰型ニューラルネットワークに基づく重機との接触事故リスクの推定”, AI・データサイエンス論文集, vol.5, no.1, pp.117-125 (2024)

2024年8月6日～9日に熊本で開催された国内最大規模の画像の認識・理解シンポジウムMIRU2024にて，3件の口頭発表，11件のポスター発表を行いました！
また，様々な分野で活躍されている研究室OBとの交流会も行いました．

【口頭発表】

• He Zhu, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Reliable and Personalized Federated Learning with Prompt-based Method for Visual Question Answering in Medical Domain”
• Huaying Zhang, Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Integrating Query-target Relationship to Zero-shot Composed Image Retrieval from Masked Image-text Pairs”
• Taro Togo, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Refining Generative Class Incremental Learning Performance through Model Forgetting Strategies”

【ポスター発表】

• Longzhen Li, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Generative Dataset Distillation Considering Global-local Coherence”
• Masaki Kashiwagi, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Noisy Label Learning-based Self-consuming Iterative Re-training”
• Xiang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Strategic Classification Model Reinforcement: Introducing Language-guided Counterfactual Images to Identify and Address Classification Weaknesses”
• Ren Togo, Nao Nakagawa, Takahiro Ogawa, Miki Haseyama, “Exponential Dissimilarity-Dispersion Family for VAE-based Domain-Specific Representation Learning”
• Kyohei Kamikawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Machine Unlearning Framework based on Aggregation of Gaussian Process-based Submodels”
• Yaozong Gan, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Fine-grained Traffic Sign Recognition Via Cross-domain Few-shot In-context Learning”
• Ziwen Lan, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Adversarial Attack Focused on Manipulating Semantic Information for Personalized Text-to-Image Diffusion Models”
• Yuki Era, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Metadata-independent Learning and Unified Dataset for Generalized Motion Generation Method”
• 岡村洋希, 前田圭介, 藤後廉, 小川貴弘, 長谷山美紀 (北大), “協調フィルタリングにおける潜在因子モデルの埋め込み表現のICAを用いた線形的構造の分析”
• 佐藤雅也, 前田圭介, 藤後廉, 小川貴弘, 長谷山美紀 (北大), “Identify-and-generate: VQAにおける大規模マルチモーダルモデルの獲得知識と視覚情報の統合強化”
• 七田亮, 藤後廉, 前田圭介, 小川貴弘, 長谷山美紀 (北大), “深層距離学習に基づく画像記憶性スコアの制御機構を導入したテキストからの画像生成に関する検討”

マルチメディア分野のトップ会議ACM MULTIMEDIA 2024にて開催されるスポーツAIに関するワークショップMMSports（採択率50%）に採択されました！
The 32nd ACM Multimedia Conference (ACM MM) 2024 MMSportsに当研究室から投稿していた以下の論文が採択されました！2024/10/28-11/01にオーストラリア・メルボルンにて開催予定です．
Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “What to do and where to go next? Action prediction in soccer using multimodal co-attention transformer,” ACM Multimedia (ACM MM) MMSports, 2024.
また本会議に採択された以下の論文はOral発表となりました。
Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, “DQG: Database question generation for exact text-based image retrieval,” ACM Multimedia (ACM MM), 2024.

https://2024.acmmm.org/?fbclid=IwY2xjawEmKZJleHRuA2FlbQIxMQABHZzIska9HlOCQFcJKMr_i_3gWnvsjzHsqUd4G_YIScvVwZYPUv7Izm3DiQ_aem_h1fxnIzxuRYzixLqQmvd5g

コンシューマーエレクトロニクスに関する国際会議 2024 IEEE 13th Global Conference on Consumer Electronics (GCCE 2024)にメディアダイナミクス研究室より投稿した以下の12件の論文が採録されました！


[1] Tasuku Nakajima, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Multimodal Adversarial Defense Trained on Features Extracted From Images and Brain Activity”
[2] Yuiko Uchida, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “An Evaluation Metric for Single Image-To-3D Models Based on a Class Confidence Score of Object Detection Models”
[3] Kenta Kubota, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “MLLM-Based Automatic Exploration of Editing Prompt for High Engagement Image Generation”
[4] Kenta Uesugi, Naoki Saito, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-Shot Composed Video Retrieval With Projection Module Bridging Modality Gap”
[5] Koshiro Toishi, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Improving Zero-Shot Adversarial Robustness via Integrating Image Features of Foundation Models”
[6] Ren Tasai, Guang Li, Ren Togo, Minghui Tang, Takaaki Yoshimura, Hiroyuki Sugimori, Kenji Hirata, Takahiro Ogawa, Kohsuke Kudo, Miki Haseyama, “Lung Cancer Classification Using Masked Autoencoder Pretrained on J-MID Database”
[7] Jinlong Zhu, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Structured Polyphonic Music Generation With Diffusion Transformer”
[8] Kaede Hayakawa, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Emotion-Conditional Image Generation Reflecting Semantic Alignment With Text-To-Image Models”
[9] Longzhen Li, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Generative Dataset Distillation Based on Large Model Pool”
[10] Ayaka Tsutsumi, Guang Li, Ren Togo, Takahiro Ogawa, Satoshi Kondo, Miki Haseyama, “Lung Disease Classification With Limited Training Data Based on Weight Selection Technique”
[11] Ryo Takahashi, Naoki Saito, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Personalized Visual Emotion Classification via In-Context Learning in Multimodal LLM”
[12] Shilin Liu, Kyohei Kamikawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-Shot Controllable Music Generation From Videos Using Facial Expressions”

https://www.ieee-gcce.org/2024/index.html?fbclid=IwY2xjawEc4QZleHRuA2FlbQIxMQABHRQkGalSBL6UWK4uQoUO1t1y1pn2VLZg249mTRGrwfBDUxn6U1HxBYwNrA_aem_j1fC0XksAPmL43REAJbsdQ

一般社団法人 国立大学協会の広報誌「国立大学」第72号に当研究室 長谷山教授が取材を受けた「データ人材の育成」に関する記事が掲載されました！

https://www.janu.jp/janu/report/koho/kokuritsudaigaku/koho72/?fbclid=IwY2xjawEc4I5leHRuA2FlbQIxMQABHUqOBgBdhLzCt-A44qwYrteyQC8tVURkmRs4fAsO8V-AuAA-tM20ZgzMrQ_aem_C3YNMQ7FZ6eUjsk_oc72fw

ラベルに含まれるノイズや曖昧さを考慮した学習が可能な半教師有りラベル逆量子化に関する論文が学術論文誌IEEE ACCESS（2023 IF:3.4）に採択されました！

Keisuke Maeda, Masanao Matsumoto, Naoki Saito, Takahiro Ogawa, Miki Haseyama, “Multi-modal Gaussian Process Latent Variable Model with Semi-supervised Label Dequantization,” IEEE ACCESS, (Accepted for publication), 2024.

マルチメディア分野のトップ会議ACM MULTIMEDIA 2024に採択されました！

マルチメディア分野のトップ会議The 32nd ACM Multimedia Conference (ACM MM) 2024に当研究室から投稿していた以下の論文が採択されました！2024/10/28-11/01にオーストラリア・メルボルンにて開催予定です．

Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, “DQG: Database question generation for exact text-based image retrieval,” ACM Multimedia (ACM MM), 2024.

https://2024.acmmm.org

台湾（台中）にて開催されているコンシューマエレクトロニクス関連の国際会議 IEEE International Conference on Consumer Electronics – Taiwan, 2024 (ICCE-TW)にメディアダイナミクス研究室より以下の3件の論文発表を行い，受賞しました！

• Jinlong Zhu, Keigo Sakurai, Ren Togo, Takahiro Ogawa and Miki Haseyama, “Discriminator-enhanced Music Generation Based on Multitrack Music Transformer,” ICCE-TW 2024.【Best Paper Award First Place 受賞】
• Yuki Era, Ren Togo, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama, “Motion-STUDiO: Motion Style Transfer Utilized for Dancing Operation by Considering Both Style and Dance Features,” ICCE-TW 2024.
• Taro Togo, Ren Togo, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama, “Introducing Class Replacement Technique in Class Incremental Learning in Generative Models,” ICCE-TW 2024.
  
  

2024年7月2日～5日まで沖縄科学技術大学院大学（OIST）で開催されている国際会議39th International Technical Conference on Circuits/Systems, Computers, and Communications (ITC-CSCC 2024)にて当研究室から以下の2件の発表を行いました！
[1] Taro Togo, Keisuke Maeda, Ren Togo, Takahiro Ogawa and Miki Haseyama, “Zero-shot High-risk Situation Detection Based on Semantic Segmentation and Pose Estimation Using Fixed-point Cameras at Construction Sites”
[2] Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu and Miki Haseyama, “Graph Convolutional Network-based Sports Skill-level Recognition via Deep Metric Learning”
https://www.itc-cscc2024.org/

CO2 吸収能力推定を目的とした藻場領域のセグメンテーションに関する論文が、学術論文誌土木学会論文集特集号（海岸工学）に採録されました！
当研究室では，国土交通省北海道開発局，国立研究開発法人寒地土木研究所，株式会社アルファ水工コンサルタンツおよび北海道えりも町との連携協定により，ドローンによる撮影映像からAIにより海藻類の生息面積を効率的に算出する技術開発を推進しています．本論文は，本共同研究成果の一つであり，ブルーカーボンによるCO2吸収量調査の効率化に貢献可能な技術となります．
李 広, 藤後 廉, 前田 圭介, 酒向 章哲, 山内 功, 早川 哲也, 中前 茂之, 小川 貴弘, 長谷山 美紀, “ブルーカーボンによるCO2吸収量推計へ向けた大規模セマンティックセグメンテーションモデルに基づく藻場領域の自動認識,” 土木学会論文集特集号（海岸工学）, 2024. (Accepted for publication)

https://www.hokudai.ac.jp/news/pdf/230425_pr.pdf?fbclid=IwZXh0bgNhZW0CMTEAAR0Hx_Nqw-Xq9d-jvUnAMvXep2oojfPvcrMpRSf37Vz6ouzHHyPBFr78i24_aem_apotKZko43fUFWSzjWTpmg

音楽情報処理分野のトップ会議ISMIR2024 に採択（採択率36%）されました！
音楽情報処理分野のトップ会議International Society for Music Information Retrieval Conference (ISMIR2024) に当研究室から投稿していた以下の論文が採択されました！2024/11/10-14に米国サンフランシスコにて開催予定です．
Jinlong ZHU, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “MMT-BERT: Chord-aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT,” The 25th International Society for Music Information Retrieval Conference, 2024.

https://ismir2024.ismir.net/