NEWS お知らせ

Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “Expert Comment Generation Considering Sports Skill-Level Using a Large Multimodal Model with Video and Spatial–Temporal Motion Features,” Sensors (Accepted for publication), 2025.

佐藤 雅也, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀: “点検調書作成支援のための生成AIを用いた所見の自動生成　－データプール圧縮を用いた類似画像検索に基づくin-context learningの導入－”, AI・データサイエンス論文集, vol.5, no.3, pp.706-718 (2024)

題目 モーションデータを用いたSpatial Temporal Attention Graph Convolutional Networkによる熟練度分類の高精度化に関する検討
資料番号 ME2024-17 (VOL.48,NO.6 2024/2/19発表)
誠におめでとうございます！

[1] Xiang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Enhanced Framework for Generating Counterfactual Images with Sophisticated Caption and Inversion-free Image Editing”
[2] Tasuku Nakajima, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Improving Robustness of CLIP by Adversarial Training Enhanced by Brain Activity”
[3] Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Huang-Chia Shih, Satishi Asamizu, Miki Haseyama, “Expert Comment Generation from Sports Videos Using Multimodal LLM”
[4] Huaying Zhang, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Learning Hierarchical Video-Text Relationship via Large Language Model for Cross-modal Video Retrieval”
[5] Kenta Kubota, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Balancing Generalization and Personalization by Sharing Layers in Clustered Federated Learning”

Guang Li, Ren Togo, Katsuhiro Mabe, Shunpei Nishida, Yoshihiro Tomoda,Fumiyuki Shiratani, Masashi Hirota, Takahiro Ogawa, Miki Haseyama, “Multistage Deep Learning for Classification of Helicobacter Pylori Infection Status Using Endoscopic Images,” Journal of Gastroenterology, 2024.

まべ五稜郭消化器・内視鏡クリニック
https://hakodate-naishikyou.jp/

当研究室から投稿していたNeRFの品質評価指標に関する研究成果がIEICE Transactionsに採択されました。

Ren Togo, Rintaro Yanagi, Masato Kawai, Takahiro Ogawa, Miki Haseyama, “AMDIS: Amplitude Dissimilarity Reduced Reference IQA Metric for Neural Radiance Field,” IEICE Transactions, 2024.

ICASSPは、IEEE Signal Processing Societyのフラグシップカンファレンスであり、Google ScholarのSignal Processingのカテゴリにおける国際会議の中で1位にランクしています。来年はHyderabad, Indiaで開催です。

【Regular Track】

[1] Ren Tasai, Guang Li, Ren Togo, Minghui Tang, Takaaki Yoshimura, Hiroyuki Sugimori, Kenji Hirata, Takahiro Ogawa, Kohsuke Kudo, Miki Haseyama, “Continuous Self-Supervised Learning Considering Medical Domain Knowledge in Chest CT Images”

[2] Longzhen Li, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Generative Dataset Distillation Based on Self-knowledge Distillation”

[3] Kenta Kubota, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Gradient-oriented Clustered Federated Learning with Efficient Knowledge Sharing in Non-IID Settings”

[4] Kenta Uesugi, Naoki Saito, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Triplet Synthesis For Enhancing Composed Image Retrieval via Counterfactual Image Generation”

[5] Koshiro Toishi, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Robust Adversarial Defense Based on Non-Transferability of Attack across Foundation Models”

【OJSP Track】

[6] Taro Togo, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Enhancing Generative Class Incremental Learning Performance with a Model Forgetting Approach”

[7] Xiang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Enhancing Classification Models with Sophisticated Counterfactual Images”

https://2025.ieeeicassp.org

2024年12月16日～12月18日にて北海道大学にて開催された第39回信号処理シンポジウムにて，以下の３件の発表を行いました．

– 山本 一輝, 前田 圭介, 藤後 廉, 小川 貴弘, ⻑谷山 美紀, “一人称視点映像の行動認識におけるモダリティ欠損下でのクラス増分学習に関する検討”

– 國枝 翼, 藤後 廉, 前田 圭介, 小川 貴弘, ⻑谷山 美紀, “自己教師あり学習を導入したプロンプト学習に基づく医用画像を対象としたドメイン汎化に関する検討”

– Haoyang Wang, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “A Note on Robustness Verification of 3D Scene Evaluation Methods”

情報検索分野におけるEuropean Conference on Information Retrieval (ECIR)に当研究室から投稿していたLLMを用いた推薦技術に関する論文がfull paperとして採択されました．（採択率23%）

ECIRは2025年4月6日から10日にかけてイタリアで開催予定です．

https://ecir2025.eu

Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “LLM is Knowledge Graph Reasoner: LLM’s Intuition-aware Knowledge Graph Reasoning for Cold-start Sequential Recommendation,” European Conference on Information Retrieval (ECIR), 2025.

また，The 4th Hokkaido Young Professionals Workshopにて，以下の招待講演を行いました．

Guang Li, “The Past, Present, and Future of Dataset Distillation,” The 4th Hokkaido Young Professionals Workshop, 2024.

早川 楓：クラス情報を考慮可能なデータ選択を用いた生成画像に基づくモデル汎化に関する検討

中島 佑：脳活動によって強化された敵対的学習によるCLIPの頑健性向上に関する検討

太齊 蓮：J-MIDデータベースを用いたドメイン知識を考慮した継続自己教師あり学習に基づく肺疾患の分類に関する検討

上杉 健大：反実仮想画像生成モデルを用いた構成画像検索におけるデータ拡張に関する検討

おめでとうございます！

今年の採択率は23.4% (3032/12957) で、2025年2月27日～3月4日にアメリカ・フィラデルフィアにて開催予定です。

Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama, “Manta: Enhancing Mamba for few-shot action recognition of long sub-sequence,” AAAI Conference on Artificial Intelligence (AAAI), Philadelphia, PA, USA, 2025. (Acceptance Rate=23.4%)

なお、本研究は中国東南大学、南京師範大学および南方科技大学との国際連携研究となります。

https://aaai.org/conference/aaai/aaai-25/

2024年12月3-6日に東京にて開催されているコンピュータグラフィックスとインタラクティブ技術に関する国際会議SIGGRAPH ASIAにて以下の2件の論文を発表しました．

[Technical Communications]

Yuiko Uchida, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “An Evaluation Metric for Single Image-to-3D Models Based on Object Detection Perspective,” SIGGRAPH Asia Technical Communications, 2024.

**CODE** https://github.com/EvalSingleImg23D/EvalSingleImg23D

[Posters]

Yuki Era, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Generalizing Human Motion Style Transfer Method Based on Metadata-independent Learning,” SIGGRAPH Asia Posters, 2024.

https://asia.siggraph.org/2024

[Oral]
– Jinlong Zhu, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Structured Polyphonic Music Generation With Diffusion Transformer,” GCCE, 2024.

[Poster]
– Tasuku Nakajima, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Multimodal Adversarial Defense Trained on Features Extracted From Images and Brain Activity,” GCCE, 2024.
– Ayaka Tsutsumi, Guang Li, Ren Togo and Takahiro Ogawa, Satoshi Kondo (Muroran Institute of Technology, Japan), Miki Haseyama, “Lung Disease Classification With Limited Training Data Based on Weight Selection Technique,” GCCE, 2024.

https://www.ieee-gcce.org/2024/presentationawards.html

佐藤雅也 前田圭介 藤後廉 小川貴弘 長谷山美紀，”点検調書作成支援のための生成AIを用いた所見の自動生成 －データプール圧縮を用いた類似画像検索に基づく in-context learning の導入－”

2024/11/10-14に米国サンフランシスコにて開催された音楽情報処理分野のトップ会議International Society for Music Information Retrieval Conference (ISMIR2024) に当研究室から1件の発表を行いました。
Jinlong Zhu, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “MMT-BERT: Chord-aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT,” The 25th International Society for Music Information Retrieval Conference, 2024.
https://ismir2024.ismir.net/

双曲空間上で定義されるガウス過程潜在変数モデルを用いた階層構造の可視化
渡部航史、前田圭介、小川貴弘、長谷山美紀

李 広, 藤後 廉, 前田 圭介, 酒向 章哲, 山内 功, 早川 哲也, 中前 茂之, 小川 貴弘, 長谷山 美紀, “ブルーカーボンによるCO2吸収量推計へ向けた大規模セマンティックセグメンテーションモデルに基づく藻場領域の自動認識”

https://www.jstage.jst.go.jp/article/jscejj/80/17/80_24-17286/_article/-char/ja/

[1] 登石 光士郎, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀, “基盤モデル間の攻撃非転移性に基づく敵対的防御に関する検討”
[2] 早川 楓, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀, “クラス情報を考慮可能なデータ選択を用いた生成画像に基づくモデル汎化に関する検討”
[3] 久保田 健太, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀, “モデルの学習軌跡を用いたパーソナライズド連合学習におけるクライアントの非階層的クラスタリングの精度向上に関する検討”
[4] 中島 佑, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀, “脳活動によって強化された敵対的学習によるCLIPの頑健性向上に関する検討”
[5] 堤 彩花, 李 広, 藤後 廉, 小川 貴弘, 近藤 敏志, 長谷山 美紀, “重み選択に基づく少量データセットでの肺疾患分類に関する検討”
[6] 太齊 蓮, 李 広, 藤後 廉, 唐 明輝, 吉村 高明, 杉森 博行, 平田 健司, 小川 貴弘, 工藤 與亮, 長谷山 美紀, “J-MIDデータベースを用いたドメイン知識を考慮した継続自己教師あり学習に基づく肺疾患の分類に関する検討”
[7] 上杉 健大, 斉藤 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀, “反実仮想画像生成モデルを用いた構成画像検索におけるデータ拡張に関する検討”
[8] 高橋 諒, 斉藤 直輝, 前田 圭介, 小川 貴弘, 長谷山 美紀, “個人の感情誘起の類似性を考慮したMultimodal LLMによる画像の感情分類に関する検討”
[9] 朱 金龍, 櫻井 慶悟, 藤後 廉, 小川 貴弘, 長谷山 美紀, “拡散モデルに基づくテキスト制御可能なシンボリック音楽生成に関する検討”
[10] 劉 世麟, 上川 恭平, 前田 圭介, 小川 貴弘, 長谷山 美紀, “音楽生成における自己消費的な学習ループに関する分析”
[11] 内田 結子, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀, “物体検出モデルの信頼度スコアに基づくSingle Image-to-3Dモデルの評価指標に関する検討”
さらに、当研究室の長谷山 美紀教授が”AIを基盤とした異分野融合研究 ～産官学地域連携による取組～”について特別講演を行いました!

本会議 Oral発表（top 3.87%）
Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, “DQG: Database question generation for exact text-based image retrieval,” ACM Multimedia (ACM MM), 2024.
ワークショップ MMSports
Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “What to do and where to go next? Action prediction in soccer using multimodal co-attention transformer,” ACM Multimedia (ACM MM) MMSports, 2024.
また、藤後特任助教がoutstanding reviewerに選定されました！
https://2024.acmmm.org/outstanding-ac-reviewer