NEWS お知らせ

マルチメディア分野のトップ会議ACM MULTIMEDIA 2024にて開催されるスポーツAIに関するワークショップMMSports（採択率50%）に採択されました！
The 32nd ACM Multimedia Conference (ACM MM) 2024 MMSportsに当研究室から投稿していた以下の論文が採択されました！2024/10/28-11/01にオーストラリア・メルボルンにて開催予定です．
Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “What to do and where to go next? Action prediction in soccer using multimodal co-attention transformer,” ACM Multimedia (ACM MM) MMSports, 2024.
また本会議に採択された以下の論文はOral発表となりました。
Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, “DQG: Database question generation for exact text-based image retrieval,” ACM Multimedia (ACM MM), 2024.

https://2024.acmmm.org/?fbclid=IwY2xjawEmKZJleHRuA2FlbQIxMQABHZzIska9HlOCQFcJKMr_i_3gWnvsjzHsqUd4G_YIScvVwZYPUv7Izm3DiQ_aem_h1fxnIzxuRYzixLqQmvd5g

コンシューマーエレクトロニクスに関する国際会議 2024 IEEE 13th Global Conference on Consumer Electronics (GCCE 2024)にメディアダイナミクス研究室より投稿した以下の12件の論文が採録されました！


[1] Tasuku Nakajima, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Multimodal Adversarial Defense Trained on Features Extracted From Images and Brain Activity”
[2] Yuiko Uchida, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “An Evaluation Metric for Single Image-To-3D Models Based on a Class Confidence Score of Object Detection Models”
[3] Kenta Kubota, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “MLLM-Based Automatic Exploration of Editing Prompt for High Engagement Image Generation”
[4] Kenta Uesugi, Naoki Saito, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-Shot Composed Video Retrieval With Projection Module Bridging Modality Gap”
[5] Koshiro Toishi, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Improving Zero-Shot Adversarial Robustness via Integrating Image Features of Foundation Models”
[6] Ren Tasai, Guang Li, Ren Togo, Minghui Tang, Takaaki Yoshimura, Hiroyuki Sugimori, Kenji Hirata, Takahiro Ogawa, Kohsuke Kudo, Miki Haseyama, “Lung Cancer Classification Using Masked Autoencoder Pretrained on J-MID Database”
[7] Jinlong Zhu, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Structured Polyphonic Music Generation With Diffusion Transformer”
[8] Kaede Hayakawa, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Emotion-Conditional Image Generation Reflecting Semantic Alignment With Text-To-Image Models”
[9] Longzhen Li, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Generative Dataset Distillation Based on Large Model Pool”
[10] Ayaka Tsutsumi, Guang Li, Ren Togo, Takahiro Ogawa, Satoshi Kondo, Miki Haseyama, “Lung Disease Classification With Limited Training Data Based on Weight Selection Technique”
[11] Ryo Takahashi, Naoki Saito, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Personalized Visual Emotion Classification via In-Context Learning in Multimodal LLM”
[12] Shilin Liu, Kyohei Kamikawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-Shot Controllable Music Generation From Videos Using Facial Expressions”

https://www.ieee-gcce.org/2024/index.html?fbclid=IwY2xjawEc4QZleHRuA2FlbQIxMQABHRQkGalSBL6UWK4uQoUO1t1y1pn2VLZg249mTRGrwfBDUxn6U1HxBYwNrA_aem_j1fC0XksAPmL43REAJbsdQ

一般社団法人 国立大学協会の広報誌「国立大学」第72号に当研究室 長谷山教授が取材を受けた「データ人材の育成」に関する記事が掲載されました！

https://www.janu.jp/janu/report/koho/kokuritsudaigaku/koho72/?fbclid=IwY2xjawEc4I5leHRuA2FlbQIxMQABHUqOBgBdhLzCt-A44qwYrteyQC8tVURkmRs4fAsO8V-AuAA-tM20ZgzMrQ_aem_C3YNMQ7FZ6eUjsk_oc72fw

ラベルに含まれるノイズや曖昧さを考慮した学習が可能な半教師有りラベル逆量子化に関する論文が学術論文誌IEEE ACCESS（2023 IF:3.4）に採択されました！

Keisuke Maeda, Masanao Matsumoto, Naoki Saito, Takahiro Ogawa, Miki Haseyama, “Multi-modal Gaussian Process Latent Variable Model with Semi-supervised Label Dequantization,” IEEE ACCESS, (Accepted for publication), 2024.

マルチメディア分野のトップ会議ACM MULTIMEDIA 2024に採択されました！

マルチメディア分野のトップ会議The 32nd ACM Multimedia Conference (ACM MM) 2024に当研究室から投稿していた以下の論文が採択されました！2024/10/28-11/01にオーストラリア・メルボルンにて開催予定です．

Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, “DQG: Database question generation for exact text-based image retrieval,” ACM Multimedia (ACM MM), 2024.

https://2024.acmmm.org

台湾（台中）にて開催されているコンシューマエレクトロニクス関連の国際会議 IEEE International Conference on Consumer Electronics – Taiwan, 2024 (ICCE-TW)にメディアダイナミクス研究室より以下の3件の論文発表を行い，受賞しました！

• Jinlong Zhu, Keigo Sakurai, Ren Togo, Takahiro Ogawa and Miki Haseyama, “Discriminator-enhanced Music Generation Based on Multitrack Music Transformer,” ICCE-TW 2024.【Best Paper Award First Place 受賞】
• Yuki Era, Ren Togo, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama, “Motion-STUDiO: Motion Style Transfer Utilized for Dancing Operation by Considering Both Style and Dance Features,” ICCE-TW 2024.
• Taro Togo, Ren Togo, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama, “Introducing Class Replacement Technique in Class Incremental Learning in Generative Models,” ICCE-TW 2024.
  
  

2024年7月2日～5日まで沖縄科学技術大学院大学（OIST）で開催されている国際会議39th International Technical Conference on Circuits/Systems, Computers, and Communications (ITC-CSCC 2024)にて当研究室から以下の2件の発表を行いました！
[1] Taro Togo, Keisuke Maeda, Ren Togo, Takahiro Ogawa and Miki Haseyama, “Zero-shot High-risk Situation Detection Based on Semantic Segmentation and Pose Estimation Using Fixed-point Cameras at Construction Sites”
[2] Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu and Miki Haseyama, “Graph Convolutional Network-based Sports Skill-level Recognition via Deep Metric Learning”
https://www.itc-cscc2024.org/

CO2 吸収能力推定を目的とした藻場領域のセグメンテーションに関する論文が、学術論文誌土木学会論文集特集号（海岸工学）に採録されました！
当研究室では，国土交通省北海道開発局，国立研究開発法人寒地土木研究所，株式会社アルファ水工コンサルタンツおよび北海道えりも町との連携協定により，ドローンによる撮影映像からAIにより海藻類の生息面積を効率的に算出する技術開発を推進しています．本論文は，本共同研究成果の一つであり，ブルーカーボンによるCO2吸収量調査の効率化に貢献可能な技術となります．
李 広, 藤後 廉, 前田 圭介, 酒向 章哲, 山内 功, 早川 哲也, 中前 茂之, 小川 貴弘, 長谷山 美紀, “ブルーカーボンによるCO2吸収量推計へ向けた大規模セマンティックセグメンテーションモデルに基づく藻場領域の自動認識,” 土木学会論文集特集号（海岸工学）, 2024. (Accepted for publication)

https://www.hokudai.ac.jp/news/pdf/230425_pr.pdf?fbclid=IwZXh0bgNhZW0CMTEAAR0Hx_Nqw-Xq9d-jvUnAMvXep2oojfPvcrMpRSf37Vz6ouzHHyPBFr78i24_aem_apotKZko43fUFWSzjWTpmg

音楽情報処理分野のトップ会議ISMIR2024 に採択（採択率36%）されました！
音楽情報処理分野のトップ会議International Society for Music Information Retrieval Conference (ISMIR2024) に当研究室から投稿していた以下の論文が採択されました！2024/11/10-14に米国サンフランシスコにて開催予定です．
Jinlong ZHU, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “MMT-BERT: Chord-aware Symbolic Music Generation Based on Multitrack Music Transformer and MusicBERT,” The 25th International Society for Music Information Retrieval Conference, 2024.

https://ismir2024.ismir.net/

2024年6月17日～21日にアメリカのシアトルで開催中のコンピュータービジョン分野のトップカンファレンス IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2024にて生成型データセット蒸留に関する研究成果をThe 1st CVPR Workshop on Dataset Distillationの論文として発表しました。
Longzhen Li, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Generative dataset distillation: balancing global structure and local details,” IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pp. 7664-7671, Seattle, WA, USA, 2024.

https://openaccess.thecvf.com/content/CVPR2024W/DDCV/html/Li_Generative_Dataset_Distillation_Balancing_Global_Structure_and_Local_Details_CVPRW_2024_paper.html?fbclid=IwZXh0bgNhZW0CMTAAAR1VqpToWCoqJqPgz4WS5LvZphnd79AwBcpPGh-EVDKOEbwCdFLdX8M8410_aem_0uFxuR8XCvmOQONP0IxlvQ

IEEE ICIP 2024に当研究室の論文3件が採択されました！
UAEアブダビで開催予定の世界最大規模の画像処理系国際会議2024 IEEE International Conference on Image Processing (IEEE ICIP 2024、採択率：48%)に当研究室から投稿した以下の3件の論文が採択されました。
①Xiang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “REINFORCING PRE-TRAINED MODELS USING COUNTERFACTUAL IMAGE”
②Yaozong Gan, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “CROSS-DOMAIN FEW-SHOT IN-CONTEXT LEARNING FOR ENHANCING TRAFFIC SIGN RECOGNITION”
③Huaying Zhang, Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, “ZERO-SHOT COMPOSED IMAGE RETRIEVAL CONSIDERING QUERY-TARGET RELATIONSHIP LEVERAGING MASKED IMAGE-TEXT PAIRS”

https://2024.ieeeicip.org

2024年5月28日から31日まで静岡県浜松市で開催された国内最大規模のAI研究発表のイベントである第38回人工知能学会全国大会にて当研究室から5件の発表を行いました！

[1] 五箇 亮太, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀, “工事現場映像における深度情報を活用した重機接触事故リスクの推定”

[2] 清野 竜生, 斉藤 直輝, 小川 貴弘, 浅水 仁, 長谷山 美紀, “モーションおよび視線データを用いたSpatial Temporal Attention GCNによる熟練度分類に関する検討”

[3] 斉藤 直輝, 藤後 廉, 前田 圭介, 小林 累輝, 中村 隆央, 岡谷 基弘, 数井 誠人, 松沢 貴仁, 小川 貴弘, 長谷山 美紀, “半導体製造装置のセンサデータを用いた深層距離学習による類似事例検索に関する検討”

[4] 櫻井 慶悟, 藤後 廉, 小川 貴弘, 長谷山 美紀, “Graph masked autoencoderを用いた知識グラフ推論に基づく説明可能性のある推薦に関する検討”

[5] 柳 凜太郎, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀, “ゴム材料の物性値に影響する工程・環境要因の推定に関する検討”

[1]は東日本高速道路株式会社北海道支社との共同研究成果、

[3]は東京エレクトロン株式会社との共同研究成果、

[5]は住友ゴム工業株式会社との共同研究成果です。

2024年5月27日に土木学会で開催されたデジタルツイン・DXシンポジウム2024にて当研究室から5件の発表を行いました！

[1] 大羽賀駿也, 前田圭介, 藤後廉, 小川貴弘, 長谷山美紀,”工事現場の定点カメラを用いた物体検出および姿勢推定に基づくZero-shot高リスク状況検出”

[2] 五箇亮太, 前田圭介, 藤後廉, 小川貴弘, 長谷山美紀,”Spatial-temporal attentionを導入した再帰型ニューラルネットワークに基づく重機との接触事故リスクの推定”

[3] 吉田将規, 前田圭介, 藤後廉, 小川貴弘, 長谷山美紀,”大規模言語モデルを用いた通報音声からの事象発生地点予測”

[4] Zongyao Li, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama,”Generalizing deep learning-based distress segmentation models for subway tunnel images by test-time training”

[5] 清野竜生, 斉藤直輝, 前田圭介, 小川貴弘, 長谷山美紀,”地下鉄トンネル点検における技術者のモーションデータを用いた熟練度分類－説明可能なGraph Convolutional Networkの導入－”

[1]および[2]は東日本高速道路株式会社北海道支社との共同研究成果、

[3]は一般財団法人 北海道道路管理技術センターとの共同研究成果、

[4]および[5]は東京地下鉄株式会社との共同研究成果です。

本シンポジウムにて発表した論文は，「AI・データサイエンス論文集」として，J-STAGEに掲載されています。

国内最大規模の画像の認識・理解シンポジウムMIRU2024に3件の論文が口頭発表論文として採択されました!
2024年8月6日～9日に熊本で開催されるMIRU2024に、以下の3件の論文が、口頭発表論文（採択率31%）として採択されました。

• Huaying Zhang, Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Integrating Query-target Relationship to Zero-shot Composed Image Retrieval from Masked Image-text Pairs,” MIRU 2024.
• He Zhu, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Reliable and Personalized Federated Learning with Prompt-based Method for Visual Question Answering in Medical Domain,” MIRU 2024.
• Taro Togo, Ren Togo, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama, “Refining Generative Class Incremental Learning Performance through Model Forgetting Strategies,” MIRU 2024.
  

https://miru-committee.github.io/miru2024/?fbclid=IwZXh0bgNhZW0CMTEAAR0WC8gRC5dChZEstZyz-tgQsUyWsc4hkhFCTfdxtXff3i031fn3JsmMbQ4_aem_AZ0PWy1jljTUT7Mbn0dMt0LcKQCtIbKjXbObBDKlTuGKJbhwRDB7-jDLI_MONpvFLiByHar2qlQypK4gF4K8ipH4

当研究室 藤後特任助教の論文が、AI分野のトップ論文誌IEEE Transactions on Neural Networks and Learning Systems (TNNLS) (IF=10.4)に採択されました！　
本論文では、Vision and Language分野における新たな表現学習手法を提案しています。コードは以下のリンクからアクセス可能です。https://github.com/ganmodokix/concvae
Ren Togo, Nao Nakagawa, Takahiro Ogawa, Miki Haseyama, “ConcVAE: Conceptual Representation Learning,” IEEE Transactions on Neural Networks and Learning Systems, 2024. (Accepted for publication)

脳活動情報から未病検知を目指す萌芽的な研究論文が、学術論文誌Bioengineering (2022 IF: 4.6) に採録されました！

本研究は、ムーンショット型研究開発事業「病気につながる血管周囲の微小炎症を標的とする量子技術、ニューロモデュレーション医療による未病時治療法の開発」に係る成果です。

Keisuke Maeda, Takahiro Ogawa, Tasuku Kayama, Takuya Sasaki, Kazuki Tainaka, Masaaki Murakami, Miki Haseyama, “Trial Analysis of Brain Activity Information for Presymptomatic Disease Detection of Rheumatoid Arthritis,” Bioengineering, 2024. (Accepted for publication)

回路・システム・コンピュータ・通信技術に関する国際会議39th International Technical Conference on Circuits/Systems, Computers, and Communications (ITC-CSCC 2024)にメディアダイナミクス研究室より投稿した以下の2件の論文が採択されました！
https://www.itc-cscc2024.org/
[1] Taro Togo, Keisuke Maeda, Ren Togo, Takahiro Ogawa and Miki Haseyama, “Zero-shot High-risk Situation Detection Based on Semantic Segmentation and Pose Estimation Using Fixed-point Cameras at Construction Sites”
[2] Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu and Miki Haseyama, “Graph Convolutional Network-based Sports Skill-level Recognition via Deep Metric Learning”

CO2 吸収能力推定を目的とした藻場領域のセグメンテーションに関する論文が、学術論文誌Remote Sensing (2022 IF: 5.0)に採録されました！

本研究成果はブルーカーボンによるCO2吸収量調査の効率化に貢献可能な技術です．

Guang Li, Ren Togo, Keisuke Maeda, Akinori Sako, Isao Yamauchi, Tetsuya Hayakawa, Shigeyuki Nakamae, Takahiro Ogawa, Miki Haseyama, “Algal bed region segmentation based on ViT-Adapter using aerial images for estimating CO2 absorption capacity,” Remote Sensing, 2024. (Accepted for publication)

※本研究成果は、国土交通省北海道開発局、国立研究開発法人寒地土木研究所、株式会社アルファ水工コンサルタンツおよび北海道えりも町との連携による研究成果です．

https://www.hokudai.ac.jp/news/pdf/230425_pr.pdf

グラフ畳み込みネットワークを用いた熟練度分類に関する研究成果が、学術論文誌Sensors(2022 IF: 3.9)に採録されました！

Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “Expert–novice Level Classification Using Graph Convolutional Network

Introducing Confidence-aware Node-level Attention Mechanism,” Sensors (Accepted for publication), 2024.

https://www.mdpi.com/journal/sensors

継続学習への忘却機構導入に関する研究成果が、学術論文誌Sensors (2022 IF: 3.9)に採録されました！

Taro Togo, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Analysis of Continual Learning Techniques for Image Generative Models with Learned Class Information Management,” Sensors (Accepted for publication), 2024.

https://www.mdpi.com/journal/sensors