NEWS お知らせ

データセット蒸留に関する研究成果が、ニューラルネットワーク分野において著名な論文誌Neural Networks (2022 IF=7.8)に採録されました！

Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Importance-aware adaptive dataset distillation,” Neural Networks, 2024. (Accepted for publication)

https://www.sciencedirect.com/journal/neural-networks

前田特任准教授が北海道大学 創成研究機構 データ駆動型融合研究創発拠点(D-RED)に着任しました。
メディアダイナミクス研究室より、前田先生が北海道大学 創成研究機構 データ駆動型融合研究創発拠点(D-RED)の特任准教授に着任しました。
誠におめでとうございます！

https://d-red.research.hokudai.ac.jp/

魅力度を向上させる画像編集技術に関する論文が、学術論文誌Sensors (2022 IF: 3.9)に採録されました！
Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki
Haseyama, “Text-guided Image Editing Based on Post Score for Gaining Attention on Social Media,” Sensors (Accepted for publication), 2024.

学術論文誌IEEE Access (IF=3.9) に採録されました！
推薦システムにおけるユーザ満足度を正確に測定するための新たなフレームワーク提案に関する成果がIEEE Accessに採録されました。
Nozomu Onodera, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Individual persistence adaptation for user-centric evaluation of user satisfaction in recommender systems,” IEEE Access, 2024. (Accepted)

クロスモーダル検索高度化のためのプロンプトチューニングに関する研究成果が、Intenational Journal of Multimedia Information Retrieval(IF: 5.6)に採録されました。

Huaying Zhang, Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Parameter Efficient Tuning of Cross-modal Retrieval for a Specific Database via Trainable Textual and Visual Prompts,” International Journal of Multimedia Information Retrieval, 2024. (Accepted for publication)

https://link.springer.com/journal/13735

土木学会 AI・データサイエンス論文集の受賞論文の賞状が授与されました！
【AI・データサイエンス論文賞】
Intelligence, Informatics and Infrastructure Award for Excellent Paper
地下鉄トンネル点検技術者の新規変状の発見率向上に向けた一人称視点映像からの変状検出
　櫻井 慶悟, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
【AI・データサイエンス奨励賞】
Intelligence, Informatics and Infrastructure Award for Outstanding Potential Paper
時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類
　諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀

映像情報メディア学会 優秀研究発表賞を受賞しました！

当研究室の下記の発表が、映像情報メディア学会 優秀研究発表賞を受賞しました！おめでとうございます！

朱赫, 藤後 廉, 小川 貴弘, 長谷山美紀: “物体検出モデルに基づく視覚表現を用いた解釈可能なVisual Question Answeringモデルに関する検討”, 映像情報メディア学会技術報告, vol.47, no.6, pp.17-21 (2023)

大規模視覚言語モデルをインフラ維持管理の所見生成へ応用した研究が，BUILT-ITmediaにて紹介されました．

https://built.itmedia.co.jp/…/2401/13/news011_2.html

本内容は，以下の論文成果によるものです．

渡邉 優宇人，小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”Visual language modelを用いた変状画像に対する所見の自動生成－類似画像検索によるFew-shot learningの導入－”, AI・データサイエンス論文集, vol. 4, no. 3, pp. 223-232, 2023.

https://www.jstage.jst.go.jp/…/4/3/4_223/_article/-char/ja

本学医学部との連携による学術論文誌が採録・公開されました！

また、北海道大学病院よりプレスリリースが行われました。

心不全患者の歩行様式を用いた

フレイル自動判定 AI アプリ開発に成功

～客観的かつ鋭敏なフレイルの自動判定が可能となり, 様々な臨床応用に期待～

https://www.huhp.hokudai.ac.jp/…/01/20240104_press.pdf

Yoshifumi Mizuguchi, Motoki Nakao, Toshiyuki Nagai, Yuki Takahashi, Takahiro Abe, Shigeo Kakinoki, Shogo Imagawa, Kenichi Matsutani, Takahiko Saito, Masashige Takahashi, Yoshiya Kato, Hirokazu Komoriyama, Hikaru Hagiwara, Kenji Hirata, Takahiro Ogawa, Takuto Shimizu, Manabu Otsu, Kunihiro Chiyo, Toshihisa Anzai, Machine learning–based gait analysis to predict clinical frailty scale in elderly patients with heart failure, European Heart Journal – Digital Health, 2023;, ztad082, https://doi.org/10.1093/ehjdh/ztad082

2024年1月7日からマレーシア・ランカウイにて開催されている画像工学に関する国際会議International Workshop on Advanced Image Technology 2024 (IWAIT 2024) にて，メディアダイナミクス研究室から以下の論文に関する発表を行いました！
Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Huang-Chia Shih, Miki Haseyama, “Masked Modeling-based Action Event Prediction Considering Bidirectional Time-series in Soccer”.
また，本発表は同会議のBest Paper Awardに選ばれました！

視覚言語モデルのIn-context Few-shot Learningによる構造物劣化画像からの自動所見生成に関する論文が、Journal of Robotics and Mechatronics(Impact Factor: 1.1)に採録されました。
Yuto Watanabe, Naoki Ogawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Automatic findings generation for distress images using in-context few-shot learning of visual language model based on image similarity and text diversity,” Journal of Robotics and Mechatronics (Accepted for publication)

【AI・データサイエンス論文賞】
Intelligence, Informatics and Infrastructure Award for Excellent Paper
地下鉄トンネル点検技術者の新規変状の発見率向上に向けた一人称視点映像からの変状検出
　櫻井 慶悟, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
【AI・データサイエンス奨励賞】
Intelligence, Informatics and Infrastructure Award for Outstanding Potential Paper
時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類
　諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀

https://committees.jsce.or.jp/struct1002/node/42?fbclid=IwAR1KCa7fUrPz3YuzyB3–V6sgGuqZHartu0aa8mi399GfDhiWTvK0Zxu3Mg

世界最高峰の信号処理に関する国際会議 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2024)にメディアダイナミクス研究室より投稿した以下の9件の論文が採択されました！
ICASSPは、IEEE Signal Processing Societyのフラグシップカンファレンスであり、Google ScholarのSignal Processingのカテゴリにおける国際会議の中で1位にランクしています。来年は韓国ソウルで開催です。
【Regular Track】
[1] Masaki Kashiwagi, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Enhancing Noisy Label Learning via Unsupervised Contrastive Loss with Label Correction Based on Prior Knowledge”
[2] Masaya Sato, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Caption Unification for Multi-view Lifelogging Images Based on In-context Learning with Heterogeneous Semantic Contents”
[3] Haruka Matsuda, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Multi-object Editting in Personalized Text-to-image Diffusion Models via Segmentation Guidance”
[4] Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “Confidence-aware Spatial-temporal Attention Graph Convolutoinal Network for Skeleton-based Expert-Novice Level Classification”
[5] Yuhu Feng, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Privacy Preserving Gaze Estimation via Federated Learning Adapted to Egocentric Video”
[6] He Zhu, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Prompt-based Personalized Federated Learning for Medical Visual Question Answering”
【OJSP Track】
[7] Zongyao Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Source-data-free cross-domain knowledge transfer for semantic segmentation”
[8] Yuya Moroto, Yingrui Ye, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-shot Visual Sentiment Prediction via Cross-domain Knowledge Distillation”
[9] Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “TolerantGAN: Text-guided Image Manipulation Tolerant to Real-world Image”

人気バイアスを柔軟に操作可能な情報推薦に関する論文が，データベース分野におけるハイレベル論文誌Information Processing & Management（2022 IF: 8.6）に採録されました！
Hiroki Okamura, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Flexibly Manipulating Popularity Bias for Tackling Trade-Offs in Recommendation ,” Information Processing & Management (Accepted for publication), 2023.

https://www.sciencedirect.com/journal/information-processing-and-management?fbclid=IwAR07v8fav34FberIyNQFYDCM_WwxWBbSJKNQAH_mhE1Lu_QTfxv2uxjSOug

令和5年度 電気・情報関係学会北海道支部連合大会での当研究室の発表に関して、修士1年生の藤後君、学部4年生の佐藤君、松田さんが若手優秀論文発表賞を受賞しました！おめでとうございます！
[1] 藤後 太郎, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “マルチモーダル大規模言語モデルを用いた fMRI からの言語情報の推定に関する検討 – In-context Learning に基づく時系列聴覚刺激からの言語情報の推定 -“, 令和5年度 電気・情報関係学会北海道支部連合大会, pp.248-249 (2023)
[2] 佐藤 雅也, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀: “In-context Learning を用いた複数視点ライフログ画像のキャプションの統一化に関する検討”, 令和5年度 電気・情報関係学会北海道支部連合大会, pp.153-154 (2023)
[3] 松田 遥, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀: “拡散モデルによる画像生成における複数対象へのパーソナライズ手法に関する検討”, 令和5年度 電気・情報関係学会北海道支部連合大会, pp.250-251 (2023)
https://www.ieice.org/hokkaido/shibukai2023/

当研究室の3件の論文が、IEEE Open Journal of Signal Processing (Impact Factor: 2.8)に採録されました。
これらの論文は、IEEE ICASSP2024にて、SP Society Journal Paper Presentationsの枠で発表が行われる予定です。
[1] Zongyao Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Source-data-free cross-domain knowledge transfer for semantic segmentation,” IEEE Open Journal of Signal Processing (Accepted for publication)
[2] Yuya Moroto, Yingrui Ye, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-shot Visual Sentiment Prediction via Cross-domain Knowledge Distillation,” IEEE Open Journal of Signal Processing (Accepted for publication)
[3] Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “TolerantGAN: Text-guided Image Manipulation Tolerant to Real-world Image,” IEEE Open Journal of Signal Processing (Accepted for publication)

https://signalprocessingsociety.org/publications-resources/ieee-open-journal-signal-processing?fbclid=IwAR0D1GRa3oWHtr5CXaZDK2gwpjaYaFv9R-SjpvOLvUYO-PGdueNx5XeCudU

Yaozong Gan, Guang Li, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-Shot Traffic Sign Recognition Based on Mid-Level Feature Matching,” Sensors (Accepted for publication), 2023.
尚，本研究成果は日本無線株式会社との共同研究成果です．

１．前田 圭介，小川 貴弘，長谷山 美紀，”社会インフラ維持管理効率化に向けた最先端AI研究”
２．渡邉 優宇人，小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”Visual language modelを用いた変状画像に対する所見の自動生成－類似画像検索によるFew-shot learningの導入－”
３．山本 一輝，前田 圭介，藤後 廉，小川 貴弘，長谷山 美紀，”変状の劣化レベル判定支援に向けたグラフニューラルネットワークによるレコードデータの特徴表現の獲得”
４．櫻井 慶悟，前田 圭介，藤後 廉，小川 貴弘，長谷山 美紀，”地下鉄トンネル点検技術者の新規変状の発見率向上に向けた一人称視点映像からの変状検出”
５．小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”セマンティックセグメンテーションに基づく道路走行中の車載映像を用いた枯損木の検出”
６．小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”社会インフラ点検時の変状画像を対象とした変状種と劣化レベルのマルチタスク分類”
７．渡部 航史，小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”Attention-based Multiple Instance Learningに基づく背景の多様性に頑健な道路附属物の異状判定”
８．諸戸 祐哉，前田 圭介，藤後 廉，小川 貴弘，長谷山 美紀，”時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類”
なお，発表論文は「AI・データサイエンス論文集」として，J-STAGEに掲載されます．

Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Manipulation Direction: Evaluating Text-guided Image Manipulation Based on Similarity Between Changes of Image and Text Modalities,” Sensors (Accepted for publication)

2023年10月29日からカナダ・オタワにて開催されているマルチメディアに関する世界最高峰の国際会議 2023 ACM Multimedia (ACM MM 2023) のデモセッションにてメディアダイナミクス研究室から以下の論文に関する発表を行いました！
Yuya Moroto※, Rintaro Yanagi※, Naoki Ogawa, Kyohei Kamikawa, Keigo Sakurai, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Personalized Content Recommender System via Non-verbal Interaction Using Face Mesh and Facial Expression,” ACM MM 2023. ※ equal contribution