NEWS お知らせ

2024年4月5日に，長谷山教授が拠点長を務めるデータ駆動型融合研究創発拠点にて，NEXCO東日本グループの研究ユニットの開所式が開催されました．
本ユニットでは，長谷山・小川研究室との共同研究を軸として，次世代インフラ維持管理に向けた様々な研究開発を実施していきます．

新年度のメディアダイナミクス研究室について
4月より新たに6名の学生が博士課程に、11名の学生が修士課程に入学しました。
修士課程に入学した学生のうち5名は、他大学から新たにメディアダイナミクス研究室に加わる学生です。
皆様、おめでとうございます！

/https://www-lmd.ist.hokudai.ac.jp/member/

長谷山美紀先生が、情報科学研究院長の４年間の任期を終えられました！
2020年4月～2024年3月まで情報科学研究院長を務められた当研究室教授の長谷山先生が本日任期を満了で終えられ、花束贈呈式が行われました。
コロナ禍で始まった研究院長の任務ですが、その中でも研究院を導いて頂いたことに感謝致します。
大変にお疲れ様でした！

北海道大学の学位授与式が開催され、当研究室の博士学生3名、修士学生10名、および学部学生3名がそれぞれ学位を授与されました。
博士学生3名・修士学生4名は研究室を巣立ち、6名の修士学生は博士課程に進学します。また、学部学生全員が修士課程に進学します。
また、卒業生・修了生に以下の賞が授与されました。
●北海道大学 工学部長賞（旧ウィリアム・ウィラー賞)
学部4年生　佐藤 雅也
●北海道大学大学院情報科学院　学院長賞
修士2年生　渡邉 優宇人
博士3年生　柳 凜太郎
●令和5年度 電子情報通信学会北海道支部 学生奨励賞
修士2年生　五箇 亮太
修士2年生　渡部 航史
皆さん、誠におめでとうございます！

修士2年の五箇君が電子情報通信学会北海道支部学生奨励賞を受賞しました！

当研究室の学生がIEEE Sapporo Sectionで受賞しました！
【The 2023 IEEE Sapporo Section Encouragement Award】
Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “TriBYOL: Triplet BYOL for self-supervised representation learning,” IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), pp. 1371-1375, 2022.
【The 2023 IEEE Sapporo Section Encouragement Award】
Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Human emotion recognition using multi-modal biological signals based on time lag-considered correlation maximization,” IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2022), pp.4683-4687, 2022
【The 2023 IEEE Sapporo Section Student Paper Contest Encouraging Prize】
Masaki Kashiwagi, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “A Note on Improving Noisy Labels Learning via Label Correction Utilizing Pre-trained Models,” 令和 5 年度 電気・情報関係学会北海道支部連合大会, pp. 240-241, 2023

合同研究会にて14件の発表を行いました!
2024年2月19日-20日に北海道大学情報科学研究院棟で開催された電子情報通信学会 ITS研究会・画像工学研究会、映像情報メディア学会 メディア工学研究会・映像表現&CG研究会・マルチメディアストレージ研究会の合同研究会において、当研究室より以下の発表を行いました。
① 清野竜生,斉藤直輝,小川貴弘,浅水　仁,長谷山美紀:”モーションデータを用いたSpatial Temporal Attention Graph Convolutional Networkによる熟練度分類の高精度化に関する検討”
② 七田　亮,藤後　廉,前田圭介,小川貴弘,長谷山美紀:”画像注視時の脳活動データを用いたStable diffusionに基づくテキストからの画像生成に関する検討 ～ 潜在空間における脳活動データに基づく制御機構の導入 ～”
③ Haoyang Wang,Ren Togo,Keisuke Maeda,Takahiro Ogawa,Miki Haseyama:”A Note on Improvement of Zero-shot Video Retrieval using LLM Description based on Multiple Image Captioning Models”
④ 岡村洋希,前田圭介,藤後　廉,小川貴弘,長谷山美紀:”視覚言語モデルにおける注目する特徴を指定可能なドメイン適応に関する検討”
⑤ 河合雅斗,柳　凜太郎,藤後　廉,小川貴弘,長谷山美紀:”アメリカンフットボールにおける選手位置情報を利用したパス可能領域の推定に関する一検討”
⑥ 河合雅斗,柳　凜太郎,藤後　廉,小川貴弘,長谷山美紀:”Neural Radiance FieldsにおけるReduced Reference画質評価に関する一検討”
⑦ 長谷山美紀,水谷祐輔,田中晋吾:”［特別講演］北海道大学データ駆動型融合研究創発拠点における取組 ～ データ駆動による融合研究創発と地域課題解決に向けたデジタルスキル養成 ～”
⑧ 水谷祐輔,中村雅人,鵜川　久,田中晋吾,長谷山美紀:”［特別講演］北海道大学における地域中核人材育成に向けたデジタルリスキリングの取組”
⑨ 前田圭介,小川貴弘,長谷山美紀:”［特別講演］次世代インフラ維持管理に向けた研究と北海道開発局との連携協定における取組み”
⑩ 渡部航史,小川直輝,前田圭介,小川貴弘,長谷山美紀:”［特別講演］道路附属物のドローン映像を用いたvision transformerに基づく変状検出技術”
⑪ 渡邉優宇人,小川直輝,前田圭介,小川貴弘,長谷山美紀:”［特別講演］橋梁点検効率化のための生成AIを用いた所見生成技術”
⑫ 吉田将規,前田圭介,藤後　廉,小川貴弘,長谷山美紀:”［特別講演］音声認識・生成AIを用いた通報音声からの事象発生地点予測”
⑬ 大羽賀駿也,藤後　廉,小川貴弘,長谷山美紀:”物体の属性と関係性を考慮したマルチモーダル大規模言語モデルの高精度化に関する検討”
⑭ 五箇亮太,諸戸祐哉,前田圭介,小川貴弘,長谷山美紀:”双方向Transformerに基づいたサッカー選手のイベントデータからの行動推定に関する検討”

データセット蒸留に関する研究成果が、ニューラルネットワーク分野において著名な論文誌Neural Networks (2022 IF=7.8)に採録されました！

Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Importance-aware adaptive dataset distillation,” Neural Networks, 2024. (Accepted for publication)

https://www.sciencedirect.com/journal/neural-networks

前田特任准教授が北海道大学 創成研究機構 データ駆動型融合研究創発拠点(D-RED)に着任しました。
メディアダイナミクス研究室より、前田先生が北海道大学 創成研究機構 データ駆動型融合研究創発拠点(D-RED)の特任准教授に着任しました。
誠におめでとうございます！

https://d-red.research.hokudai.ac.jp/

魅力度を向上させる画像編集技術に関する論文が、学術論文誌Sensors (2022 IF: 3.9)に採録されました！
Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki
Haseyama, “Text-guided Image Editing Based on Post Score for Gaining Attention on Social Media,” Sensors (Accepted for publication), 2024.

学術論文誌IEEE Access (IF=3.9) に採録されました！
推薦システムにおけるユーザ満足度を正確に測定するための新たなフレームワーク提案に関する成果がIEEE Accessに採録されました。
Nozomu Onodera, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Individual persistence adaptation for user-centric evaluation of user satisfaction in recommender systems,” IEEE Access, 2024. (Accepted)

クロスモーダル検索高度化のためのプロンプトチューニングに関する研究成果が、Intenational Journal of Multimedia Information Retrieval(IF: 5.6)に採録されました。

Huaying Zhang, Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Parameter Efficient Tuning of Cross-modal Retrieval for a Specific Database via Trainable Textual and Visual Prompts,” International Journal of Multimedia Information Retrieval, 2024. (Accepted for publication)

https://link.springer.com/journal/13735

土木学会 AI・データサイエンス論文集の受賞論文の賞状が授与されました！
【AI・データサイエンス論文賞】
Intelligence, Informatics and Infrastructure Award for Excellent Paper
地下鉄トンネル点検技術者の新規変状の発見率向上に向けた一人称視点映像からの変状検出
　櫻井 慶悟, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
【AI・データサイエンス奨励賞】
Intelligence, Informatics and Infrastructure Award for Outstanding Potential Paper
時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類
　諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀

映像情報メディア学会 優秀研究発表賞を受賞しました！

当研究室の下記の発表が、映像情報メディア学会 優秀研究発表賞を受賞しました！おめでとうございます！

朱赫, 藤後 廉, 小川 貴弘, 長谷山美紀: “物体検出モデルに基づく視覚表現を用いた解釈可能なVisual Question Answeringモデルに関する検討”, 映像情報メディア学会技術報告, vol.47, no.6, pp.17-21 (2023)

大規模視覚言語モデルをインフラ維持管理の所見生成へ応用した研究が，BUILT-ITmediaにて紹介されました．

https://built.itmedia.co.jp/…/2401/13/news011_2.html

本内容は，以下の論文成果によるものです．

渡邉 優宇人，小川 直輝，前田 圭介，小川 貴弘，長谷山 美紀，”Visual language modelを用いた変状画像に対する所見の自動生成－類似画像検索によるFew-shot learningの導入－”, AI・データサイエンス論文集, vol. 4, no. 3, pp. 223-232, 2023.

https://www.jstage.jst.go.jp/…/4/3/4_223/_article/-char/ja

本学医学部との連携による学術論文誌が採録・公開されました！

また、北海道大学病院よりプレスリリースが行われました。

心不全患者の歩行様式を用いた

フレイル自動判定 AI アプリ開発に成功

～客観的かつ鋭敏なフレイルの自動判定が可能となり, 様々な臨床応用に期待～

https://www.huhp.hokudai.ac.jp/…/01/20240104_press.pdf

Yoshifumi Mizuguchi, Motoki Nakao, Toshiyuki Nagai, Yuki Takahashi, Takahiro Abe, Shigeo Kakinoki, Shogo Imagawa, Kenichi Matsutani, Takahiko Saito, Masashige Takahashi, Yoshiya Kato, Hirokazu Komoriyama, Hikaru Hagiwara, Kenji Hirata, Takahiro Ogawa, Takuto Shimizu, Manabu Otsu, Kunihiro Chiyo, Toshihisa Anzai, Machine learning–based gait analysis to predict clinical frailty scale in elderly patients with heart failure, European Heart Journal – Digital Health, 2023;, ztad082, https://doi.org/10.1093/ehjdh/ztad082

2024年1月7日からマレーシア・ランカウイにて開催されている画像工学に関する国際会議International Workshop on Advanced Image Technology 2024 (IWAIT 2024) にて，メディアダイナミクス研究室から以下の論文に関する発表を行いました！
Ryota Goka, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Huang-Chia Shih, Miki Haseyama, “Masked Modeling-based Action Event Prediction Considering Bidirectional Time-series in Soccer”.
また，本発表は同会議のBest Paper Awardに選ばれました！

視覚言語モデルのIn-context Few-shot Learningによる構造物劣化画像からの自動所見生成に関する論文が、Journal of Robotics and Mechatronics(Impact Factor: 1.1)に採録されました。
Yuto Watanabe, Naoki Ogawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Automatic findings generation for distress images using in-context few-shot learning of visual language model based on image similarity and text diversity,” Journal of Robotics and Mechatronics (Accepted for publication)

【AI・データサイエンス論文賞】
Intelligence, Informatics and Infrastructure Award for Excellent Paper
地下鉄トンネル点検技術者の新規変状の発見率向上に向けた一人称視点映像からの変状検出
　櫻井 慶悟, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀
【AI・データサイエンス奨励賞】
Intelligence, Informatics and Infrastructure Award for Outstanding Potential Paper
時系列データを用いたMulti-modal Transformerに基づく冬期路面状態の分類
　諸戸 祐哉, 前田 圭介, 藤後 廉, 小川 貴弘, 長谷山 美紀

https://committees.jsce.or.jp/struct1002/node/42?fbclid=IwAR1KCa7fUrPz3YuzyB3–V6sgGuqZHartu0aa8mi399GfDhiWTvK0Zxu3Mg

世界最高峰の信号処理に関する国際会議 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2024)にメディアダイナミクス研究室より投稿した以下の9件の論文が採択されました！
ICASSPは、IEEE Signal Processing Societyのフラグシップカンファレンスであり、Google ScholarのSignal Processingのカテゴリにおける国際会議の中で1位にランクしています。来年は韓国ソウルで開催です。
【Regular Track】
[1] Masaki Kashiwagi, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Enhancing Noisy Label Learning via Unsupervised Contrastive Loss with Label Correction Based on Prior Knowledge”
[2] Masaya Sato, Keisuke Maeda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Caption Unification for Multi-view Lifelogging Images Based on In-context Learning with Heterogeneous Semantic Contents”
[3] Haruka Matsuda, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Multi-object Editting in Personalized Text-to-image Diffusion Models via Segmentation Guidance”
[4] Tatsuki Seino, Naoki Saito, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “Confidence-aware Spatial-temporal Attention Graph Convolutoinal Network for Skeleton-based Expert-Novice Level Classification”
[5] Yuhu Feng, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Privacy Preserving Gaze Estimation via Federated Learning Adapted to Egocentric Video”
[6] He Zhu, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Prompt-based Personalized Federated Learning for Medical Visual Question Answering”
【OJSP Track】
[7] Zongyao Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Source-data-free cross-domain knowledge transfer for semantic segmentation”
[8] Yuya Moroto, Yingrui Ye, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Zero-shot Visual Sentiment Prediction via Cross-domain Knowledge Distillation”
[9] Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “TolerantGAN: Text-guided Image Manipulation Tolerant to Real-world Image”