NEWS お知らせ

2021年10月12日～15日に京都で開催されているコンシューマーエレクトロニクスのフラグシップ国際会議 2021 IEEE 10th Global Conference on Consumer Electronics (GCCE 2021)にて、当研究室より15件の発表を行い、4件が受賞しました。
おめでとうございます！

受賞：
(A) Shunya Ohaga： Gold Prize, Excellent Poster Award
(B) Taisei Hirakawa： Gold Prize, Excellent Student Poster Award
(C) Saya Takada： Silver Prize, Excellent Student Poster Award
(D) Ziwen Lan： Excellent Paper Award, Outstanding Paper Award

発表：
(01) Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Triplet Self-Supervised Learning for Gastritis Detection with Scarce Annotations”
(02) Saya Takada, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Estimating Imagined Images from fMRI Activities via Visual Question Answering”
(03) Yaozong Gan, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Multi-Class Similar Scene Retrieval in Soccer Videos: A Scene Confusion Reduction Method Based on Combination of Long and Short Frame Sequences”
(04) Yingrui Ye, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Visual Sentiment Prediction Using Few-Shot Learning via Distribution Relations of Visual Features”
(05) Masaki Yoshida, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Detection of Off-Screen Sound Based on Loss Function of Self-Supervised Audio-Visual Spatialization”
(06) Jiahuan Zhang, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Defense Against Image Captioning Attacks via A Robust and Stable Recurrent Neural Network”
(07) Koshi Watanabe, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Movie Rating Estimation Based on Weakly Supervised Multi-Modal Latent Variable Model”
(08) Nozomu Onodera, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Graph Analysis-Based Recommendation via Entity Embeddings Using Wikipedia”
(09) Tsuyoshi Masuda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Sports Action Detection Based on Self-Supervised Feature Learning and Object Detection”
(10) Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Text-Guided Image Manipulation for Desired Region Using Referring Image Segmentation”
(11) Kaito Hirasawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “A Trial of Fine-Grained Classification of Expert-Novice Level Using Bio-Signals While Inspecting Subway Tunnels”
(12) Shunya Ohaga, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Action Classification from Egocentric Videos Using Reinforcement Learning-Based Pose Estimation”
(13) Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Listener Recommendation for Artist Based on Knowledge Graph and Reinforcement Learning”
(14) Taisei Hirakawa, Keisuke Maeda, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “Analysis of Social Trends Related to COVID-19 Pandemic Utilizing Social Media Data”
(15) Ziwen Lan, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Multi-Label Image Recognition Based on Multi-Modal Graph Convolutional Networks Using Captioning Features”

当研究室から投稿していた強化学習を用いた音楽推薦に関する成果 が、画像処理関連の国際会議2022 International Workshop on Advanced Image Technology (IWAIT 2022)へIWAIT へ採択されました！
– Keigo Sakurai, Ren Togo, Takahiro Ogawa Miki Haseyama, “Explainable Artist Recommendation Based on Reinforcement Knowledge Graph Exploration Authors,” IWAIT, 2022. (Accepted)
https://iwait.online/

マルチメディア検索に関する研究成果の論文がMultimedia Tools and Applicationsに採録されました。
本論文は、長岡技術科学大学 岩橋・原川研との共同研究の成果をまとめたものです。

Kazuma Ohtomo, Ryosuke Harakawa, Takahiro Ogawa, Miki Haseyama, and Masahiro Iwahashi, “User-centric Multimodal Feature Extraction for Personalized Retrieval of Tumblr Posts,” Multimedia Tools and Applications (Accepted for publication)

https://www.springer.com/journal/11042

異分野連携研究の成果が、以下の論文誌に採録されました。
当研究室より、長谷山教授、小川准教授が参加されています。

Takahiko Hariyama, Yasuharu Takaku, Hideya Kawasaki, Masatsugu Shimomura, Chiyo Senoh, Yumi Yamahama, Atsushi Hozumi, Satoru Ito, Naoto Matsuda, Satoshi Yamada, Toshiya Itoh, Miki Haseyama, Takahiro Ogawa, Naoki Mori, Shuhei So, Masahiro Ohara, Shuhei Nomura, Masao Hirasaka, “Microscopy and Biomimetics: the NanoSuit Method and Image Retrieval Platform,” Microscopy (Accepted for publication)

http://microscopy.or.jp/english/microscopy/

2021年9月19日～22日にオンラインで開催された世界最高峰の画像処理に関する国際会議The 28th IEEE International Conference on Image Processing (ICIP 2021: https://2021.ieeeicip.org/)にメディアダイナミクス研究室より以下の8件を発表しました！
IEEE ICIP2022は、フランスボルドーで開催予定です。

[1] Nao Nakagawa, Ren Togo, Takahiro Ogawa, Miki Haseyama, “INTERPRETABLE REPRESENTATION LEARNING ON NATURAL IMAGE DATASETS VIA RECONSTRUCTION IN VISUAL-SEMANTIC EMBEDDING SPACE”
[2] Yun Liang, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “DEEP METRIC NETWORK VIA HETEROGENIOUS SEMANTICS FOR IMAGE SENTIMENT ANALYSIS”
[3] Tomoki Haruyama, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “SEGMENTATION-AWARE TEXT-GUIDED IMAGE MANIPULATION”
[4] Kaito Hirasawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “TIME-LAG AWARE MULTI-MODAL VARIATIONAL AUTOENCODER USING BASEBALL VIDEOS AND TWEETS FOR PREDICTION OF IMPORTANT SCENES”
[5] Kyohei Kamikawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “INTEREST LEVEL ESTIMATION VIA MULTI-MODAL GAUSSIAN PROCESS LATENT VARIABLE FACTORIZATION”
[6] Naoki Ogawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “CORRELATION-AWARE ATTENTION BRANCH NETWORK USING MULTI-MODAL DATA FOR DETERIORATION LEVEL ESTIMATION OF INFRASTRUCTURES”
[7] Taisei Hirakawa, Keisuke Maeda, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “CROSS-DOMAIN RECOMMENDATIN METHOD BASED ON MULTI-LAYER GRAPH ANALYSIS WITH VISUAL INFORMATIN”
[8] Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “FEW-SHOT PERSONALIZED SALIENCY PREDICTION USING PERSON SIMILARITY BASED ON COLLABORATIVE MULTI-OUTPUT GAUSSIAN PROCESS REGRESSION”

小川准教授が、オンデマンド配信「最先端のマルチメディアAI技術を学んでみよう！」およびLIVE配信のメディアネットワークコース説明会を実施しました。
約90名の学生が参加し、盛況となりました！

(1) Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama: “User Background Information-Aware Music Recommendation with Reinforcement Learning-Based Knowledge Graph Exploration”
(2) Naoki Ogawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama: “Degradation Level Estimation of Road Structures via Attention Branch Network with Text Data”
(3) Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama: “Cross-view Self-supervised Learning via Momentum Statistics in Batch Normalization”
http://www.icce-tw.org/index.html

当研究室の長谷山教授が2021年9月11日放送のテレビ北海道「けいナビ～応援！どさんこ経済～」に出演しました。当研究室が連携している株式会社ニトリホールディングスとの取り組みや新たな大学の産学連携の形について説明される様子が放送されました。

また、鈴木北海道知事やニトリホールディングス会長似鳥昭雄氏との対談したシンポジウムの内容についても放送されました。
https://nordot.app/808168285037510656?c=462419638605612129

マルチメディア系のトップジャーナルであるACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) (2020IF: 3.144)に当研究室の以下の論文が採録されました。
Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, ““Interactive Re-ranking via Object Entropy-guided Question Answering for Cross-modal Image Retrieval” ACM Transactions on Multimedia Computing Communications and Applications (Accepted for publication)
https://dl.acm.org/journal/tomm

特任助教の前田 圭介先生が、2021 IEEE Sapporo Young Professionals Best Paper Awardを受賞しました。
本賞は、3年間にIEEEの論文を筆頭で執筆した著者の中から選ばれています。
IEEE Journal of Selected Topics in Signal Processing (2019IF 4.981)に掲載された論文が選ばれました。

誠におめでとうございます！

※写真撮影時のみマスクを外しています。
https://ja-jp.facebook.com/hokkaidoUniv.lmd/photos/a.1421862031376064/3095826373979613/

当研究室の長谷山教授が、日本経済新聞社会主催の北海道印刷50周年を記念したシンポジウムに登壇しました！ニトリホールディングス代表取締役会長の似鳥昭雄氏とともに未来の北海道のあり方について議論を行いました。また、鈴木直道北海道知事からもビデオメッセージが寄せられました。

尚、本シンポジウムの模様は9月11日放送の「けいナビ」にて放送される予定です。
https://www.nikkei.com/article/DGXZQOFC2787H0X20C21A8000000/

(01) Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Triplet Self-Supervised Learning for Gastritis Detection with Scarce Annotations”
(02) Saya Takada, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Estimating Imagined Images from fMRI Activities via Visual Question Answering”
(03) Yaozong Gan, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Multi-Class Similar Scene Retrieval in Soccer Videos: A Scene Confusion Reduction Method Based on Combination of Long and Short Frame Sequences”
(04) Yingrui Ye, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Visual Sentiment Prediction Using Few-Shot Learning via Distribution Relations of Visual Features”
(05) Masaki Yoshida, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Detection of Off-Screen Sound Based on Loss Function of Self-Supervised Audio-Visual Spatialization”
(06) Jiahuan Zhang, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Defense Against Image Captioning Attacks via A Robust and Stable Recurrent Neural Network”
(07) Koshi Watanabe, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Movie Rating Estimation Based on Weakly Supervised Multi-Modal Latent Variable Model”
(08) Nozomu Onodera, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Graph Analysis-Based Recommendation via Entity Embeddings Using Wikipedia”
(09) Tsuyoshi Masuda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Sports Action Detection Based on Self-Supervised Feature Learning and Object Detection”
(10) Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Text-Guided Image Manipulation for Desired Region Using Referring Image Segmentation”
(11) Kaito Hirasawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “A Trial of Fine-Grained Classification of Expert-Novice Level Using Bio-Signals While Inspecting Subway Tunnels”
(12) Shunya Ohaga, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Action Classification from Egocentric Videos Using Reinforcement Learning-Based Pose Estimation”
(13) Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Listener Recommendation for Artist Based on Knowledge Graph and Reinforcement Learning”
(14) Taisei Hirakawa, Keisuke Maeda, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “Analysis of Social Trends Related to COVID-19 Pandemic Utilizing Social Media Data”
(15) Ziwen Lan, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Multi-Label Image Recognition Based on Multi-Modal Graph Convolutional Networks Using Captioning Features”

当研究室から投稿していたDisentanglementに関する研究成果が国際論文誌IEEE Access (Impact Factor 3.367)に採択されました．
Nao Nakagawa, Ren Togo, Takahiro Ogawa and Miki Haseyama, “Disentangled Representation Learning in Real-World Image Datasets via Image Segmentation Prior” IEEE Access, 2021.
https://ieeeaccess.ieee.org/

当研究室から投稿していたクロスモーダル画像検索に関する成果 (regular paper)が、マルチメディア解析分野のトップカンファレンス ACM International Conference on Multimedia 2021 (ACM MM 2021) にOral paper候補として採録されました！
– Rintaro Yanagi, Ren Togo, Takahiro Ogawa and Miki Haseyama, “Database-adaptive Re-ranking for Enhancing Cross-modal Image Retrieval,” ACM MM, 2021. (Accepted)
https://2021.acmmm.org/

当研究室と住友ゴム工業株式会社との共同研究成果であるタイヤの性能持続技術開発を加速させるAI技術『Tyre Leap AI Analysis』に基づく記事広告が，世界トップクラスの研究成果のデータベース「Nature Index」ウェブサイトの材料科学特集として掲載されました。

■「Nature Index」概要
2019 年に創刊 150 年をむかえた「Nature」は，世界で最も権威ある総合科学ジャーナルの一つです。「Nature Index」は，第一線で活躍している現役研究者が独自に厳選した高品質の研究成果を国・機関別にプロファイリングするデータベースです。世界トップクラスの研究成果及び共同研究のグローバルな指標となります。

◆Nature Index 記事ページ：https://www.nature.com/articles/d42473-021-00181-9
詳しくは掲載記事をご覧ください。
◆北海道大学プレスリリース
https://www.hokudai.ac.jp/news/pdf/210702_pr3.pdf
◆住友ゴム工業株式会社プレスリリース
https://www.srigroup.co.jp/newsrelease/2021/sri/2021_049.html
◆論文リンク
https://ieeexplore.ieee.org/abstract/document/8889738

映像情報メディア学会 丹羽高柳賞論文賞の賞状と盾が授与されました。
2020年にITE Transactions on Media Technology and Applicationsに掲載された以下の論文が受賞対象となります。
Tomoki Haruyama, Sho Takahashi, Takahiro Ogawa, Miki Haseyama: “Multimodal Important Scene Detection in Far-view Soccer Videos Based on Single Deep Neural Architecture,” ITE Transactions on Media Technology and Applications, vol. 8, no. 2, pp. 89-99 (2020)
https://www.jstage.jst.go.jp/article/mta/8/2/8_89/_article/-char/ja/

2021年6月16日の日本経済新聞に当研究室の記事「北海道大 情報科学研究院　AI活用でインフラ点検」が掲載されました。
当研究室の土木工学、医学等の異分野連携について広く紹介頂きました。

https://www.nikkei.com/article/DGXZQOFC2643M026052021000000/

(1) Yusuke Akamatsu, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama：”Classification of Expert-novice Level Using Eye Tracking and Motion Data via Conditional Multimodal Variational Autoencoder”
(2) Yun Liang, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama: “Cross-Domain Semi-Supervised Deep Metric Learning for Image Sentiment Analysis”
(3) Zongyao Li, Ren Togo, Takahiro Ogawa, Miki Haseyama: “Semantic-aware Unpaired Image-to-image Translation for Urban Scene Images”
(4) Takaaki Higashi, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama: “Estimation of Visual Features of Viewed Image from Individual and Shared Brain Information Based on fMRI Data Using Probabilistic Generative Model”
(5) Masanao Matsumoto, Keisuke Maeda, Naoki Saito, Takahiro Ogawa, Miki Haseyama: “Multi-modal Label Dequantized Gaussian Process Latent Variable Model for Ordinal Label Estimation”
(6) Kyohei Kamikawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama: “Feature Integration via Semi-supervised Ordinally Multi-modal Gaussian Process Latent Variable Model”
(7) Ryosuke Sawata, Takahiro Ogawa, Miki Haseyama: “Human-centered Favorite Music Classification Using EEG-based Individual Music Preference via Deep Time-series CCA”

https://2021.ieeeicassp.org/

2021年6月4日（金)に開催された電子情報通信学会 信号処理研究会・画像工学研究会・バイオメトリクス研究会、映像情報メディア学会 メディア工学研究会・情報センシング研究会 合同研究会にて、小川准教授が以下の招待講演を行いました。

「［招待講演］マルチメディアAI技術に基づく異分野融合研究と実社会応用」

https://www.ite.or.jp/ken/paper/20210604wAjc/

放送映像とSNSへのつぶやきの時間遅延を考慮した新たな相関分析理論に関する研究の成果が国際論文誌IEEE ACCESS (Impact Factor 3.745)に採択されました．
K. Hirasawa, K. Maeda, T. Ogawa and M. Haseyama, “Detection of Important Scenes in Baseball Videos via Bidirectional Time Lag Aware Deep Multiset Canonical Correlation Analysis,” IEEE ACCESS, 2021.

https://ieeeaccess.ieee.org/