NEWS お知らせ

令和3年度 電気・情報関係学会北海道支部連合大会での当研究室の発表に関して、修士1年生の櫻井君、学部4年生の小野寺君、吉田君が若手優秀論文発表賞を受賞しました！
おめでとうございます！

櫻井 慶悟, 藤後 廉, 小川 貴弘, 長谷山 美紀: “メタデータを考慮した楽曲グラフ探索に基づく強化学習を用いた楽曲プレイリスト生成に関する検討”, 令和3年度 電気・情報関係学会北海道支部連合大会, pp.108-109 (2021)

小野寺 望, 前田 圭介, 小川 貴弘, 長谷山 美紀: “Shilling attackの状況下における グラフ解析に基づく推薦システムの脆弱性の検証”, 令和3年度 電気・情報関係学会北海道支部連合大会, pp.121-122 (2021)

吉田 将規, 藤後 廉, 小川 貴弘, 長谷山 美紀: “Audio-visual立体化モデルを用いた画面外音声検出に関する検討ー自己教師あり学習手法に基づくAudio-visual特徴表現の導入ー”, 令和3年度 電気・情報関係学会北海道支部連合大会, pp.158-159 (2021)

https://www.ieice.org/hokkaido/shibukai2021/

当研究室から投稿していたガウス過程潜在変数モデルに関する研究成果が国際論文誌IEEE Access (Impact Factor 3.367)に採択されました．
Kyohei Kamikawa, Keisuke Maeda, Takahiro Ogawa and Miki Haseyama, “Feature Integration through Semi-supervised Multimodal Gaussian Process Latent Variable Model with Pseudo-labels for Interest Level Estimation” IEEE Access, 2021.

https://ieeeaccess.ieee.org/

小川准教授がアドバイザーとして参画するAI/eye Riverワーキングに関して、以下で紹介されました。
1. “解析活用へ初会合　河川管理、AIで高度化”, 北海道建設新聞 (2021)
2. “河川構造物監視自動化　開発局　AI画像解析技術を活用”, 北海道通信 (2021)

https://www.decn.co.jp/?p=123797
https://dotsu.co.jp/reports/result/6199

メディアダイナミクス研究室では、対象とする研究領域の拡大に伴い、教育・研究理念の表現、研究室ブランドの一層の強化を目指し、新たに研究室ロゴマークを策定しました。
このロゴマークは、当研究室が目指す『知能』と『メディア』の融合を表しています。ロゴの外観では、知能の中枢を司る脳がネットワークにより表現されています。また、中心部分の『M』は、当研究室の強みであるマルチメディア解析やマルチモーダル技術を表現しています。

メディアダイナミクス研究室に10月より3名の研究生が入学しました。また、11月に5名の学部3年生が配属しました。
現在、研究室のメンバーはスタッフ・学生、総勢43名となりました！

2021年11月5日～11月6日にかけて開催された令和3年度電気・情報関係学会北海道支部連合大会にて，以下の8件の発表を行いました．

– 画像特徴の表現能力が世界モデルのパフォーマンスに与える影響の検証, 大羽賀 駿也, 藤後 廉, 小川 貴弘, 長谷山 美紀

– メタデータを考慮した楽曲グラフ探索に基づく強化学習を用いた楽曲プレイリスト生成に関する検討, 櫻井 慶悟, 藤後 廉, 小川 貴弘, 長谷山 美紀

– Shilling attackの状況下におけるグラフ解析に基づく推薦システムの脆弱性の検証, 小野寺 望, 前田 圭介, 小川 貴弘, 長谷山 美紀

– Few-shot Learningを用いた感情ラベル推定における複数のデータセット利用に関する初期検討, 叶 穎睿, 諸戸 祐哉, 前田 圭介, 小川 貴弘, 長谷山 美紀

– グラフ畳み込みネットワークに基づくアニメイラストのマルチラベル画像認識に関する検討, 蘭 子文, 前田 圭介, 小川 貴弘, 長谷山 美紀

– テキスト入力型画像操作における操作領域に着目した精度評価に関する検討, 渡邉 優宇人, 藤後 廉, 前田 圭介, 小川 貴弘, 長谷山 美紀

– 自己教師あり学習を導入した潜在変数モデルによる低次元特徴の抽出に関する検討, 渡部 航史, 前田 圭介, 小川 貴弘, 長谷山 美紀

– Audio-visual立体化モデルを用いた画面外音声検出に関する検討 —自己教師あり学習手法に基づくAudio-visual特徴表現の導入—, 吉田 将規, 藤後 廉, 小川 貴弘, 長谷山 美紀

https://www.ieice.org/hokkaido/shibukai2021/

10月20日から10月24日にかけて中国成都市にてハイブリッド開催されているマルチメディア分野のトップカンファレンス ACM International Conference on Multimedia 2021 (ACM MM 2021) にてOral paperの発表を行いました！なお今年の口頭発表採択率は9.2%でした。

– Rintaro Yanagi, Ren Togo, Takahiro Ogawa and Miki Haseyama, “Database-adaptive Re-ranking for Enhancing Cross-modal Image Retrieval,” ACM MM, 2021. (Accepted)
https://2021.acmmm.org/

研究代表者として活発に民間企業等との共同研究を実施した若手研究者で、今後の共同研究促進が期待される者を選考する「若手産学共同研究促進事業」研究院長賞に小川准教授が選ばれました。
長谷山研究院長より賞が授与されました！

M1櫻井君がBest Student Presentation Awardを受賞しました！

10月14日にオンラインで開催されたThe 1st Hokkaido Young Professionals Workshopにて以下の発表を行ったM1櫻井君がBest Student Presentation Awardを受賞しました。
おめでとうございます！

【発表タイトル】
Listener Recommendation for Artists and Effective Method with High Explainability

https://r10.ieee.org/sapporo-yp/2021/10/06/call-for-participation-the-1st-hokkaido-young-professionals-workshop/

2021年10月12日～15日に京都で開催されているコンシューマーエレクトロニクスのフラグシップ国際会議 2021 IEEE 10th Global Conference on Consumer Electronics (GCCE 2021)にて、当研究室より15件の発表を行い、4件が受賞しました。
おめでとうございます！

受賞：
(A) Shunya Ohaga： Gold Prize, Excellent Poster Award
(B) Taisei Hirakawa： Gold Prize, Excellent Student Poster Award
(C) Saya Takada： Silver Prize, Excellent Student Poster Award
(D) Ziwen Lan： Excellent Paper Award, Outstanding Paper Award

発表：
(01) Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Triplet Self-Supervised Learning for Gastritis Detection with Scarce Annotations”
(02) Saya Takada, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Estimating Imagined Images from fMRI Activities via Visual Question Answering”
(03) Yaozong Gan, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Multi-Class Similar Scene Retrieval in Soccer Videos: A Scene Confusion Reduction Method Based on Combination of Long and Short Frame Sequences”
(04) Yingrui Ye, Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Visual Sentiment Prediction Using Few-Shot Learning via Distribution Relations of Visual Features”
(05) Masaki Yoshida, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Detection of Off-Screen Sound Based on Loss Function of Self-Supervised Audio-Visual Spatialization”
(06) Jiahuan Zhang, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Defense Against Image Captioning Attacks via A Robust and Stable Recurrent Neural Network”
(07) Koshi Watanabe, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Movie Rating Estimation Based on Weakly Supervised Multi-Modal Latent Variable Model”
(08) Nozomu Onodera, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Graph Analysis-Based Recommendation via Entity Embeddings Using Wikipedia”
(09) Tsuyoshi Masuda, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Sports Action Detection Based on Self-Supervised Feature Learning and Object Detection”
(10) Yuto Watanabe, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Text-Guided Image Manipulation for Desired Region Using Referring Image Segmentation”
(11) Kaito Hirasawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “A Trial of Fine-Grained Classification of Expert-Novice Level Using Bio-Signals While Inspecting Subway Tunnels”
(12) Shunya Ohaga, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Action Classification from Egocentric Videos Using Reinforcement Learning-Based Pose Estimation”
(13) Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama, “Listener Recommendation for Artist Based on Knowledge Graph and Reinforcement Learning”
(14) Taisei Hirakawa, Keisuke Maeda, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “Analysis of Social Trends Related to COVID-19 Pandemic Utilizing Social Media Data”
(15) Ziwen Lan, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “Multi-Label Image Recognition Based on Multi-Modal Graph Convolutional Networks Using Captioning Features”

当研究室から投稿していた強化学習を用いた音楽推薦に関する成果 が、画像処理関連の国際会議2022 International Workshop on Advanced Image Technology (IWAIT 2022)へIWAIT へ採択されました！
– Keigo Sakurai, Ren Togo, Takahiro Ogawa Miki Haseyama, “Explainable Artist Recommendation Based on Reinforcement Knowledge Graph Exploration Authors,” IWAIT, 2022. (Accepted)
https://iwait.online/

マルチメディア検索に関する研究成果の論文がMultimedia Tools and Applicationsに採録されました。
本論文は、長岡技術科学大学 岩橋・原川研との共同研究の成果をまとめたものです。

Kazuma Ohtomo, Ryosuke Harakawa, Takahiro Ogawa, Miki Haseyama, and Masahiro Iwahashi, “User-centric Multimodal Feature Extraction for Personalized Retrieval of Tumblr Posts,” Multimedia Tools and Applications (Accepted for publication)

https://www.springer.com/journal/11042

異分野連携研究の成果が、以下の論文誌に採録されました。
当研究室より、長谷山教授、小川准教授が参加されています。

Takahiko Hariyama, Yasuharu Takaku, Hideya Kawasaki, Masatsugu Shimomura, Chiyo Senoh, Yumi Yamahama, Atsushi Hozumi, Satoru Ito, Naoto Matsuda, Satoshi Yamada, Toshiya Itoh, Miki Haseyama, Takahiro Ogawa, Naoki Mori, Shuhei So, Masahiro Ohara, Shuhei Nomura, Masao Hirasaka, “Microscopy and Biomimetics: the NanoSuit Method and Image Retrieval Platform,” Microscopy (Accepted for publication)

http://microscopy.or.jp/english/microscopy/

2021年9月19日～22日にオンラインで開催された世界最高峰の画像処理に関する国際会議The 28th IEEE International Conference on Image Processing (ICIP 2021: https://2021.ieeeicip.org/)にメディアダイナミクス研究室より以下の8件を発表しました！
IEEE ICIP2022は、フランスボルドーで開催予定です。

[1] Nao Nakagawa, Ren Togo, Takahiro Ogawa, Miki Haseyama, “INTERPRETABLE REPRESENTATION LEARNING ON NATURAL IMAGE DATASETS VIA RECONSTRUCTION IN VISUAL-SEMANTIC EMBEDDING SPACE”
[2] Yun Liang, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “DEEP METRIC NETWORK VIA HETEROGENIOUS SEMANTICS FOR IMAGE SENTIMENT ANALYSIS”
[3] Tomoki Haruyama, Ren Togo, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “SEGMENTATION-AWARE TEXT-GUIDED IMAGE MANIPULATION”
[4] Kaito Hirasawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “TIME-LAG AWARE MULTI-MODAL VARIATIONAL AUTOENCODER USING BASEBALL VIDEOS AND TWEETS FOR PREDICTION OF IMPORTANT SCENES”
[5] Kyohei Kamikawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “INTEREST LEVEL ESTIMATION VIA MULTI-MODAL GAUSSIAN PROCESS LATENT VARIABLE FACTORIZATION”
[6] Naoki Ogawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “CORRELATION-AWARE ATTENTION BRANCH NETWORK USING MULTI-MODAL DATA FOR DETERIORATION LEVEL ESTIMATION OF INFRASTRUCTURES”
[7] Taisei Hirakawa, Keisuke Maeda, Takahiro Ogawa, Satoshi Asamizu, Miki Haseyama, “CROSS-DOMAIN RECOMMENDATIN METHOD BASED ON MULTI-LAYER GRAPH ANALYSIS WITH VISUAL INFORMATIN”
[8] Yuya Moroto, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama, “FEW-SHOT PERSONALIZED SALIENCY PREDICTION USING PERSON SIMILARITY BASED ON COLLABORATIVE MULTI-OUTPUT GAUSSIAN PROCESS REGRESSION”

小川准教授が、オンデマンド配信「最先端のマルチメディアAI技術を学んでみよう！」およびLIVE配信のメディアネットワークコース説明会を実施しました。
約90名の学生が参加し、盛況となりました！

(1) Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama: “User Background Information-Aware Music Recommendation with Reinforcement Learning-Based Knowledge Graph Exploration”
(2) Naoki Ogawa, Keisuke Maeda, Takahiro Ogawa, Miki Haseyama: “Degradation Level Estimation of Road Structures via Attention Branch Network with Text Data”
(3) Guang Li, Ren Togo, Takahiro Ogawa, Miki Haseyama: “Cross-view Self-supervised Learning via Momentum Statistics in Batch Normalization”
http://www.icce-tw.org/index.html

当研究室の長谷山教授が2021年9月11日放送のテレビ北海道「けいナビ～応援！どさんこ経済～」に出演しました。当研究室が連携している株式会社ニトリホールディングスとの取り組みや新たな大学の産学連携の形について説明される様子が放送されました。

また、鈴木北海道知事やニトリホールディングス会長似鳥昭雄氏との対談したシンポジウムの内容についても放送されました。
https://nordot.app/808168285037510656?c=462419638605612129

マルチメディア系のトップジャーナルであるACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) (2020IF: 3.144)に当研究室の以下の論文が採録されました。
Rintaro Yanagi, Ren Togo, Takahiro Ogawa, Miki Haseyama, ““Interactive Re-ranking via Object Entropy-guided Question Answering for Cross-modal Image Retrieval” ACM Transactions on Multimedia Computing Communications and Applications (Accepted for publication)
https://dl.acm.org/journal/tomm

特任助教の前田 圭介先生が、2021 IEEE Sapporo Young Professionals Best Paper Awardを受賞しました。
本賞は、3年間にIEEEの論文を筆頭で執筆した著者の中から選ばれています。
IEEE Journal of Selected Topics in Signal Processing (2019IF 4.981)に掲載された論文が選ばれました。

誠におめでとうございます！

※写真撮影時のみマスクを外しています。
https://ja-jp.facebook.com/hokkaidoUniv.lmd/photos/a.1421862031376064/3095826373979613/

当研究室の長谷山教授が、日本経済新聞社会主催の北海道印刷50周年を記念したシンポジウムに登壇しました！ニトリホールディングス代表取締役会長の似鳥昭雄氏とともに未来の北海道のあり方について議論を行いました。また、鈴木直道北海道知事からもビデオメッセージが寄せられました。

尚、本シンポジウムの模様は9月11日放送の「けいナビ」にて放送される予定です。
https://www.nikkei.com/article/DGXZQOFC2787H0X20C21A8000000/