近日，群众顶级信号处理时候会议 ICASSP 2022 公布了论文入选名单。由王君乐博士指导的腾讯Turing Lab施行室论文——《针敌手机游戏的主不雅与客不雅视频质料评价》（Subjective and Objective Quality Assessment of Mobile Gaming Video）、《引入用户共鸣学习的好意思学质料展望》（Considering User Agreement in Learning to Predict the Aesthetic Quality）被大会收受。

ICASSP?(International Conference on Acoustics, Speech, and Signal Processing)是国外声学、语音和信号处搭理议。是由IEEE掌握的全天下最大的、亦然最全面的信号处理过甚欺诈方面的顶级学术会议，具有泰斗、昔日的学界及工业界影响力。往届ICASSP会议皆备受AI界限连络学者的热议和柔软。

这次，腾讯Turing Lab施行室在国外舞台全主义展示了腾讯在视频质料评价、图像质料评价方面的实力。

以下为腾讯Turing Lab施行室入选论文抽象：

01.针敌手机游戏的主不雅与客不雅视频质料评价

Subjective and Objective Quality Assessment of Mobile Gaming Video 连年来，手机游戏在系数游戏阛阓中占据的份额已超50%，手游有关本色也成为酬酢媒体平台上短视频的热切构成部分。同期，基于视频流的云游戏也逐渐眩惑了越来越多的用户。跟着这些游戏有关的视频流媒体时候和做事的华贵发展，用户对游戏的质料体验(QoE, Quality of Experience)提倡了更高的条目。只好对这个视频链路及本色推崇进行愈加严格的质料把控，才不错为用户带来更佳的游戏体验。

画质看成质料体验QoE的热切维度之一，若何正确地展望东说念主眼感知的画质在很长一段时间内一直是学术界及工业界连络的重心及热门。相关词，当今大宗的已有连络主要聚焦在传统的视频本色上，包括PGC本色、UGC本色、以及面向线上会议和分享屏幕等场景的特定本色等。当这些画质评价行径径直欺诈在游戏视频时，性能推崇一般。

因此，在本篇论文中，咱们针敌手机游戏在云游戏场景下的画斥责题，进行了主不雅施行及客不雅算法模子研发的有关责任。咱们先从腾讯前卫云游戏平台上选择17款手机游戏中，并针对不同场景网罗了共150段源视频，之后使用多种编码器和编码参数构造出1293段视频。咱们基于ITU有关圭表进行严格的主不雅施行，从而取得了全新的针敌手机游戏的视频质料评价数据集TGV dataset（Tencent Gaming Video dataset）。

在这篇论文中，咱们提倡质料评价模子ERAQUE(Efficient hard-RAnk QUality Estimator)。聚集新提倡的清贫样本排序耗费（Hard Pairwise Ranking Loss， Fig1），该模子在教师经由中不错愈加针对相同的样本对，从而学习到更细粒度的失真信息，进一步普及模子的性能。在提倡的TGV数据集上，咱们进行了模子教师和对比侦探，施行放胆标明ERAQUE模子比较业界其他质料评价模子推崇出了更好的性能。

临了，为了让模子以在端侧更高效地推理，咱们使用学问蒸馏的有筹算（Fig.2）对ERAQUE模子进行压缩和加快，最终兑现ERAQUE模子的轻量化部署，施行放胆标明ERAQUE模子配合提倡的蒸馏战术不错使模子在复杂度和性能之间兑现高度衡量。

02. 引入用户共鸣学习的好意思学质料展望

Considering User Agreement in Learning to Predict the Aesthetic Quality 连年来，针对图像的视觉好意思感评价时候在好多欺诈场景中证据着热切作用，包括图像的自动化剪辑、图像生成、以及在本色保举界限等。因此，图像好意思学评价成为了学术界及工业界热门的连络课题。

与传统的图像质料评价问题不同，由于东说念主在进行好意思学评价时会引入更多high-level的评价维度，如表情、画面布局、色调搭配与合作性等，这也使得好意思学评价比较针对失真进行的传统图像质料评价，具有更高的主不雅性与不细目性(见Figure 1)。

Figure 1：在这两幅图中，评测东说念主员关于A图的好意思感评分具有更高的不细目性（圭表差σ=1.36），而关于B图，评测东说念主员关于好意思感的评分则趋于一致（圭表差σ=0.59）

在这篇论文中，咱们提倡了转变了的多任务attention蚁合（见Figure 2及Figure 3），不错对输入图像的好意思学MOS分数，以及代表了该分数不一致性的圭表差进行端到端的展望。在耗费函数方面，咱们同期也提倡了全新的针对的置信区间排序耗费（confidence interval ranking loss）,用于促使模子在教师经由中更多地柔软具有更高好意思学不细目性的图像对，从而学习到更具有分别性地特征，以及与不雅测者不细目性更有关的特征。

Figure 2: 著述所提倡模子的总体架构

6

Figure 3: 著述所提倡的LMLSP模块

在这个责任中，咱们通过大宗的实考据明了咱们所提倡多任务学习好意思学模子不但在游戏图像的好意思学展望中具有稠密上风，同期关于传统的当然本色图像好意思学展望任务，也达到了很好的效果。

产学研聚集，落地业务，反哺时候

在业务层面，以上AI时候均已欺诈到腾讯前卫云游戏平台，腾讯前卫云游戏通过Turing Lab画质评价、多媒体视频质料评价、本色生成及虚实互动等技艺，奋力于于全主义的普及云游戏画质推崇，打造云游戏极致的用户体验。

除了在C端业务的落地除外，在面向产业互联网层面，Turing Lab的视频质料评价时候也依然通过“腾讯WeTest质料云平台“对外绽放，行业用户不错通过体验Demo快速体验了解到该时候。

除此除外，在AI欺诈上的探索，腾讯WeTest官网近期全新上线了AI做事专区，并同步推出视频画质评价/游戏本色安全处治有筹算等居品技艺。畴昔，腾讯WeTest将抓续在科研界限深耕，并奋力于于将AI时候前沿连络与测试场景进行和会，用时候初始测试乃至质料保险行业的发展，并以绽放格调，对外输出优秀的时候技艺，助力行业的发展。

王君乐博士简介

腾讯行家连络员，Turning Lab认真东说念主

领有10余年策动机视觉、多媒体、机器学习界限连络教会，在东说念主体姿态预料与重建、图像质料评价、策动影相学、千里浸式多媒体等界限有较深的了解及实战教会，并在这些界限指导团队进行探索与落地的责任。曾主导腾讯CenseoQoE画质评价有筹算的成就与社区开源，主导腾讯前卫云游戏云表虚实互动时候的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文体育游戏app平台，并为多个会议及期刊担任审稿东说念主及组织者。