近日,我院百人计划研究员宛袁玉与南京大学张利军教授、我校宋明黎教授合作完成的学术论文《Improved Dynamic Regret for Online Frank-Wolfe》被国际学习理论大会(Annual Conference on Learning Theory,COLT)录用。论文第一作者是宛袁玉老师,第一单位是必发bifa官方网站。COLT始于1988年,是机器学习理论方面的顶级国际会议,难度较高。截至2022年,中国大陆科研机构参与的论文共34篇,其中完全由大陆科研机构完成的论文仅有8篇。该工作是我院在机器学习理论研究方面取得的突破性进展,这也是浙江大学首次在COLT上发表论文。
论文概述:Online Frank-Wolfe (OFW)作为求解复杂约束下大规模机器学习问题的高效算法受到了广泛关注。然而绝大多数现有工作专注于研究其静态遗憾,在面对实际应用中的非稳态环境时无法保证学习效果。针对该问题,本文旨在研究和建立OFW算法的动态遗憾理论。与静态遗憾不同,动态遗憾将学习算法与每个回合的最优决策进行对比,因此即使在非稳态环境下也能够准确反应学习效果。虽然有部分工作尝试分析OFW算法的动态遗憾,但是目前的理论上界存在三个严重的问题。第一,与函数变化量呈线性依赖,而非次线性;第二,仍然依赖于算法的运行过程,具体阶数尚无法保证;第三,没有正确利用损失函数的光滑性。本文首先为OFW算法在光滑函数下建立了仅与函数变化量以及总回合数呈次线性依赖的动态遗憾上界,完美解决了上述三个问题。此外,本文还进一步研究了函数具备强凸性且约束集合具备强凸等特殊性质的情况,为OFW算法建立了更紧的动态遗憾上界。