KDD2023の読んだ論文まとめ (1)
最近はKDD2023の Applied Data Science Track で気になった論文を少しずつ読んでいるので、簡単にメモを残そうと思う。
Variance Reduction Using In-Experiment Data: Efficient and Targeted Online Measurement for Sparse and Delayed Outcomes
A/Bテストの感度を上げるために、実験中のデータも使ってメトリクスの分散を下げようという提案。Airbnbで実際に有効に機能しているらしい。この話題だと、CUPED のように実験前のデータを使って分散の小さいメトリクスを構成するアイディアがよく知られているが、実験中にライブでその値をアップデートしていくのが新しい。
CTRのような単純なメトリクスは分散が小さく実験で白黒付けやすいことが多い一方で、本当に上げたいLTV的指標は検出力が低いという状況は、実際にサービスの改善に携わるとよく経験する。
Multi-channel Integrated Recommendation with Exposure Constraints
Alibabaのホームフィードに掲載するアイテム配置の最適化に関する論文。ホーム面には複数のチャネルからの出稿があり、それぞれ独立に評価値がついている。ホーム面 utility を最大化したいが、その一方で、それぞれのチャネルの露出量に対する上限下限のビジネス制約もある。提案としては、utility 最大化のための主問題と、制約を満たすための双対問題を iterative に解くという形。
CT4Rec: Simple yet Effective Consistency Training for Sequential Recommendation
系列推薦モデルの精度向上のための正則化手法の提案。ベースのモデルは埋め込みの類似度を利用するものであればなんでもよく、異なる dropout で2回 forward 計算をし、得られた同一のユーザーベクトル同士が近くなるようにする。具体的には、二つのベクトル間の KL divergence と、バッチ内での他のユーザーベクトルとの類似度分布に対する KL divergence の二つを導入している。アイディアはシンプルなので、機会があったら実装してみたい。
An Empirical Study of Selection Bias in Pinterest Ads Retrieval
Pinterest の広告推薦モデルにおける retrieval ステージのバイアス除去に関する論文。Retrieval の推論時の candidate pool は targeting された全広告だが、学習は ranker がスコアをつけたものしかなく、バイアスが生じる原因となっている。結果を見ると、提案手法のドメイン適応も結構良いが、普通に in-batch negative sampling でも十分良さそうに見えてしまう。