Netflix旨在通過(guò)創(chuàng)造引人入勝的內(nèi)容，幫助會(huì)員發(fā)現(xiàn)他們所熱愛的游戲娛樂世界。其中的關(guān)鍵在于，需要充分理解產(chǎn)品升級(jí)與會(huì)員快樂指標(biāo)相關(guān)聯(lián)的因果效應(yīng)。

此前，Netflix往往通過(guò)AB測(cè)試來(lái)衡量二者之間的因果效應(yīng)。而當(dāng) AB測(cè)試產(chǎn)生局限性時(shí)，則可以通過(guò)準(zhǔn)實(shí)驗(yàn)（quasi-experimentation）來(lái)解決這一問題。Netflix公司的許多科學(xué)家都對(duì)因果效應(yīng)的分析方式做出了貢獻(xiàn)。

近期，Netflix的科學(xué)家們聚在一起，舉辦了一次內(nèi)部的因果推理和實(shí)驗(yàn)峰會(huì)，以此增進(jìn)彼此間的相互交流與學(xué)習(xí)，并借機(jī)慶祝一下。為期一周的會(huì)議邀請(qǐng)了來(lái)自內(nèi)容、產(chǎn)品和會(huì)員團(tuán)隊(duì)的演講者，共同學(xué)習(xí)交流因果推理的開發(fā)和應(yīng)用。與會(huì)者進(jìn)行了廣泛的議題交流，內(nèi)容涵蓋差分估計(jì)、雙機(jī)器學(xué)習(xí)、貝葉斯AB測(cè)試以及推薦系統(tǒng)中的因果推理。

(資料圖片僅供參考)

在這篇博文中，我選擇了其中幾個(gè)議題，與讀者分享這次峰會(huì)的情況，探究社區(qū)Netflix因果推理的廣度。希望通過(guò)進(jìn)一步的深入交流或其它博文與讀者建立聯(lián)系！

本地化的影響得以加大

Yinghong Lan, Vinod Bakthavachalam, Lavanya Sharan, Marie Douriez, Bahar Azarnoush, Mason Kroll

Netflix公司熱衷于為會(huì)員提供來(lái)自全球的動(dòng)人故事，這為世界各地的人們所喜愛。目前對(duì)30多種語(yǔ)言和190個(gè)國(guó)家的媒體內(nèi)容實(shí)現(xiàn)了本地化，通過(guò)字幕來(lái)定位會(huì)員最喜歡的內(nèi)容。理解會(huì)員查看到的本地化異構(gòu)增量值是工作的關(guān)鍵所在！

為了估計(jì)本地化的增量值，Netflix公司使用了歷史數(shù)據(jù)的因果推理方法。運(yùn)行大規(guī)模訓(xùn)練或隨機(jī)實(shí)驗(yàn)在技術(shù)層面和操作上都富有挑戰(zhàn)性，特別是當(dāng)那些無(wú)需對(duì)內(nèi)容進(jìn)行本地化的會(huì)員來(lái)說(shuō)，當(dāng)訪問他們喜歡的內(nèi)容時(shí)，應(yīng)對(duì)內(nèi)容的本地化有所保留。

使用雙機(jī)器學(xué)習(xí)來(lái)控制混雜因素，通過(guò)相似標(biāo)題比對(duì)來(lái)估計(jì)本地化增量的影響。

分析了不同語(yǔ)言的數(shù)據(jù)，應(yīng)用雙機(jī)學(xué)習(xí)方法來(lái)適當(dāng)?shù)乜刂茰y(cè)量的混雜因素。不僅研究了本地化對(duì)查看標(biāo)題的影響，而且還研究了本地化如何為會(huì)員的不同旅程增值。在穩(wěn)健性檢查方面，探索了通過(guò)多種模擬來(lái)評(píng)估增量估計(jì)的一致性和方差。這些見解在決定擴(kuò)大本地化規(guī)模，取悅世界各地的會(huì)員中發(fā)揮了關(guān)鍵作用。

新冠肺炎蔓延影響下，許多與配音相關(guān)的制作工作室都關(guān)閉了，于是，因果推理方法在本地化方面的應(yīng)用便出現(xiàn)了。為了理解配音延遲對(duì)觀看的影響，采用了合成控制的方法模擬在沒有延遲的情況下的觀看、在游戲發(fā)行時(shí)（無(wú)配音時(shí)）和游戲發(fā)布后（重新添加配音時(shí)）的觀看，并對(duì)其進(jìn)行了比較。

為了控制混雜因素，使用了一個(gè)安慰劑試驗(yàn)，對(duì)不受配音延遲影響的標(biāo)題進(jìn)行了重復(fù)分析。通過(guò)這種方式，估計(jì)出延遲配音的可用性會(huì)對(duì)會(huì)員查看標(biāo)題產(chǎn)生增量影響。如果配音制作室再次關(guān)閉，這些分析結(jié)果使得團(tuán)隊(duì)夠更有信心做出明智的決定。

制作創(chuàng)新的支撐實(shí)驗(yàn)

Travis Brooks, Cassiano Coria, Greg Nettles, Molly Jackman, Claire Lackner

Netflix做了很多反向AB測(cè)試，向用戶展示了無(wú)專業(yè)特征情況下的體驗(yàn)。通過(guò)測(cè)量新特征的長(zhǎng)期影響或重新檢查舊的假設(shè)，這大大改善了會(huì)員的用戶體驗(yàn)。然而，當(dāng)提出反向測(cè)試的話題時(shí)，在實(shí)驗(yàn)設(shè)計(jì)和/或工程成本方面往往非常復(fù)雜。

通過(guò)分享關(guān)于反向測(cè)試設(shè)計(jì)和執(zhí)行的最佳實(shí)踐，使得Netflix的反向測(cè)試更加明晰，以下方式在制作創(chuàng)新團(tuán)隊(duì)中廣為使用：

1.用過(guò)去的示例來(lái)定義反向測(cè)試的類型及用例；2.建議使得反向測(cè)試增值的機(jī)會(huì)；3.列舉反向測(cè)試所帶來(lái)的挑戰(zhàn)；4.確定能夠降低產(chǎn)品成本、工程團(tuán)隊(duì)部署成本和維護(hù)反向測(cè)試成本的未來(lái)投資。

反向測(cè)試在許多產(chǎn)品領(lǐng)域都有明確的價(jià)值，可以確認(rèn)學(xué)習(xí)知識(shí)、了解長(zhǎng)期影響、重新測(cè)試新會(huì)員的假設(shè)，并衡量累積價(jià)值。它們還可以作為一種簡(jiǎn)化后的產(chǎn)品測(cè)試方法，通過(guò)刪除未使用的特征，創(chuàng)建一個(gè)更無(wú)縫的用戶體驗(yàn)。在Netflix的許多領(lǐng)域，它們已經(jīng)普遍用于多種應(yīng)用。

概述反向測(cè)試如何工作，保留部分會(huì)員的長(zhǎng)期經(jīng)驗(yàn)，以獲得產(chǎn)品改進(jìn)的有價(jià)見解。

通過(guò)統(tǒng)一最佳實(shí)踐和提供更簡(jiǎn)單的工具，可以加速學(xué)習(xí)過(guò)程，并為會(huì)員創(chuàng)造最佳的產(chǎn)品體驗(yàn)，來(lái)訪問他們鐘愛的內(nèi)容。

因果排名：推薦模型的因果自適應(yīng)框架

Jeong-Yoon Lee, Sudeep Das

大多數(shù)用于個(gè)性化搜索的機(jī)器學(xué)習(xí)算法，包括深度學(xué)習(xí)算法，都是純粹的聯(lián)想算法，它們從特征和結(jié)果之間的相關(guān)性中學(xué)習(xí)如何最好地預(yù)測(cè)一個(gè)目標(biāo)。

在許多場(chǎng)景下，超越純粹的聯(lián)想性質(zhì)，通過(guò)理解采取某種行動(dòng)和由此產(chǎn)生的增量結(jié)果之間的因果機(jī)制，來(lái)做為決策的關(guān)鍵。因果推理提供了一種學(xué)習(xí)這種關(guān)系的方式，在與機(jī)器學(xué)習(xí)相結(jié)合時(shí)，成為了一種可大規(guī)模利用的強(qiáng)大工具。

與機(jī)器學(xué)習(xí)相比，因果推理允許建立一個(gè)健壯的框架來(lái)控制混雜因素，估計(jì)出會(huì)員的真實(shí)增量影響。

當(dāng)前，Netflix的許多應(yīng)用都是由推薦模型所驅(qū)動(dòng)，比如在主頁(yè)上看到的個(gè)性化內(nèi)容，均受益于額外添加的算法，這些算法盡量使得每條推薦對(duì)會(huì)員盡可能有用，而不僅僅是識(shí)別出某人最有可能參與的標(biāo)題或特征。在現(xiàn)有的系統(tǒng)之上添加新模型之后，可以幫助改進(jìn)當(dāng)前系統(tǒng)的建議，幫助會(huì)員找到現(xiàn)在想要流媒體的確切標(biāo)題。

為此，Netflix創(chuàng)建了一個(gè)框架，在基礎(chǔ)推薦系統(tǒng)之上應(yīng)用了一個(gè)輕的、因果的自適應(yīng)層，稱為因果排名框架。該框架由幾個(gè)組成部分組成：播放屬性印象、真正的負(fù)面標(biāo)簽收集、因果估計(jì)、離線評(píng)估和模型服務(wù)。

使用可重用的組件以一種通用的方式構(gòu)建這個(gè)框架，這樣Netflix中任何感興趣的團(tuán)隊(duì)都可以將這個(gè)框架用于他們的用例，從而在整個(gè)產(chǎn)品中改進(jìn)提供的建議。

Bellmania：Netflix及其應(yīng)用程序的增量賬戶生命周期估值

Reza Badri, Allen Tran

了解獲取或保留訂閱者的數(shù)值對(duì)于Netflix這樣的訂閱業(yè)務(wù)來(lái)說(shuō)至關(guān)重要，雖然通常用客戶使用壽命值(LTV)對(duì)會(huì)員進(jìn)行評(píng)估，但對(duì)LTV的簡(jiǎn)單測(cè)量可能會(huì)夸大獲取或保留會(huì)員的真實(shí)數(shù)值，因?yàn)闈撛跁?huì)員有可能在沒有任何干預(yù)的情況下加入進(jìn)來(lái)。

為此，Netflix建立了一種方法和必要的假設(shè)，利用基于增量LTV的因果解釋來(lái)估計(jì)獲取或保留訂閱者的幣值。這要求對(duì)Netflix在線LTV和線下Netflix LTV二者均進(jìn)行評(píng)估。

為了克服Netflix公司會(huì)員數(shù)據(jù)缺乏問題，他們采用了一種基于馬爾可夫鏈的方法，該方法從非用戶的數(shù)據(jù)中再現(xiàn)線下Netflix公司的LTV。

通過(guò)馬爾可夫鏈，可以估計(jì)出會(huì)員和非會(huì)員的增量值，從而捕獲未來(lái)潛在連接的數(shù)值。

此外，演示了如何利用該方法（1）預(yù)測(cè)總用戶數(shù)量，考慮可尋址市場(chǎng)約束和賬戶級(jí)動(dòng)態(tài)，（2）估計(jì)價(jià)格變化對(duì)收入和訂閱增長(zhǎng)的影響，（3）提供最優(yōu)政策，如價(jià)格折扣，將會(huì)員生命周期內(nèi)的預(yù)期收入最大化。

因果關(guān)系的度量是Netflix數(shù)據(jù)科學(xué)文化的很大一部分內(nèi)容，很自豪有這么多同事利用實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)來(lái)驅(qū)動(dòng)會(huì)員的印象。這次峰會(huì)是一個(gè)慶祝彼此工作的好方式，強(qiáng)調(diào)了利用因果方法創(chuàng)造出更多的商業(yè)價(jià)值。

【重磅】海南論道專題來(lái)襲，“碼”上查看：

責(zé)任編輯：侯亞麗

關(guān)鍵詞： 因果推理 機(jī)器學(xué)習(xí) 學(xué)習(xí)交流