2017-4-5 濤濤
產品改版前設計師該對哪些內容進行調研？改版后該用哪些指標、哪些數據要注意？筆者結合項目實踐，寫成此篇改版調研經驗小結（效果評估篇），歸納出一些通用型的經驗和流程來幫助設計師自行開展改版項目的調研工作。
互聯網產品的節奏特點就是小步快跑，不斷迭代優化，因此產品改版是很常見的情況。設計師和產品同學等也都意識到可以借助調研幫助實現業務目標和更好滿足用戶需求。但是在實際工作中，筆者經常會遇到設計師在改版前會來討論要調研的內容，表示不太清楚從何入手，或者改版后過來咨詢“我們想看看改版后的效果，但是不知道該用哪些指標，看哪些數據？” 鑒于以上情況，筆者結合項目實踐，歸納出一些通用型的經驗和流程來幫助設計師自行開展改版項目的調研工作，由于篇幅的問題，本文先只介紹改版后的效果評估部分，總結起來，可以從3個意識，5個環節入手，具體請看下文。
在介紹具體的實操流程前，先把個人認為非常重要的三個“意識”分享如下：
Tips 1：評估工作要提早開始準備，改版結束才想起來需要收集分析數據可能就來不及了；
Tips 2：改版目標要清晰、具體、可量化 ；
Tips 3：關注數據，更要重視和分析引起數據變化的原因（設計，功能等），以作為后續工作的指導。
筆者通常把效果評估流程分為以下幾個環節，根據大家集中集中反饋的問題情況，本文重點介紹制定指標和對比分析兩個環節。
1、明確改版目標
具體，可量化，可實現（目標數據合理；改版內容與目標相關較大）的改版目標是制定評估指標的前提。
【反例】改版目標：通過改版xx頁面，提升用戶體驗，促進用戶再次購買
【解讀】
1）不夠具體：用戶體驗包含的范圍太大了，具體指哪方面？效率，滿意度？如果不能清晰的定義，當然也就無法衡量。與之對應的，“促進再次購買”就可以通過“復購率”等指標進行解讀和評估。
2）不能量化：即使促進再次購買，那么計劃是提升多少？有了具體的目標數字，才能評估目標的完成程度，當然，如果目標是提升了就好，不在乎具體數字，那另當別論。
3）不容易實現：在本案例中，經過與設計師的溝通，發現改版的頁面是訂單列表頁，本次改版重點是解決收集到的的用戶體驗問題，減少操作失誤等，且改版內容也主要是信息布局等。可見，這些改版內容并不太能“促進再次購買”因此，制定這個目標并不太合適。
【修改后的目標】：通過改版XX頁面，用戶的一次操作成功率提升5%，解決體驗問題10個。
所以：如果下次苦于找不到改版效果評估的指標，可以先回頭檢查一下改版目標制定的是否具體，可量化，可實現。
2、根據改版目標制定衡量指標
當然，清晰的目標還是依賴于對目標的拆解能力的，不排除有些童鞋表示“我就是不知道如何從比較宏大的目標變成具體的小目標，該用哪些指標來表達呢”？ 或者之前就定的比較模糊，現在都改版完了，也沒辦法完善目標了。那么，筆者先介紹一個從改版目標推導到衡量指標的思考模型，再介紹一個自身實踐總結的常用評估模型供參考。
1）從目標到指標的思考模型
當確定了比較宏觀的目標后，還需要找到能量化、細化目標的指標，這個推導的思路可以借鑒Google的GSM模型
2）評估模型參考
各個產品不同，當然改版目標也不同，但根據筆者的經驗，這些目標基本可分為兩類：體驗目標（如：提升用戶滿意度）和商業目標（如：提升付費用戶規模）。所以，評估模型也按照體驗和商業兩類分別介紹。
① 用戶體驗評估模型
由于用戶體驗是指用戶在使用產品/服務時的主觀感受，這個概念包含的內容比較多，且比較宏觀，必須找到合適的切入點（能較好解釋用戶體驗的一些細分維度）和量化手段（可以觀察，收集到數據的指標）才能有效評估體驗的質量。 在用戶體驗領域，評估體驗的模型，比較知名的有Google的HEART模型，但是由于國內外產品、文化的差異性，導致該模型的適用性受限。1688UED的同學以用戶接觸和使用產品的路徑為主線，提出了用戶體驗的五度模型，從吸引度、完成度、滿意度、忠誠度和推薦度五個維度來評估和量化用戶體驗質量。
用戶體驗質量評價的“5度”模型
根據實踐發現，在B2B的業務中，由于競爭、商業隱私的問題，B類用戶即使覺得產品體驗不錯，也未必愿意推薦給他人,因此推薦度未必適應于B類業務。而且根據NPS（凈推薦系統）的概念，推薦度/推薦意愿能較好的衡量忠誠度，所以筆者認為，不論是B類C類產品，吸引度、完成度、滿意度，忠誠度四個維度就好較好的評估用戶體驗。
另外，根據產品類型不同，在評估用戶體驗質量時，以上四個維度的權重也是可以有區分的。比如，產品類型可根據目的分為信息型（以展示，引流，介紹為目的的，比如首頁）和工具型（需要用戶操作較多的，如開通流程，商品發布頁面等）。相應的，信息型產品會需要更關注吸引度的目標是否達成，工具型的產品更強調完成度。
② 商業價值評估模型
一般而言，業務目標一般都比較容易量化，也會更具體，不難制定出相應的衡量指標。但為了便于后續的解讀和分析，可以考慮補充一些“解釋型”指標，以常用的業務目標：GMV（成交金額，收入等）為例，可以從影響GMV的因素入手，得到用戶規模/用戶量，客單價，轉化率等指標。
GMV=用戶規模X客單價X轉化率
此處的用戶規模、轉化率等可以根據產品和改版目的的不同具體定義，比如活躍用戶，B類用戶，購買轉化率，點擊率等。
③ 評估模型和指標參考示例
以下是筆者在五度模型的基礎上，結合在電商網站的實踐經驗總結的較為常用的模型和指標，具體使用時還是要從自身產品特點（信息型VS工具型），改版目的入手來選擇適合的指標。
3）關于指標使用的建議
指標的制定除了是衡量目標是否達成外，還有個重要的作用在于幫助解讀分析改版結果，從而為目標達成提供佐證和為后續的工作提供指導，因此，對于指標的的數量和結構的建議是
① 數量：每個目標對應的衡量指標盡量2個及以上，方便不同的指標相互佐證，提高結論的可信度
② 結構：指標分成結果型和原因型，這樣就能既監測結果，又能提供解讀，原因型指標最好能與本次改版的內容（設計方案，功能等）相關，便于回顧分析改版內容。
3、指標數據的收集
此部分工作與調研和數據分析相關聯大，考慮到已有資料較多和本文篇幅問題，就不再具體介紹實際操作的技巧了，提供一條經驗分享，由于需要比較改版前后的數據，因此指標收集的工作盡量在新版上線前就開始準備和開始，畢竟有些數據，尤其是老版本用戶評價的收集（問卷投放和回收等）本身就需要一定時間，且新版本上線后也不適合再收集了，缺失了改版前的數據，自然無法比較和衡量效果了。
4、指標的對比
在拿到指標的數據后，對于設計師或產品經理，就可以通過改版指標數據的的變化來分析本次設計、功能的優化的效果了。但是，需要提醒，產品并不是處在真空環境里，除了設計、功能的改變，同期還有很多因素在變化，因此改版前后數據的變化還會來自頁面上內容/促銷活動、全站流量變化（淡旺季，假期、所處生命周期階段，即如果產品處于快速成長期，用戶規模等都是呈快速增加的趨勢的），用戶差異、用戶的適應度（即：用戶使用新版初期，由于覺得新鮮需要探索從而產生了更多使用/點擊，這種情況主要出現在信息型產品里，如首頁等；或者由于不習慣，一時找不到功能入口，造成短期內效率，滿意度等指標下降。）等諸多因素。需注意不同類型的產品（信息型、工具型）所受的影響及大小也會有差異。
為了相對更科學、客觀的了解設計、功能的改變帶來的效果，就需要把其他因素的作用盡量去除或減少。由于當前改版的對比方式主要有兩種， A/B測試（新老版本同時在線）和前后對比測試，所以下文就分別針對兩種不同對比方式介紹一些對策。 必須指出，由于一些因素本身就難以區分開，比如某個頁面上的功能和內容（如新功能才有的新內容/促銷活動/商品）所以筆者目前也沒有很好的對策能區分開這種因素對改版效果帶來的影響。
趨勢對比法：
【原理】：網站在不同的生命周期階段（成長，衰退等），全站流量（包含改版頁面）與流量結構的也都是動態變化的，因此，如果改版頁面前后的變化幅度大于全站的變化幅度，則說明改版有效果
【操作】：
step 1：改版后與去年同期流量對比，得到該頁面改版前后變化幅度
step 2：提取今年與去年同期全站的流量，得到網站年度變化幅度
step 3：如果改版前后變化幅度>網站年度變化幅度，則為改版帶來的作用
如果對改版效果的精準性沒有那么高的要求，一般主要注意取數時避開淡旺季、假期，等新版本上線一段時間再分析即可，如果條件允許，盡量使用A/B測試的同時對比方法。
5、指標數據的解讀
在拿到改版前后的數據后，數據的解讀一般就容易開展了，關于這個環節，有兩個小建議：
Tips 1: 多個指標（如滿意度，用戶對某功能的點擊率）等配合使用，能彼此佐證和更好的解讀效果。
Tips 2: 改版前后數據的變化不僅能評估改版目標是否達到，更是對設計、產品等相關項目組成員工作的反饋，值得根據指標數據分析原因，更好指導以后的工作。
結合以上內容可以發現，單次的效果評估需要投入的時間和人力資源較多，而且產生的價值也有限。其實，改版分析中收集到的這些數據還可以發揮更多用途，也可以采用工具化的方式提升效率。
1、從單次效果評估到體驗摸底與監測
對于經常處于優化迭代期的產品，本次改版后的數據和用戶反饋其實就可以作為下次改版前的參考；也能作為業務和體驗水平的基準數據，通過定期收集這種指標數據，了解產品是否有異動，從而起到體驗監測的作用。 而且，即使產品最近暫不改版，也可以參考評估模型的指標對現有的體驗水平進行摸底，更好的了解用戶體驗現狀。
2、工具化
為了提升效率，可以在數據收集環節多采用工具的方式來解決，比如，對于長期，經常觀察的后臺數據通過報表等方式展示，對于用戶反饋（如滿意度，忠誠度）等體驗指標，也可以在產品內長期收集和監測，既能提高取數的效率，也能避免忘記改版前收集數據，改版后無數可看的風險。
綜上，改版效果評估的調研工作可以歸納為：三個意識，五個環節，兩個擴展。
藍藍設計( m.ocunn.cn )是一家專注而深入的界面設計公司，為期望卓越的國內外企業提供卓越的UI界面設計、BS界面設計 、 cs界面設計 、 ipad界面設計 、 包裝設計 、 圖標定制 、 用戶體驗 、交互設計、 網站建設 、平面設計服務