建議使用僅產生儀表板的評估套件。連接到發布過程的評估套件是一個決定。差別在於失敗的分數是否真的會停止部署。

一個門,而不是一張圖表

當 eval 閾值控制流程時,三件事會改變:

  1. 該欄位是在工作之前設定的,而不是在工作之後協商。
  2. 回歸會自動阻止發布——沒有人一定是壞人。
  3. 證據隨著更改而傳播,因此任何人都可以了解其發布的原因。

團隊所見

讓分數可見的目的並不是為了透明度本身。這是一個共享的、強制的酒吧消除了傳遞良好感覺的安靜壓力。模型清除閾值,或等待。