數據版本管理 DVC data version control 和git一起管理你的機器學習實驗數據

數據版本管理的目的 每個模型的在訓練的時候,所使用的訓練數據/測試數據都有可能是變化的,在進行復現實驗結果的時候,除了使用同樣的代碼,config,使用同樣的數據也是非常重要的。 如下圖,如果要人工記錄數據版本以及模型版本,使之匹配是比較麻煩的,因此,數據版本管理是十分必要的。 一、簡介 DVC 可以輕鬆地將數據存儲在許多存儲系統上,像本地磁盤、SSH 服務器或雲系統(S3、GCP 等)。DVC
相關文章
相關標籤/搜索