利用spark生成tfrecord文件

目前數據愈來愈多，數據通常存儲在hdfs上，可是目前許多深度學習算法是基於TensorFlow、pytorch等框架實現，使用單機python、java作數據轉換都比較慢，怎麼大規模把hdfs數據直接喂到TensorFlow中，在這裏TensorFlow提供了一種解決方案，利用spark生成tfrecord文件，項目名稱叫spark-tensorflow-connector，GitHub主頁在ht

>>阅读原文<<