spark读取目录及子目录中文件

好酷屋

发布于2023-05-02

标签:目录 data路径更多>

好酷屋教程网小编为您收集和整理了spark读取目录及子目录中文件的相关教程：spark读取目录及子目录中文件?接下来教大家spark如何读取目录及子目录中文件。在spark输入1valrdd=spark.sparkContext.textFile("D:\\data\\tes

spark读取目录及子目录中文件?接下来教大家spark如何读取目录及子目录中文件。

在spark输入1 val rdd=spark.sparkContext.textFile("D:\\data\\test_table\\*=1,D:\\data\\test_table\\key=2")

注意：

每个路径都要定位到最后一级。

路径之间不能存在包含关系。

目录与文件不要混放，即放在同一个目录下。

路径中可使用通配符。

以上就是好酷屋教程网小编为您收集和整理的spark程序怎么从一个目录下递归的读取文件spark读取文件夹下文件相关内容，如果对您有帮助，请帮忙分享这篇文章^_^

本文来源： https://www.haoku5.com/IT/645101d1e16680314c046927.html

相关推荐