为什么要用flume导入hdfs，hdfs的构架是怎样的
发布于 2020-01-10 22:27:08
关注者
0
被浏览
690
1 个回答
-
flume可以实时的导入数据到hdfs中，当hdfs上的文件达到一个指定大小的时候会形成一个文件，或者超过指定时间的话也形成一个文件
文件都是存储在datanode上面的，namenode记录着datanode的元数据信息，而namenode的元数据信息是存在内存中的，所以当文件切片很小或者很多的时候会卡死
