Login
网站首页 > 文章中心 > 其它

如何创建自定义fileinputformat

作者:小编 更新时间:2023-06-08 17:16:51 浏览量:50人看过

如何创建自定义fileinputformat

软件介绍:如何创建自定义fileinputformat,将文件作为单个记录发送到Map器请帮助我使用自定义fileinputformat的示例要使用具有以下替代的自定义文...

如何创建自定义fileinputformat,将文件作为单个记录发送到Map器请帮助我使用自定义fileinputformat的示例


要使用具有以下替代的自定义文件输入格式:


@Override

        protected boolean isSplitable(JobContext context, Path filename) {

            return false;

        }

hadoop源代码中有一个例子multifilewordcount。在该示例中,您需要将上面重写的“issplitable”方法添加到“custominputformat”以避免拆分。

下面是如何将“issplitable”合并到multifilewordcount示例中的要点;使用vanilla hadoop api。


版权声明:倡导尊重与保护知识产权,本站有部分资源、图片来源于网络,如有侵权,请联系我们修改或者删除处理。
转载请说明来源于"土嘎嘎" 本文地址:http://www.tugaga.com/jishu/other/272.html
<<上一篇 2023-06-08
下一篇 >> 2023-06-08

编辑推荐

热门文章