【深夜概谈】大数据的一些胡思乱想

【深夜概谈】大数据的一些胡思乱想

Update: 此文真的是在扯淡, 只是默默的想装个13

默认分类 2021-03-23 PM 22℃ 0条
解决老旧的CentOS升级GCC引发的Assembler Error问题

解决老旧的CentOS升级GCC引发的Assembler Error问题

事件的起因是这样的, 今天在一台老旧的CentOS5服务器上装 node-zerorpc 的时候提示:我们要用C++11辣, 快滚回去升级G++

默认分类 2021-03-23 PM 66℃ 0条
使用Gephi生成网络图

使用Gephi生成网络图

Gephi是一款开源免费跨平台基于JVM的复杂网络分析软件, 擅长处理图数据前言Gephi是一款开源免费跨平台基于JVM的复杂网络分析软件, 其主要用于各种网络和复杂系统, 特别是在处理网络关系数据这方面很有优势,下面是两个不错的例子

默认分类 2021-03-23 PM 97℃ 0条
HDFS中PathFilter无法生效的问题处理

HDFS中PathFilter无法生效的问题处理

最近再写一个MapReduce的时候出现了一个诡异的问题, PathFilter无法生效, 具体描述如下:代码参考的是另外一个项目(用的是SequenceFileInputFormat),其PathFilter能正常工作我写的这个MR用的公司的一个CombineFileInputFormat, 虽然设置了Filter但是程序运行的时候PathFilter甚至都没实例化。

默认分类 2021-03-23 PM 29℃ 0条
Java读取HDFS文件的正确方式

Java读取HDFS文件的正确方式

使用Java正确的完整读取HDFS文件缘由最近在写一个MapReduce程序的时候,出现了读取HDFS文件截断的情况,代码如下:

默认分类 2021-03-23 PM 27℃ 0条