分类：hdfs

2022
05-20

带你了解HDFS的Namenode 高可用机制

目录HDFSNameNode高可用HadoopNamenode高可用架构Namenode高可用的实现隔离（Fencing）QJM共享存储HDFSNameNode高可用在Hadoop2.0.0之前，一个集群只有一个Namenode，这将面临单点故障问题。如果Namenode机器挂掉了，整个集群就用不了了。只有重启Namenode，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到7*24小时可用状态。Hadoop2.0及之后版本增加了Namenode高可用机制... 继续阅读 >

2022
05-20

HDFS-Hadoop NameNode高可用机制

目录1-为什么要高可用2-NameNode的高可用发展史3-HDFS的高可用架构3.1Standby和Active的命名空间保持一致3.2同一时刻只有一个ActiveNameNode4-HDFS高可用的实现原理4.1隔离（Fencing）-预防脑裂4.2QuromJournalManager共享存储5-其他补充5.1QJM的Fencing方案5.2-HDFS高可用组件简介5.2.1ZKFailoverController5.2.2HealthMonitor5.2.3ActiveStandbyElector参考资料1-为什么要高可用在Hadoop... 继续阅读 >

2020
10-06

python使用hdfs3模块对hdfs进行操作详解

之前一直使用hdfs的命令进行hdfs操作，比如：hdfsdfs-ls/user/spark/hdfsdfs-get/user/spark/a.txt/home/spark/a.txt#从HDFS获取数据到本地hdfsdfs-put-f/home/spark/a.txt/user/spark/a.txt#从本地覆盖式上传hdfsdfs-mkdir-p/user/spark/home/datetime=20180817/....身为一个python程序员，每天操作hdfs都是在程序中写各种cmd调用的命令，一方面不好看，另一方面身为一个Pythoner这是一个耻辱，于是乎就挑了一... 继续阅读 >

2020
10-06

python3.6.5基于kerberos认证的hive和hdfs连接调用方式

1.Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。具体请查阅官网2.需要安装的包（基于centos）yuminstalllibsasl2-devyuminstallgcc-c++python-devel.x86_64cyrus-sasl-devel.x86_64yuminstallpython-develyuminstallkrb5-develyuminstallpython-krbVpipinstallkrbcontext==0.9pipinstallthrift==0.9.3pipinstallthrift-sasl==0.2.1pipinstallimpyla==0.14... 继续阅读 >

2020
10-06

python访问hdfs的操作

pipinstallhdfspython读取hdfs目录或文件importhdfsclient=hdfs.Client("http://10.10.1.4:50070")fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"try:status=client.status(fileDir,False)ifstatus:print(status)rst=client.download(fileDir,"/home/dev/gewei")print(rst)exceptionExceptionase:print(e)补充知识：用python访问hdfs出现webhdfs找不到的情况有可能是webhdfs服务... 继续阅读 >

2020
10-06

Python API 操作Hadoop hdfs详解

http://pyhdfs.readthedocs.io/en/latest/1：安装由于是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的>pipinstallhdfs2：Client——创建集群连接>fromhdfsimport*>client=Client("http://s100:50070")其他参数说明：classhdfs.client.Client(url,root=None,proxy=None,timeout=None,session=None)url：ip：端口root：制定的hdfs根目录proxy：制定登陆的用户身份timeout：设置的... 继续阅读 >

2020
10-06

python读取hdfs上的parquet文件方式

在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以)：1、安装anaconda环境。2、安装hdfs3。condainstallhdfs33、安装fastparquet。condainstallfastparquet4、安装python-snappy。condainstallpython-snappy5、读取文件##namenodemode:fromhdfs3importHDFileS... 继续阅读 >

2020
10-06

Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV操作

1.目标通过hadoophive或spark等数据计算框架完成数据清洗后的数据在HDFS上爬虫和机器学习在Python中容易实现在Linux环境下编写Python没有pyCharm便利需要建立Python与HDFS的读写通道2.实现安装Python模块pyhdfs版本:Python3.6,hadoop2.9读文件代码如下frompyhdfsimportHdfsClientclient=HdfsClient(hosts='ghym:50070')#hdfs地址res=client.open('/sy.txt')#hdfs文件路径,根目录/forrinres:line=str(r,encoding='utf8'... 继续阅读 >

2020
10-06

完美解决python针对hdfs上传和下载的问题

当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnectionobjectat0x7fe87cc37c50>:Failedtoestablishanewconnection:[Errno-2]Nameorservicenotknown其实这主要是由于没有将各个集群节点的ip映射到/etc/hosts文件中修改/etc/hosts文件，将各个集群节点ip映射加上即可，如博主所示vim... 继续阅读 >

2020
10-06

python读取hdfs并返回dataframe教程

不多说，直接上代码fromhdfsimportClientimportpandasaspdHDFSHOST="http://xxx:50070"FILENAME="/tmp/preprocess/part-00000"#hdfs文件路径COLUMNNAMES=[xx']defreadHDFS():'''读取hdfs文件Returns：df:dataframehdfs数据'''client=Client(HDFSHOST)#目前读取hdfs文件采用方式：#1.先从hdfs读取二进制数据流文件#2.将二进制文件另存为.csv#3.使用pandas读取csv文件withclient.read(FILENAME)asfs:c... 继续阅读 >

2015
04-01

构建高并发高可用的电商平台架构实践（二）——架构剖析

CDNCDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。对于大规模电子商务平台一般需要建CDN做网络加速，大型平台如淘宝、京东都采用自建CDN，中小型的企业可以采用第三方CDN厂商合作，如蓝汛、网宿、快网等。当然在选择CDN厂商时，需要考... 继续阅读 >