分类：ClickHouse

2022
04-20

以示例讲解Clickhouse Docker集群部署以及配置

目录写在前面环境部署Zookeeper集群部署Clickhouse集群部署1.临时镜像拷贝出配置2.修改config.xml配置3.拷贝到其他文件夹4.分发到其他服务器配置集群1.修改配置2.新增集群配置文件metrika.xml集群运行及测试写在前面抽空来更新一下大数据的玩意儿了，起初架构选型的时候有考虑Hadoop那一套做数仓，但是Hadoop要求的服务器数量有点高，集群至少6台或以上，所以选择了Clickhouse（后面简称CH）。CH做集群的话，3台服务器起步... 继续阅读 >

2021
03-14

如何将Mybatis连接到ClickHouse

场景最近在做数据分析项目，里面有这样一个业务：把匹配的数据打上标签，放到新的索引中。数据量：累计亿级的数据使用场景：可能会单次查询大量的数据，但不会设置复杂的条件，且这些数据不会被再次修改原来使用的数据库：ElasticSearch问题：上面也说了我这里打上标记后，这些数据几乎不会再修改了。ES是一个全文检索引擎，更适用于进行大量文本检索的情况。这里与我上面的使用场景就不太匹配了。技术选型的考虑：改用战斗民族开... 继续阅读 >

2021
02-26

python实现MySQL指定表增量同步数据到clickhouse的脚本

python实现MySQL指定表增量同步数据到clickhouse,脚本如下:#!/usr/bin/envpython3#_*_coding:utf8_*_frompymysqlreplicationimportBinLogStreamReaderfrompymysqlreplication.row_eventimport(DeleteRowsEvent,UpdateRowsEvent,WriteRowsEvent,)importclickhouse_driverimportconfigparserimportosconfigfile='repl.ini'##########配置文件repl.ini操作##################defcreate_configfile(configfile,log_... 继续阅读 >