分类：ETL工具

2020
10-08

用于ETL的Python数据转换工具详解

ETL的考虑     做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞定。可是在数据仓库系统中，ETL上升到了一定的理论高度，和原来小打小闹的工具使用不同了。究竟什么不同，从名字上就可以看到，人家... 继续阅读 >

2020
10-06

python ETL工具 pyetl

pyetl是一个纯python开发的ETL框架，相比sqoop,datax之类的ETL工具，pyetl可以对每个字段添加udf函数，使得数据转换过程更加灵活，相比专业ETL工具pyetl更轻量，纯python代码操作，更加符合开发人员习惯安装pip3installpyetl使用示例数据库表之间数据同步frompyetlimportTask,DatabaseReader,DatabaseWriterreader=DatabaseReader("sqlite:///db1.sqlite3",table_name="source")writer=DatabaseWriter("sqlite:///d... 继续阅读 >