分类：数据库

2016
09-21

Couchbase 介绍 - 更好的 Cache 系统

在移动互联网时代，我们面对的是更多的客户端，更低的请求延迟，这当然需要对数据做大量的Cache以提高读写速度。术语节点：指集群里的一台服务器。现有Cache系统的特点目前业界使用得最多的Cache系统主要是memcached和redis。这两个Cache系统都有都有很大的用户群，可以说是比较成熟的解决方案，也是很多系统当然的选择。不过，在使用memcached和redis过程中，还是碰到了不少的问题和局限：Cluster支持... 继续阅读 >
2016
09-21

几款主流 NoSql 数据库的对比

最近小组准备启动一个node开源项目，从前端亲和力、大数据下的IO性能、可扩展性几点入手挑选了NoSql数据库，但具体使用哪一款产品还需要做一次选型。我们最终把选项范围缩窄在 HBase、Redis、MongoDB、Couchbase、LevelDB五款较主流的数据库产品中，本文将主要对它们进行分析对比。鉴于缺乏项目中的实战经验沉淀，本文内容和观点主要还是从各平台资料搜罗汇总，也不会有太多深入或底层原理探讨。本文所引用的资料来... 继续阅读 >
2016
09-07

MySQL两千万数据优化&迁移 HOT

最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬，因为合理的创建索引速度还是挺快的，再怎么优化速度也得不到多大提升。不过这些数据有大量的冗余字段和错误信息，极不方便做统计和分析。所以我需要创建一张新表，把旧表中的数据一条一条取出来优化后放回新表；一.清除冗余数据，优化字段结构2000W数据中，能作为查询条件的字段我们是预知的。所以将这部分数据单独创建新的字段，对于有规则的数... 继续阅读 >
2016
08-25

MySQL 中处理 Null 时要注意两个陷阱 HOT

摘要：作为MySQL数据库管理员，我们经常要与Null做斗争。但是在这其中，你需要注意一下两大陷阱。MySQL数据库是一个基于结构化数据的开源数据库。SQL语句是MySQL数据库中核心语言。不过在MySQL数据库中执行SQL语句，需要小心两个陷阱。陷阱一：空值不一定为空空值是一个比较特殊的字段。在MySQL数据库中，在不同的情形下，空值往往代表不同的含义。这是MySQL数据库的一种特性。如在普通的字段中(字符型的数据)，空值就是表示空... 继续阅读 >
2016
08-25

MySQL避免索引列使用 OR 条件

这个亏已经吃过很多次了，在开发以前的sql代码里面，许多以or作为where条件的查询，甚至更新。这里举例来说明使用or的弊端，以及改进办法。selectf_crm_idfromd_dbname1.t_tbname1wheref_xxx_id=926067and(f_mobile='1234567891'orf_phone='1234567891')limit1从查询语句很容易看出，f_mobile和f_phone两个字段都有可能存电话号码，一般思路都是用or去一条sql解决，但表数据量一大简直是灾难：t_tbanme... 继续阅读 >
2016
08-25

理解MySQL——索引与优化

写在前面：索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点。考虑如下情况，假设数据库中一个表有10^6条记录，DBMS的页面大小为4K，并存储100条记录。如果没有索引，查询将对整个表进行扫描，最坏的情况下，如果所有数据页都不在内存，需要读取10^4个页面，如果这10^4个页面在磁盘上随机分布，需要进行10^4次I/O，假设磁盘每次I/O时间为10ms(忽略数据传输时间)，则总共需要100s(但实际上要好很多很多)... 继续阅读 >
2016
07-15

59条令人捧腹但真实的程序员编程语录

我收集了很多关于软件开发者的编程语录。这些语录和软件开发维护、调试、软件bug、软件设计和文档、代码质量、测试和管理等相关。下面这59条编程语录虽然令人捧腹但也揭示了真相。只有真正的软件开发人员才能理解这些编程语录的价值。下面，就让我们开始吧……软件开发人员和程序员语录1.Agoodprogrammerissomeonewhoalwayslooksbothwaysbeforecrossingaone-waystreet.(DougLinder)好的程序员即使在过单行道时... 继续阅读 >
2016
07-08

table id问题导致主从复制失败

0、导读主从复制环境中，IO、SQL线程都很正常，也没设置过滤规则，但数据就是无法复制到slave上，什么原因？1、问题描述事实上，这个案例发生已经有一阵子了，一直拖到现在我才整理。发现一个主从环境中，slave上的io_thread、sql_thread状态均正常，relaylog也正常接收来自master的event，但slave上却无法正常应用这些event，个别表数据没有复制过来。而且slave上的binlog也没有记录这些表上的操作。2、原因分析接到现... 继续阅读 >
2016
07-08

MySQL常常被我们误会的地方

MySQL作为数据库的一大主力军，到处存在于我们各种系统中，相信大家都不陌生！但是，你知道你能用不代表你知道细节，那我们就来盘点盘点其中一些我们平时不太注意的地方，一来为了有趣，二来为了不让自己踩坑。声明：要想知道细节，那就去阅读源码，我实在没那本事，只能从片面上来说一些事！1、不区分大小写(字段名)MySQL的查询字段名不区分大小写，但是查询的内容是要区分大小写的，所以能用下划线命名的就不要用大小写来区分... 继续阅读 >
2016
06-03

21条最佳MySQL性能优化

1.为查询缓存优化你的查询大多数的MySQL服务器都开启了查询缓存。这是提高性最有效的方法之一，而且这是被MySQL的数据库引擎处理的。当有很多相同的查询被执行了多次的时候，这些查询结果会被放到一个缓存中，这样，后续的相同的查询就不用操作表而直接访问缓存结果了。这里最主要的问题是，对于程序员来说，这个事情是很容易被忽略的。因为，我们某些查询语句会让MySQL不使用缓存。请看下面的示例：//查询缓存不开启$r=mysql_... 继续阅读 >
2016
04-11

MySQL索引背后的数据结构及算法原理

摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。文章主要内容分为三个部分。第一部分主要从数据结构及算法理论层面讨论... 继续阅读 >
2016
04-10

MySQL 性能优化，让数据库跑的更快

在数据库优化工作中，使数据尽可能的小，使表在硬盘上占据的空间尽可能的小，这是最常用、也是最有效的手段之一。因为缩小数据，相对来说可以提高硬盘的读写速度，并且在查询过程中小表的内容处理时所占用的系统资源比较少。同理，如果在比较小的列上设置索引的话，其索引所占用的资源也会比较少。那么数据库管理员该如何给自己的数据减肥呢?对此笔者有如下几个建议。 建议一：空值并不一定不占用空间 在这里笔者... 继续阅读 >
2016
04-08

有理想的程序员必须知道的15件事

作为程序员，要取得非凡成就需要记住的15件事。1.走一条不一样的路在有利于自己的市场中竞争，如果你满足于“泯然众人矣”，那恐怕就得跟那些低工资国家的程序员们同场竞技了。2.了解自己的公司以我在医院、咨询公司、物流企业以及大技术公司工作的经验来看，这一点所言不虚。不同公司的运营模式差异极大。如果你理解企业的运营模式，那你就不一样了！在这家公司中（或者对客户而言），你是参与业务运营的资产，你的工作能... 继续阅读 >
2016
03-30

为毛你深陷故障驱动式开发

焦油坑我坐在自己的工位上，盯着电脑荧屏，手抚键盘写代码，耳朵里不断回响着下面这些话：“张三，快，服务起不起来了”“李四，客户反馈说保存按钮连续点两次软件就会崩溃”“王五，新版本在VPN下连不上服务器了”“赵六，你提交代码后应用开发组的客户端一运行就Crash”“秦八，客户说他一看别人分享的视频盒子就黑屏”“黄九，1.3.9版本的共享桌... 继续阅读 >
2016
03-18

2016年Web前端面试题目汇总

以下是收集一些面试中经常会遇到的经典面试题以及自己面试过程中无法解决的问题，通过对知识的整理以及经验的总结，重新巩固自身的前端基础知识，如有错误或更好的答案，欢迎指正。:）HTML/CSS部分1、什么是盒子模型？在网页中，一个元素占有空间的大小由几个部分构成，其中包括元素的内容（content），元素的内边距（padding），元素的边框（border），元素的外边距（margin）四个部分。这四个部分占有的空间中，有的部分可以... 继续阅读 >
2016
03-15

媒体发声：规范电商别漏“朋友圈”

近日，工商总局发布了各地工商部门2015年处理消费者投诉举报咨询情况分析。其中，2015年网络购物投诉14.58万件，同比增长87.3%，与2010年相比增长了77.67倍，连续两年排在服务类投诉首位。随着互联网及物流的发展，网购日益成为人们生活的重要部分。每年“双十一”的网购狂欢，全民大“剁手”，“买买买”实力惊人。而应正视的是，它在带来便捷与低价的同时，也给人增添新的“烦恼”。从今年工商总局的发布中，那些被消费者吐槽... 继续阅读 >
2016
03-15

MemCache超详细解读

MemCache是什么MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统，用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。MemCaChe是一个存储键值对的HashMap，在内存中对任意的数据（比如字符串、对象等）所使用的key-value存储，数据可以来自数据库调用、API调用，或者页面渲染的结果。MemCache设计理念就是小而强大，它简单的设... 继续阅读 >
2016
03-14

SQL查询注意细节大全

一．SQL基础：SELECT 列名 FROM 表名或者SELECT*from 表名。SELECTLastName,FirstNameFROMPersons* 所有的字段！SQL对大小写不敏感！3．分号是在数据库系统中分隔每条SQL语句的标准方法，这样就可以在对服务器的相同请求中执行一条以上的语句！4.SQLdistinct：在表中，可能会包含重复值。这并不成问题，不过，有时您也许希望仅仅列出不同（distinct）的值。关键词DISTINCT用于返回唯一... 继续阅读 >
2016
03-09

两个程序员的故事

从前，有两家互不知晓的公司，一家叫做“自动会计应用协会”，另外一家叫做“统一计算资本公司”。他们同时决定开发一种提供相同功能的程序。“自动”雇佣了一位分析程序员，艾伦，来解决这个问题。而“统一”决定试一下新来的初级程序员查尔斯，看看他是否有真本事。艾伦做过一些复杂项目，有着丰富的经验，决定采用PQR结构化方法来开发这个程序。于是他找到部门经理，要求增派3名程序员组成一个项目小组。这个小组... 继续阅读 >
2016
02-29

视频技术基础

在线直播可以说从去年开始变成了一个火爆的创业领域，一下子出来了很多做视频直播的公司。但说实话这方面的技术书籍实在是非常的少，网上的资料也很零散，所以我决定写一些列介绍视频技术的文章。今天这篇文章先对视频技术中的基础概念做一些简单的总结。你所能看到的视频现在可能大部分人都直接用浏览器在视频网站上看视频了，已经不太能看到视频的后缀名之类的东西了。但是如果是把视频下载到本地观看的话，是可以看到视频文... 继续阅读 >
2016
02-26

学习新东西的唯一方法

有人曾从我工作的一家公司盗取了9千万美元。我不太懂得如何观人识人。这家公司最终关门了。有一些事情我就是学不会。我很容易相信一个人。因此，无论我如何尝试，判断一个人对我来说，简直太难了。所以，我寻找擅长做这件事的人，我让他们给我提供帮助。Learn不要强迫自己学习那些你不想或者不属于你天赋所及的事情。天赋的作用到底有多大？非常小。但你需要从它开始起步。天赋是技能的种子。你如何得... 继续阅读 >