MariaDB社区

标题: MySQL大数据量处理与压缩问题 [打印本页]

作者: 独步古今 时间: 2008-4-11 17:23
标题: MySQL大数据量处理与压缩问题
兄弟们，最近我们有个项目性能要求要求是：每秒插入30万条记录，然后由于数据量大，所以还要考虑压缩问题，要达到原数据大小的30%。如果要实现上面这些功能，各位大侠有什么好的策略，帮忙指点一下。谢谢。

我们可以一步步来，先实现30W/S的插入速度，就已经很头痛了。

(打算用linux+mysql)

作者: edwin_chen 时间: 2008-4-12 10:14
关注中...

作者: mysqlkumao 时间: 2008-4-12 16:32
你说的数据压缩是什么意思？实时数据压缩吗？

作者: 独步古今 时间: 2008-4-14 10:44
不一定要实时压缩，只要是为了节省磁盘空间而已。

兄弟们，我们可以先考虑insert的速度30W/S的实现，一步步来。后面再实现高压缩，高速查询。
因为insert速度较慢，我们是否可以考虑用文本文件load进来以提高插入速度？

作者: mysql_china 时间: 2008-4-14 16:55
方便的话可以打我这个电话，我可以给你些建议。。。。13910108332 邓

作者: mysqlkumao 时间: 2008-4-15 08:49

原帖由 独步古今 于 2008-4-14 10:44 发表
不一定要实时压缩，只要是为了节省磁盘空间而已。

兄弟们，我们可以先考虑insert的速度30W/S的实现，一步步来。后面再实现高压缩，高速查询。
因为insert速度较慢，我们是否可以考虑用文本文件load进来以提高插入 ...

你是把insert语句先写入文本文件，再load data回来，这反而会更花时间吧！而且你还要给用户file权限。
而且使用这种方法对于提交的数据写入数据库是有延时的。
直接使用MySQL自己的处理机制应该要比你自己再在外面套一层处理更快吧！

我的想法：
如果你的insert要比select重要，可以用Innodb引擎。
做集群。

还你说的压缩数据，我觉得不可能吧！
MySQL有自己的数据存储方式，你怎么压缩？压缩MySQL的数据文件？

[ 本帖最后由 mysqlkumao 于 2008-4-15 08:56 编辑 ]

作者: xiaofenl 时间: 2009-5-13 00:16
这要能实现那太有才了。。

作者: yueliangdao0608 时间: 2009-5-17 17:49
Try to use engine called archive!

欢迎光临 MariaDB社区 (http://123.56.88.72/)