MySQL海量数据插入，导致服务器性能下降，怎么处理，急急急

hxcfindjob

本人参与的项目是一个网络客户机安全监控系统的开发，客户机8000台，监控客户机所有行为，如：访问网站地址，打开和关闭的程序名，插拨USB设备的信息，建立和删除文件或文件夹等等信息。这些信息都需要通过服务器端运行的程序监控，把8000台客户端所有操作行为记录下来。实时用c++插入到mysql数据库。同时用php程序的web界面访问这个数据库，还要读数据库生成csv。就几个大表，设计的巨简单。几乎日志信息都保存到一个表了。这样可以想象客户端实时的信息会有很多的。服务器cpu直线上升，php访问数据库也需要2-3分钟。
请问大家有没有好的解决方案可以解决这个问题。当然表结构可以拆开的，还可以加索引，这个我也知道的。如果不考虑这个方面，其他方面有没有好的方法。
比如如下这些：
●Memcached
●MySQL-Proxy:MySQL master/slave
●MySQL cluster
●HSCALE:
●MySQL 5.1 partition
但是我看了好多资料基本上都是关注在查询上，就是缓冲服务器数据，或者分散开数据。其实我要的是海量数据插入的性能改善！！！

liyihongcug

一主多从的复制？？？

主从复制 表数据很容易丢失的      (only table)

allegro

手里有个项目是类似的需求
正想用mysql那
看了要多做些工作了

yinshi

大概算一下每秒写入多少数据，每条数据占用空间。需求的IOPS是否在硬件能够提供的IPOS之内。人只能做可以做的事。有一点，顺序写会比随机写快。

yinshi

做RAID10,看看能不能使用更快的文件系统。数据一定要全部存到表里吗，没有适合存到文件里的信息吗？结合内存表小事务频繁提交。注意读写分离，考虑写入速度的表就不考虑索引了。方法很多。根据实际情况先定位瓶颈在哪里吧。

kider

应该是可行的...

hades

本人也用同样需求，单表月数据增量在8000，0000+，海量数据插入导致服务器资源耗尽，提高硬件不可能。
现在做MySQL一主多从的复制。。不知道以下想法可否实现？Master 数据的表没有索引，Slave 的同名表做索引做复制？

yueliangdao0608

利用MYSQL51的分区也可以照样提高写性能。对于现有的表结构，适当的减少所用的索引会提高写性能。

kider

按照你的路子那就是调优了

可以设置commit不用那么频繁，日志批量刷到磁盘等

也主要看是ＣＰＵ瓶颈，还是IO瓶颈，先确定出问题来

可适当提高硬件配置等...