IceskYsl@1sters

前几天遇到一个很诡异的情况，昨天终于找到根本原因并解决了，我觉得有必要把这个过程纪录下，应该会有人遇到类似的问题。

前几天在一个坛子里问“每天500w条log如何入mysql库比较靠谱”，需求是

我们有个产品，每天差不多500w的业务量，需要对500w做相关的分析，就需要入库～
目前用的是mysql 按月切表定期老化数据，但是导入数据情况比较糟糕～每天导入数据差不多需要20个小时，和MySQL 5000 records/second差距巨大～
尝试过三个方案：
1. 定期解析日志，直接入库；
2. 定期解析日志，生成sql，再直接sql入库；
3. 生成data文件，load到库里
但是效果都不理想～ 没什么大数据处理的经验，大家支招～～～

其中第一种方案基本上被抛弃了，采用第二种方案，但是还是很糟糕，500w的数据差不多需要10来个小时，还是无法接受，于是仔细剖析了下过程：

1. 准备sql文件
sqlFileName = RAILS_ROOT + “/log/insert.sql.” + LOG_POSTFIX_FOR_YESTERDAY
sqlfile = File.open(sqlFileName, “w”)
2. 打开日志文件
File.open(“../log/apps.log.#{LOG_POSTFIX_FOR_YESTERDAY}”).each do |line|
3.提取需要的数据
id, apk_id, ip, client_id, channel_id, uniquely_code ,track = line.split(” : “)[1].split(“,”)
4. 生成sql串
sqlInsert = “INSERT logs_downloads…..balalaalala
5. 写到sql文件里
sqlfile.puts( sqlInsert )
6. 调mysql直接导入sql
里面还有一些数据的清洗和排重工作～
每天的日志文件差不多500w行，解析生成sql的过程不理想（其中没用数据库操作）～ 难道是我磁盘性能很糟糕～～

过程看到基本上都没问题，无外乎解析文件，写文件的操作，不应该慢成这样的，最后把目光放在了数据的清洗和排重工作种，这个过程是想在入库的时候就把一些虚假的量排除掉，于是我们自己设计了一个算法来过滤，算法的逻辑很简单，根据一些参赛md5出一个key，然后把这个key丢在Array中，然后用include?来判断这个key是否已经存在，问题就出在这里！

ruby的Array中的include?是需要很小心的，我之前想当然的认为这个方法应该很快，也没仔细看就用了，结果发现问题就在这个方法上，直接上下源码看看：

当看到:

for (i=0; i #blalalal
}


这个的时候我就明白了，果然，这个方法直接遍历Array，然后你可以想想当我有个500w大小的Array的时候，再用include?是何等的情景啦～
修改方案很容易了，改用hash就好了，不多说～～

前面一篇文章《防范垃圾利器Akismet使用体验和原理分析》讲到Akismet的原理，其中说到看谁有兴趣给dz加个类似的功能，我是懒得写php的code，写写rails的还有点兴趣，于是在android-group这个项目里添加了下，android-group是直接fork的ruby-china，把大概过程说下：

1. 加插件ruby-akismet
已经有人写了akismet的ruby插件https://github.com/joshfrench/rakismet，有有人封装了一次https://github.com/ysbaddaden/ruby-akismet，就很好使用了。
＃Add this gem to your Gemfile:
gem ‘ruby-akismet’, :require => ‘akismet’

＃Create an initializer file like config/initializers/akismet.rb with your configuration:
Akismet.key = ’123456789′
Akismet.blog = ‘http://example.com’
Akismet.logger = Rails.logger

2. 修改代码
＃修改Reply.rb，添加
field :spam, :type => Boolean, :default => false

＃修改RepliesController

# coding: utf-8
class RepliesController < ApplicationController

＃修改Cpanel::RepliesController，增加如下两个方法

def spam
@reply = Reply.find(params[:id])
@reply.update_attribute(:spam, true)
Akismet.submit_spam(akismet_attributes)
redirect_to(cpanel_replies_path)
end

def ham
@reply = Reply.find(params[:id])
@reply.update_attribute(:spam, true)
Akismet.submit_ham(akismet_attributes)
redirect_to(cpanel_replies_path)
end


＃修改routes文件

resources :replies do
member do
post :spam
post :ham
end
end


#再修改下view和locales文件就可以了，具体的就不贴了，可以在github上看到

https://github.com/IceskYsl/android-group/commit/79fabb06b12fd776b301fed2c7c10aee744c5974

也可以参考：

http://rubydoc.info/github/ysbaddaden/ruby-akismet/master/frames

项目地址：

https://github.com/huacnlee/ruby-china

https://github.com/IceskYsl/android-group