用 logstash 的人都知道在 上面調(diào)試 grok 正則表達(dá)式。現(xiàn)在問題來了:翻墻技術(shù)哪家強(qiáng)? 頁面中用到了來自 google 域名的 js 文件,所以訪問經(jīng)常性失敗。所以,在終端上通過命令行方式快速調(diào)試成了必需品。
其實(shí)在 logstash 還在 1.1 的年代的時(shí)候,官方 wiki 上是有一批專門教大家怎么通過 irb 交互式測試 grok 表達(dá)式的。但不知道為什么后來 wiki 這頁沒了…… 好在代碼本身不復(fù)雜,稍微寫幾行腳本,就可以達(dá)到目的了:
代碼如下:
#!/usr/bin/env ruby
require 'rubygems'
gem 'jls-grok', '=0.11.0'
require 'grok-pure'
require 'optparse'
require 'ap'
options = {}
argv.push('-h') if argv.size === 0
optionparser.new do |opts|
opts.banner = 'run grokdebug at your terminal.'
options[:dirs] = %w(patterns)
options[:named] = false
opts.on('-d dir1,dir2', '--dirs dir1,dir2', array, 'set grok patterns directories. default: ./patterns') do |value|
options[:dirs] = value
end
opts.on('-m message', '--msg message', 'your raw message to be matched') do |value|
options[:message] = value
end
opts.on('-p pattern', '--pattern pattern', 'your grok pattern to be compiled') do |value|
options[:pattern] = value
end
opts.on('-n', '--named', 'named captures only') do
options[:named] = true
end
end.parse!
grok = grok.new
options[:dirs].each do |dir|
if file.directory?(dir)
dir = file.join(dir, *)
end
dir.glob(dir).each do |file|
grok.add_patterns_from_file(file)
end
end
grok.compile(options[:pattern], options[:named])
ap grok.match(options[:message]).captures()
測試一下:
代碼如下:
$ sudo gem install jls-grok awesome_print
$ ruby grokdebug.rb
run grokdebug at your terminal.
-d, --dirs dir1,dir2 set grok patterns directories. default: ./patterns
-m, --msg message your raw message to be matched
-p, --pattern pattern your grok pattern to be compiled
-n, --named named captures only
$ ruby grokdebug.rb -m 'abc123' -p '%{number:test}'
{
test => [
[0] 123
],
base10num => [
[0] 123
]
}
$ ruby grokdebug.rb -m 'abc123' -p '%{number:test:float}' -n
{
test => [
[0] 123.0
]
}
沒錯(cuò),我這比 grokdebug 網(wǎng)站還多了類型轉(zhuǎn)換的功能。它用的 jls-grok 是 0.10.10 版,而我用的是最新的 0.11.0 版。
更多信息請查看IT技術(shù)專欄