今天有同事提了個需求在众多目录下挑选出每月第1个备份目录，目录是日期格式(YYYY-MM-DD),每月第1个目录是不规则的（可能是2009-10-01,也可能是2009-10-02)
脚本如下
#cat aa
#!/bin/awk -f
BEGIN {
mflag=0
}
{
match($2,/^0/)?nowm=substr($2,2):nowm=substr($2,1)
if(mflag==nowm){
next
}
if(mflag!=nowm){
print
mflag=nowm
}
}
运行命令为
ls |grep -P “\d+”|awk -F’-’ -f aa
下载 mariadb-5.1.42-Linux-i686.tar.gz，做个软连接，改个名字，不然make_sandbox不认
ln -s mariadb-5.1.42-Linux-i686.tar.gz mysql-5.1.42-Linux-i686.tar.gz
然后运行make_sandbox
make_sandbox /root/mysql-5.1.42-Linux-i686.tar.gz –sandbox_directory=mariadb –upper_directory=/data/mysql_sandboxes -P 5566
提示无法把解压的文件改名，手动改一下就可以了
mv mariadb-5.1.42-Linux-i686 5.1.42
然后再重新运行make_sandbox
顺利启动
Server version: 5.1.42-MariaDB (MariaDB - http://mariadb.com/)
Type ‘help;’ or ‘\h’ for help. Type ‘\c’ to clear the current input statement.
mysql [localhost] {msandbox} ((none)) > select version();
+—————-+
| version() |
+—————-+
| 5.1.42-MariaDB |
+—————-+
1 row in set (0.00 sec)
mysql>drop table `aa 11`;
tcpdump -i eth0 port 3306 -s 65535 -x -n -q -tttt|mk-query-digest –type tcpdump –filter ‘($event->{No_index_used}||$event->{No_good_index_used})’
查看输出
# Profile
# Rank Query ID Response time Calls R/Call Item
# ==== ================== ================ ===== ======== ================
# 1 0×261703E684370D2C 0.0157 95.1% 1 0.0157
# 2 0xF82CB7DB401F5A6E 0.0008 4.9% 1 0.0008 SELECT test.test_backup
试了下sphinx,不久就发现有个问题，也就是不变的索引和变化的数据之间对立的问题，根据文档，sphinx是这样解决这个矛盾的，相对于少量变化的数据，大部分数据是不变的，这样把大多数数据装入主索引，而变化的数据装入增量索引，而文档中区分是否是增量数据是根据ID判断的，也就是到某个时间点主索引重新建立时计算这个时间点的数据库记录最大数，保存到一个辅助表中，而增量索引的重建是根据这个最大数为判断下限，来取变动的数据，这样对于插入删除是没有问题的，但是对于更新操作则会带来奇怪的问题，比如我更新了一个记录的查询字段值，那么这个字段或者被新包含到某个查询的结果集，或者是被某个查询的结果集合排除，而对于不变的主索引，无法检测到这个变动，而对于增量索引同样无法包含变动后的记录（因为ID）结果是，当更新数据后再次查询，本来应该被结果集排除的记录仍旧存在于中，本来应该新纳入结果集的还是无法被包含，根据网上的资料和实际实验，我给出以下方法，来部分解决这个问题。
1，对于主索引sphinx应该需要是否一条记录被更新，以从检索中排除。
2，对于增量索引，应该能包含主索引中的更新后的记录
这样设置新的辅助表为
+————-+———+——+—–+———+——-+
| Field | Type | Null | Key | Default | Extra |
+————-+———+——+—–+———+——-+
| counterid | int(11) | NO | PRI | NULL | |
| update_time | datetime | YES | | NULL | |
+————-+———+——+—–+———+——-+
update_time字段记录主索引建立时间
编辑主索引数据源为（在索引中增加is_dirty字段来检测记录是否被改变，在索引建立后更新辅助表）
sql_query = \
SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content,1 as is_dirty FROM documents
sql_query_post = REPLACE INTO search_counter SELECT 1,NOW();
编辑增量索引数据源（增量记录取舍根据表的附加字段date_added时间与辅助表时间比较）
sql_query = \
SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content,1 as is_dirty FROM documents WHERE date_added > (SELECT update_time FROM search_counter WHERE counterid=1)
另外在增量索引和主索引中都需要声明is_dirty的属性
对于更新操作需要做的是调用API的UpdateAttributes方法来更新is_dirty的值（比如1为未更新，2为更新）
更新数据库的相应记录的date_added时间，
这样主索引通过API的SetFilter方法来排除更新的记录，增量索引在重建时通过时间比较来包括更新的记录.
对于单表建立索引，这种方法可行，但是对多表联合的复杂情况可能要具体问题具体分析了。
通过使用sphinx来做全文检索发现一个问题，比如我要在一个列字段中查找含有”系统”的关键字，但是通过查看结果发现只找出”XXX 系统”或者”XXX(系统)”
而对于”XXX系统”却查不出来，网上搜索了一下找到了解决的办法，在索引定义段中添加如下字段
ngram_len = 1
ngram_chars = U+4E00..U+9FBB, U+3400..U+4DB5, U+20000..U+2A6D6, U+FA0E, U+FA0F, U+FA11, U+FA13,\
U+FA14, U+FA1F, U+FA21, U+FA23, U+FA24, U+FA27, U+FA28, U+FA29, U+3105..U+312C,\
U+31A0..U+31B7, U+3041, U+3043, U+3045, U+3047, U+3049, U+304B, U+304D, U+304F, U+3051,\
U+3053, U+3055, U+3057, U+3059, U+305B, U+305D, U+305F, U+3061, U+3063, U+3066, U+3068,\
U+306A..U+306F, U+3072, U+3075, U+3078, U+307B, U+307E..U+3083, U+3085, U+3087,\
U+3089..U+308E, U+3090..U+3093, U+30A1, U+30A3, U+30A5, U+30A7, U+30A9, U+30AD, U+30AF,\
U+30B3, U+30B5, U+30BB, U+30BD, U+30BF, U+30C1, U+30C3, U+30C4, U+30C6, U+30CA, U+30CB,\
U+30CD, U+30CE, U+30DE, U+30DF, U+30E1, U+30E2, U+30E3, U+30E5, U+30E7, U+30EE,\
U+30F0..U+30F3, U+30F5, U+30F6, U+31F0, U+31F1, U+31F2, U+31F3, U+31F4, U+31F5, U+31F6,\
U+31F7, U+31F8, U+31F9, U+31FA, U+31FB, U+31FC, U+31FD, U+31FE, U+31FF, U+AC00..U+D7A3,\
U+1100..U+1159, U+1161..U+11A2, U+11A8..U+11F9, U+A000..U+A48C, U+A492..U+A4C6
可以正确查找所需字段，但是在构建索引的时候时间会长很多
解决办法为
编辑索引定义
增加字段
charset_type = utf-8
charset_table = U+FF10..U+FF19->0..9, 0..9, U+FF41..U+FF5A->a..z, U+FF21..U+FF3A->a..z, \
A..Z->a..z, a..z, U+0149, U+017F, U+0138, U+00DF, U+00FF, U+00C0..U+00D6->U+00E0..U+00F6, \
U+00E0..U+00F6, U+00D8..U+00DE->U+00F8..U+00FE, U+00F8..U+00FE, U+0100->U+0101, U+0101, \
U+0102->U+0103, U+0103, U+0104->U+0105, U+0105, U+0106->U+0107, U+0107, U+0108->U+0109, \
U+0109, U+010A->U+010B, U+010B, U+010C->U+010D, U+010D, U+010E->U+010F, U+010F, \
U+0110->U+0111, U+0111, U+0112->U+0113, U+0113, U+0114->U+0115, U+0115, U+0116->U+0117,\
U+0117, U+0118->U+0119, U+0119, U+011A->U+011B, U+011B, U+011C->U+011D, U+011D,\
U+011E->U+011F, U+011F, U+0130->U+0131, U+0131, U+0132->U+0133, U+0133, U+0134->U+0135,\
U+0135, U+0136->U+0137, U+0137, U+0139->U+013A, U+013A, U+013B->U+013C, U+013C,\
U+013D->U+013E, U+013E, U+013F->U+0140, U+0140, U+0141->U+0142, U+0142, U+0143->U+0144,\
U+0144, U+0145->U+0146, U+0146, U+0147->U+0148, U+0148, U+014A->U+014B, U+014B,\
U+014C->U+014D, U+014D, U+014E->U+014F, U+014F, U+0150->U+0151, U+0151, U+0152->U+0153,\
U+0153, U+0154->U+0155, U+0155, U+0156->U+0157, U+0157, U+0158->U+0159, U+0159,\
U+015A->U+015B, U+015B, U+015C->U+015D, U+015D, U+015E->U+015F, U+015F, U+0160->U+0161,\
U+0161, U+0162->U+0163, U+0163, U+0164->U+0165, U+0165, U+0166->U+0167, U+0167,\
U+0168->U+0169, U+0169, U+016A->U+016B, U+016B, U+016C->U+016D, U+016D, U+016E->U+016F,\
U+016F, U+0170->U+0171, U+0171, U+0172->U+0173, U+0173, U+0174->U+0175, U+0175,\
U+0176->U+0177, U+0177, U+0178->U+00FF, U+00FF, U+0179->U+017A, U+017A, U+017B->U+017C,\
U+017C, U+017D->U+017E, U+017E, U+4E00..U+9FFF
装了个sphinx-0.9.9 ,发现只对英文分词感冒，网上搜了下资料发现有个支持中文的改良型sphinx,就是这里
然后就装了下看看
安装过程：
wget http://www.coreseek.cn/uploads/csft/3.1/CentOS5/mmseg-3.1-1.i386.rpm
wget http://www.coreseek.cn/uploads/csft/3.1/CentOS5/csft-3.1-1.1.i386.rpm
安装csft-3.1-1.1.i386.rpm的时候会提示需要个postgresql的动态库的依赖，需要安装
yum install -y postgresql-libs.i386
rpm -Uvh csft-3.1-1.1.i386.rpm mmseg-3.1-1.i386.rpm
（另外需要下载mmseg的源代码包)
把安装后的/etc/csft/example.sql倒入数据库
mysql < example.sql
wget http://www.coreseek.cn/uploads/csft/3.1/Source/mmseg-3.1.tar.gz
tar zxvf mmseg-3.1.tar.gz
cd mmseg-3.1/data
mmseg -u unigram.txt
把生成的unigram.txt.uni 改名并拷贝到相应位置
mv unigram.txt.uni /var/data/dict/uni.lib
cd /etc/csft
vi csfs.conf
编辑索引定义添加
charset_type = zh_cn.utf-8
charset_dictpath = /var/data/dict
保存建立索引
# csft-indexer –all (对所有索引定义建立索引）
Coreseek Full Text Server 3.1
Copyright (c) 2006-2008 coreseek.com
using config file ‘./csft.conf’…
indexing index ‘test1′…
iniparser: cannot open /var/data/dict/mmseg.ini
1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 1,
pt:1, 1; 3, 6,
pt:3, 24; pt:6, 0; 3, 6,
pt:3, 47279; pt:6, 0; 3, 6,
pt:3, 61; pt:6, 0; 3,
pt:3, 13411; pt:3, 30471; pt:6, 1; pt:3, 30471; pt:3, 24; pt:6, 1; pt:3, 24; pt:6, 0; 1,
3, 6,
pt:1, 1; pt:3, 24; pt:6, 1; pt:3, 24; pt:6, 0; 3,
pt:3, 14538; pt:3, 298; 3, 6,
pt:3, 24; pt:6, 0; 3, 6,
pt:3, 24; pt:3, 154; pt:1, 1; pt:6, 0; pt:1, 1; pt:3, 13411; pt:1, 1; pt:3, 13411; pt:3, 13411; pt:3, 30471; 3,
pt:3, 990; pt:3, 1448; pt:6, 1; pt:3, 1448; pt:6, 0; collected 8 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 8 docs, 269 bytes
total 0.030 sec, 8825.17 bytes/sec, 262.46 docs/sec
然后测试中文分词
# csft-search 测试
Coreseek Full Text Server 3.1
Copyright (c) 2006-2008 coreseek.com
using config file ‘/etc/csft/csft.conf’…
iniparser: cannot open /var/data/dict/mmseg.ini
3, 6,
pt:3, 24; pt:3, 154; pt:6, 0; pt:1, 1; index ‘test1′: query ‘测试 ‘: returned 4 matches of 4 total in 0.014 sec
displaying matches:
1. document=7, weight=2, group_id=3, date_added=Tue Jan 12 15:37:42 2010
id=7
group_id=3
group_id2=11
date_added=2010-01-12 15:37:42
title=12 测试
content=大册，测试
2. document=5, weight=1, group_id=3, date_added=Tue Jan 12 13:38:04 2010
id=5
group_id=3
group_id2=9
date_added=2010-01-12 13:38:04
title=测试
content=一些
3. document=6, weight=1, group_id=3, date_added=Tue Jan 12 15:26:01 2010
id=6
group_id=3
group_id2=10
date_added=2010-01-12 15:26:01
title=标题
content=我的测试
4. document=8, weight=1, group_id=3, date_added=Tue Jan 12 15:42:25 2010
id=8
group_id=3
group_id2=12
date_added=2010-01-12 15:42:25
title=测试 我的
content=先吃饭
words:
1. ‘测试’: 4 documents, 5 hits
据说这个能够大幅度提高order by, group by操作的速度，下次找点数据测试一下
hch