sed 命令实践: 升级 sequelize.js 时批量替换字符串

sequelize 是 Node 中使用比较多的一个 ORM 库，最近计划将项目中的 sequelize 升级至 V5 版本。

根据升级文档，其中一项是即将禁用 String based operators，使用 Sequelize.Op 等 Symbol operators 来代替。

而 operator 主要用在查询条件中，用以生成查询条件，如

1
const where = {
2
  age: {
3
    $lte: 10
4
  }
5
}
6

7
// 替换为
8
const replaceWhere = {
9
  age: {
10
    [Op.lte]: 10
11
  }
12
}

1
const operatorsAliases = {
2
  $eq: Op.eq,
3
  $ne: Op.ne,
4
  $gte: Op.gte,
5
  $all: Op.all,
6
  $in: Op.in,
7
  ...moreAliase
8
}

简而言之，需要把本项目中的所有查询条件，从 operatorsAliases 左边的替换为右边的。这也是本篇文章的主要内容

本文链接: https://blog.zhequtao.com/post/sequelize-op-replacement-and-sed/

准备工作#

在开始工作之前，需要先把 git 的工作区和暂存区清理干净，避免替换过程中造成无法回退的尴尬局面。

把工作区和暂存区清理干净的意思就是，先把能 commit 的 commit 掉，不能 commit 的 stash 掉，当然切个新分支就更好了。

VS Code 全局替换#

在刚开始随手手动替换了几个之后，觉得这样也不是办法，决定开始使用 VS Code 的全局替换。

首先思考一个查询的 operator 会出现的位置，无外乎以下几种

1
where.age = { $lte: 10 }
2
where.age.$lte = 10
3
where.age['$lte'] = 10

另外，顺序很重要，从最具体到抽象的顺序如下

1
['$lte', Op.lte],
2
['.$lte', [Op.lte]],
3
['$lte', [Op.lte]]

然后，按照顺序挨个替换就好了，但替换了几个知乎，我发现…我的耐心实在有限

1
> Object.keys(operatorsAliases).length
2
34

我需要替换 34 * 3 = 102 次，这也不能怪我烦啊，搁谁谁都没有耐心

使用 sed 命令替换文件#

多掌握一个命令是多么重要

先来一个 hello, world 版的 sed 命令，以下命令把 hello 替换成 word

恩，sed 替换的语法和 vim 简直一模一样，这告诉我们掌握 vim 多么重要…

1
$ echo hello | sed "s/hello/world/g"
2
world

根据上一部分所讲的规则，写一个 sed 文件 (replace.sed)，对示例(test.js)做一个测试

1
s/'$lte'/Op.lte/g
2
s/.$lte/[Op.lte]/g
3
s/$lte/[Op.lte]/g

1
where.age = { $lte: 10 }
2
where.age.$lte = 10
3
where.age['$lte'] = 10

做了简单的测试，输入以下命令，看起来工作地还不错

1
$ sed -f replace.sed test.js
2
where.age = {[Op.lte]: 10 }
3
where.age[Op.lte] = 10
4
where.age[Op.lte] = 10

但是有 34 个 alias 需要替换，利用浏览器的控制台生成 sed 文件

1
> Object.keys(operatorsAliases).map(op => op.slice(1)).flatMap(op =>  [`s/'\$${op}\b'/Op.${op}/g`, `s/\.\$${op}\b/[Op.${op}]/g`, `s/\$${op}\b/[Op.${op}]/g`]).join('\n')
2
s/'$eq'/Op.eq/g
3
s/.$eq/[Op.eq]/g
4
s/$eq/[Op.eq]/g
5
s/'$ne'/Op.ne/g
6
s/.$ne/[Op.ne]/g
7
s/$ne/[Op.ne]/g
8
...
9
...

虽然生成的命令有些简单粗暴…，不过简单粗暴的东西就是好用

替换项目下所有文件#

只剩下一个问题，如何列出当前路径下的所有文件

多掌握一个命令是多么重要

我把所有我能想到的命令给列下来

find . 应该可以排除掉 .gitignores 所列文件，但好像有点麻烦，我从来没用过。
ls -R 格式不够友好
tree 可读性不错，但机器可读性太差了

如何排除文件夹可以参考 How to exclude a directory in find . command

以上三个命令都不太好用。柳暗花明又一村，这里有一个更简单而又恰到好处的命令

1
git ls-files

关于 git 的更多命令，可以参考 Git Cheat Sheets

此时，shell 命令如下，-i 代表直接替换文件，-i "" 代表替换时文件名不添加后缀，为啥一定要写个空字符串，因为 MAC 下的 sed 命令就是如此丧心病狂。

1
$ sed -i "" -f replace.sed $(git ls-files)

不过，这时候有新的问题产生了，在 git diff 时发现有一些模板中带有 $index ，也会被替换成 [Op.in]dex，这是不期望的结果

1
git checkout .

使用正则匹配#

使用 \b 匹配单词，完美解决问题。

1
s/'\$eq\b'/Op.eq/g
2
s/\.\$eq\b/[Op.eq]/g
3
s/\$eq\b/[Op.eq]/g

不过，在 MAC 下并不支持 \b，可以拿以下命令做个试验。这时候在 MAC 下需要安装 gnu-sed，终于把 MAC 下的 sed 命令替换掉了

1
$ echo "hello" | sed "s/\bhello\b/world/g"
2
hello
3
$ brew install gnu-sed
4
$ echo "hello" | gsed "s/\bhello\b/world/g"
5
world
6

7
# 一定一定要用双引号括起来
8
$ echo "hello" | gsed s/\bhello\b/world/g
9
hello

这里有一个很重要的点，即sed命令一定要用双引号给括起来

使用 js 生成新的 sed 命令

1
Object.keys(operatorsAliases).map(op => op.slice(1)).flatMap(op =>  [`s/'\\$${op}\\b'/Op.${op}/g`, `s/\\.\\$${op}\\b/[Op.${op}]/g`, `s/\\$${op}\\b/[Op.${op}]/g`]).join('\n')

最后执行命令，成功替换全部字符

1
# -i 代表直接替换文件，-r 代表支持扩展的正则表达式
2
$ gsed -i -r -f r.sed $(git ls-files| grep -v src/data)
3

4
$ git diff --shortstat
5
63 files changed, 293 insertions(+), 293 deletions(-)

编译#

项目使用的 typescript，最后编译出错。还有类似以下一种情况，手动改掉

1
const $or = {}
2
const where = {
3
  $or
4
}

附录#

sed 文件如下

1
s/'\$eq\b'/Op.eq/g
2
s/\.\$eq\b/[Op.eq]/g
3
s/\$eq\b/[Op.eq]/g
4
s/'\$ne\b'/Op.ne/g
5
s/\.\$ne\b/[Op.ne]/g
6
s/\$ne\b/[Op.ne]/g
7
s/'\$gte\b'/Op.gte/g
8
s/\.\$gte\b/[Op.gte]/g
9
s/\$gte\b/[Op.gte]/g
10
s/'\$gt\b'/Op.gt/g
11
s/\.\$gt\b/[Op.gt]/g
12
s/\$gt\b/[Op.gt]/g
13
s/'\$lte\b'/Op.lte/g
14
s/\.\$lte\b/[Op.lte]/g
15
s/\$lte\b/[Op.lte]/g
16
s/'\$lt\b'/Op.lt/g
17
s/\.\$lt\b/[Op.lt]/g
18
s/\$lt\b/[Op.lt]/g
19
s/'\$not\b'/Op.not/g
20
s/\.\$not\b/[Op.not]/g
21
s/\$not\b/[Op.not]/g
22
s/'\$in\b'/Op.in/g
23
s/\.\$in\b/[Op.in]/g
24
s/\$in\b/[Op.in]/g
25
s/'\$notIn\b'/Op.notIn/g
26
s/\.\$notIn\b/[Op.notIn]/g
27
s/\$notIn\b/[Op.notIn]/g
28
s/'\$is\b'/Op.is/g
29
s/\.\$is\b/[Op.is]/g
30
s/\$is\b/[Op.is]/g
31
s/'\$like\b'/Op.like/g
32
s/\.\$like\b/[Op.like]/g
33
s/\$like\b/[Op.like]/g
34
s/'\$notLike\b'/Op.notLike/g
35
s/\.\$notLike\b/[Op.notLike]/g
36
s/\$notLike\b/[Op.notLike]/g
37
s/'\$iLike\b'/Op.iLike/g
38
s/\.\$iLike\b/[Op.iLike]/g
39
s/\$iLike\b/[Op.iLike]/g
40
s/'\$notILike\b'/Op.notILike/g
41
s/\.\$notILike\b/[Op.notILike]/g
42
s/\$notILike\b/[Op.notILike]/g
43
s/'\$regexp\b'/Op.regexp/g
44
s/\.\$regexp\b/[Op.regexp]/g
45
s/\$regexp\b/[Op.regexp]/g
46
s/'\$notRegexp\b'/Op.notRegexp/g
47
s/\.\$notRegexp\b/[Op.notRegexp]/g
48
s/\$notRegexp\b/[Op.notRegexp]/g
49
s/'\$iRegexp\b'/Op.iRegexp/g
50
s/\.\$iRegexp\b/[Op.iRegexp]/g
51
s/\$iRegexp\b/[Op.iRegexp]/g
52
s/'\$notIRegexp\b'/Op.notIRegexp/g
53
s/\.\$notIRegexp\b/[Op.notIRegexp]/g
54
s/\$notIRegexp\b/[Op.notIRegexp]/g
55
s/'\$between\b'/Op.between/g
56
s/\.\$between\b/[Op.between]/g
57
s/\$between\b/[Op.between]/g
58
s/'\$notBetween\b'/Op.notBetween/g
59
s/\.\$notBetween\b/[Op.notBetween]/g
60
s/\$notBetween\b/[Op.notBetween]/g
61
s/'\$overlap\b'/Op.overlap/g
62
s/\.\$overlap\b/[Op.overlap]/g
63
s/\$overlap\b/[Op.overlap]/g
64
s/'\$contains\b'/Op.contains/g
65
s/\.\$contains\b/[Op.contains]/g
66
s/\$contains\b/[Op.contains]/g
67
s/'\$contained\b'/Op.contained/g
68
s/\.\$contained\b/[Op.contained]/g
69
s/\$contained\b/[Op.contained]/g
70
s/'\$adjacent\b'/Op.adjacent/g
71
s/\.\$adjacent\b/[Op.adjacent]/g
72
s/\$adjacent\b/[Op.adjacent]/g
73
s/'\$strictLeft\b'/Op.strictLeft/g
74
s/\.\$strictLeft\b/[Op.strictLeft]/g
75
s/\$strictLeft\b/[Op.strictLeft]/g
76
s/'\$strictRight\b'/Op.strictRight/g
77
s/\.\$strictRight\b/[Op.strictRight]/g
78
s/\$strictRight\b/[Op.strictRight]/g
79
s/'\$noExtendRight\b'/Op.noExtendRight/g
80
s/\.\$noExtendRight\b/[Op.noExtendRight]/g
81
s/\$noExtendRight\b/[Op.noExtendRight]/g
82
s/'\$noExtendLeft\b'/Op.noExtendLeft/g
83
s/\.\$noExtendLeft\b/[Op.noExtendLeft]/g
84
s/\$noExtendLeft\b/[Op.noExtendLeft]/g
85
s/'\$and\b'/Op.and/g
86
s/\.\$and\b/[Op.and]/g
87
s/\$and\b/[Op.and]/g
88
s/'\$or\b'/Op.or/g
89
s/\.\$or\b/[Op.or]/g
90
s/\$or\b/[Op.or]/g
91
s/'\$any\b'/Op.any/g
92
s/\.\$any\b/[Op.any]/g
93
s/\$any\b/[Op.any]/g
94
s/'\$all\b'/Op.all/g
95
s/\.\$all\b/[Op.all]/g
96
s/\$all\b/[Op.all]/g
97
s/'\$values\b'/Op.values/g
98
s/\.\$values\b/[Op.values]/g
99
s/\$values\b/[Op.values]/g
100
s/'\$col\b'/Op.col/g
101
s/\.\$col\b/[Op.col]/g
102
s/\$col\b/[Op.col]/g

欢迎关注我的公众号中关村程序员，我会定期分享一些前后端以及运维的文章，并且会有技术与生活上的每日回顾，欢迎关注交流

欢迎关注公众号中关村程序员，在这里记录我的技术成长，欢迎交流

准备工作#

VS Code 全局替换#

使用 sed 命令替换文件#

替换项目下所有文件#

使用正则匹配#

编译#

附录#

相关阅读