-
Notifications
You must be signed in to change notification settings - Fork 167
/
remove-redundant-blank-lines.py
121 lines (99 loc) · 3.21 KB
/
remove-redundant-blank-lines.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
# -*- coding: utf-8 -*-
import os
import sys
import re
import codecs
leftBracket = 1 # {
rightBracket = 2 # }
blankLine = 3 # 空行
otherLine = 4 # それ以外
# 行のタイプを解析する
def parseLine(line):
match = re.search('^\s*{\s*$', line)
if match:
return leftBracket
match = re.search('^\s*}\s*(;\s*)?$', line)
if match:
return rightBracket
match = re.search('^\s*$', line)
if match:
return blankLine
return otherLine
# チェック対象の拡張子リスト
extensions = (
".cpp",
".h",
)
# チェック対象の拡張子か判断する
def checkExtension(fileName):
base, ext = os.path.splitext(fileName)
return (ext in extensions)
# 引数で指定したフォルダ以下のすべての対象ファイルを yield で返す
def checkAll(topDir):
for rootdir, dirs, files in os.walk(topDir):
for fileName in files:
if checkExtension(fileName):
full = os.path.join(rootdir, fileName)
yield full
# 引数で指定した文字列から改行コードを取り除く
def clipEndOfLine(line):
return line.rstrip('\r\n')
# 冗長な空行を削除する
def removeRedundantBlack(fileName):
endOfLine = "\r\n"
# 各行のデータを覚えておくバッファ
# 行のデータと各行の種類の判定結果を記憶する
prevLines = []
tmp_file = fileName + ".tmp"
with codecs.open(fileName, "r", "utf_8_sig") as fin:
for line in fin:
text = clipEndOfLine(line)
lineType = parseLine(text)
elem = {}
elem['text'] = text
elem['type'] = lineType
if prevLines:
# 以下のような場合に現在の行が空行の場合、現在の行を捨てる
# prevLines[-1] leftBracket {
# 現在の行 blankLine <空行>
if prevLines[-1]['type'] == leftBracket:
if lineType == blankLine:
continue
# 現在の行も前の行も空行の場合、現在の行を捨てる
# prevLines[-1] blankLine <空行>
# 現在の行 blankLine <空行>
if prevLines[-1]['type'] == blankLine:
if lineType == blankLine:
continue
# 以下のような場合に prevLines[-1] から <空行> 以外を見つけるまで
# prevLines の要素を後ろから消していく
# prevLines[-3] otherLine <その他の行>
# prevLines[-2] blankLine <空行>
# prevLines[-1] blankLine <空行>
# 現在の行 rightBracket }
#
if lineType == rightBracket:
# 直前の空行をバッファから消す
while prevLines and prevLines[-1]['type'] == blankLine:
prevLines.pop(-1)
else:
# ファイルの先頭行が空行のとき、現在の行を捨てる
if lineType == blankLine:
continue
# 出力すべきバッファにキャッシュする
prevLines.append(elem)
with codecs.open(tmp_file, "w", "utf_8_sig") as fout:
for elem in prevLines:
fout.write(elem['text'] + endOfLine)
os.remove(fileName)
os.rename(tmp_file, fileName)
# 対象のファイルをすべて処理する
def processFiles(files):
for fileName in files:
print ("processing " + fileName)
removeRedundantBlack(fileName)
if __name__ == '__main__':
if len(sys.argv) < 2:
print ("usage: " + os.path.basename(sys.argv[0]) + " <top dir>")
sys.exit(1)
processFiles(checkAll(sys.argv[1]))