去除代碼中的註釋（二） 實現 上

上一篇博文介紹了去除代碼註釋的思想。咱們發現，代碼註釋準確來講，不屬於上下文無關文法的範疇。也就是一樣的一個字符串，在不一樣的上下文環境下語義有所不一樣。爲了對付這種狀況，須要在字符解析時引入狀態變量。 咱們實現的過程，主要分爲兩個部分。數組 首先將輸入字符串整理成一個Token。這裏的Token在文法規則中對應的終結符。 有了第一部分的工做，生成的Token流就能夠經過上下文無關文法進行分析了。

>>阅读原文<<