add unicode identifier support, fix more issue from #144

1 files changed, 448 insertions, 0 deletions

diff --git a/spec/inputs/unicode/syntax.yue b/spec/inputs/unicode/syntax.yue
new file mode 100644
index 0000000..f382688
--- /dev/null
+++ b/spec/inputs/unicode/syntax.yue
@@ -0,0 +1,448 @@
+#!/this/is/ignored
+
+变量a = 1 + 2 * 3 / 6
+
+变量a, 一堆, 去, 这里 = 另外, 世界, nil, nil
+
+函数 参数1, 参数2, 另外, 参数3
+
+这里, 我们 = () ->, 是的
+这个, 不同 = () -> 方法; 是的
+
+爸爸()
+爸爸(主)
+你好(一,二)()
+(5 + 5)(世界)
+
+乐趣(变量a)(变量b)
+
+乐趣(变量a) 变量b
+
+乐趣(变量a) 变量b, 坏 你好
+
+你好 世界 你在这里做什么
+
+什么(这个)[3243] 世界, 哎呀
+
+毛茸茸[手][是](恶心) 好的 好的[世界]
+
+_ = (得到[某事] + 5)[年]
+
+变量i,变量x = 200, 300
+
+是的 = (1 + 5) * 3
+是的 = ((1+5)*3)/2
+是的 = ((1+5)*3)/2 + 变量i % 100
+
+哇 = (1+2) * (3+4) * (4+5)
+
+_ = ->
+        if 某事
+                return 1,2,4
+
+        打印 "你好"
+
+_ = ->
+        if 你好
+                "你好", "世界"
+        else
+                不, 方法
+
+
+_ = -> 1,2,34
+
+return 5 + () -> 4 + 2
+
+return 5 + (() -> 4) + 2
+
+打印 5 + () ->
+        _ = 34
+        好 球
+
+某事 '其他', "是"
+
+某事'其他'
+某事"其他"
+
+_ = 某事[[嘿]] * 2
+_ = 某事[======[嘿]======] * 2
+_ = 某事[ [======[嘿]======] ] * 2
+
+_, _ = 某事'其他', 2
+_, _ = 某事"其他", 2
+_, _ = 某事[[其他]], 2
+_, _ = 某事[ [[其他]] ], 2
+
+某事 '其他', 2
+某事 "其他", 2
+某事 [[其他]], 2
+
+_ = 这里(我们)"去"[12123]
+
+分裂"abc xyz 123"\映射"#"\打印全部!
+
+_ = f""[变量a]
+_ = f""\变量b!
+_ = f"".变量c!
+
+f ""[变量a]
+f ""\变量b!
+f "".变量c!
+
+列表{"abc", "xyz", "123"}\映射"#"\打印全部!
+
+_ = f{}[变量a]
+_ = f{}\变量b!
+_ = f{}.变量c!
+
+某事 =
+        测试: 12323
+        什么: -> 打印 "你好 世界"
+
+打印 某事.测试
+
+天哪 = 你好: "世界"
+
+氩 =
+        数字: 100
+        世界: (自己) ->
+                打印 自己.数字
+                return {
+                        某事: -> 打印 "嗨 从某事"
+                }
+        某事: (自己, 字符串) ->
+                打印 "字符串是", 字符串
+                return 世界: (变量a,变量b) -> 打印 "总和", 变量a + 变量b
+
+某事.什么()
+氩\世界().某事()
+
+氩\某事"200".世界(1,2)
+
+变量x = -434
+
+变量x = -你好 世界 一 二
+
+嗨 = -"herfef"
+
+变量x = -[变量x for 变量x in 变量x]
+
+打印 "你好" if 酷
+打印 "你好" unless 酷
+打印 "你好" unless 1212 and 3434
+打印 "你好" for i=1,10
+
+打印 "疯子"
+
+if 你好 then _ = 343
+
+打印 "什么" if 酷
+
+阅读者\解析_行! until 阅读者\结束!
+
+阅读者\解析_行! while not 阅读者\结束!
+
+((...)-> 参数 = {...})!
+
+变量x = (...) ->
+        dump {...}
+
+变量x = not true
+
+变量y = not(5+5)
+
+变量y = #"你好"
+
+变量x = #{#{},#{1},#{1,2}}
+
+_, _ = 你好, 世界
+
+某事\你好(什么) 变量a,变量b
+某事\你好 什么
+某事.你好\世界 变量a,变量b
+某事.你好\世界(1,2,3) 变量a,变量b
+
+变量x = 1232
+变量x += 10 + 3
+变量j -= "你好"
+变量y *= 2
+变量y /= 100
+变量y //= 100
+变量m %= 2
+你好 ..= "世界"
+
+@@某事 += 10
+@某事 += 10
+
+变量a["你好"] += 10
+变量a["你好#{tostring ff}"] += 10
+变量a[四].字段x += 10
+
+变量a.变量b += 1
+变量a.变量b[1].变量c[2 + 3] += 1
+with 表
+        .字段a.变量c += 1
+
+表[] = 10
+变量a.变量b.变量c[] = 1
+变量x[] = if 条件v
+        1
+else
+        2
+with 表
+        .变量b.变量c[] = with 向量
+                .字段x = 1
+                .字段y = 2
+对象a
+        .变量b.变量c
+        .变量d\函数!
+        .变量g[] = 1
+
+表 = {}
+表[] = 1
+表[] = 2
+表[] = 3
+
+变量x = 0
+_ = (if ntype(变量v) == "函数定义" then 变量x + 1) for 变量v in *值
+
+你好 =
+        某物: 世界
+        如果: "你好"
+        否则: 3434
+        函数: "好的"
+        好的: 230203
+
+表 = {
+        执行: 变量b
+        执行 :变量b
+}
+
+div 类: "酷"
+
+_ = 5 + 什么 无聊
+什么 无聊 + 5
+
+_ = 5 - 什么 无聊
+什么 无聊 - 5
+
+变量x = 你好 - 世界 - 某物
+
+((某物 = 与 什么
+        \酷 100) ->
+        打印 某物)!
+
+if 某物
+        _ = 03589
+
+-- 好的 什么 关于这个
+
+else
+        _ = 3434
+
+if 某物
+        _ = 是的
+
+elseif "嗯嗯嗯"
+
+        打印 "酷"
+
+else
+
+        _ = 好的
+
+-- 测试名字包含关键词
+变量x = 不是某物
+变量y = 如果某物
+变量z = 变量x 与 变量b
+变量z = 变量x 与b
+
+while 10 > 某物(
+                某物: "世界"
+        )
+        打印 "是的"
+
+-- 无界表
+
+变量x =
+        好的: 确定
+
+是的
+        好的: 男人
+        确定: 先生
+
+你好 "无逗号"
+        是的: 爸爸
+        另一个: 世界
+
+你好 "逗号",
+        某物: 你好_世界
+        骂人: 你
+
+-- 创建一个表
+另一个 你好, 一个,
+        二, 三, 四, 是的: 男人
+        好的: 是的
+        好: 好的
+
+另一个 你好, 一个,
+        二, 三, 四,
+        是的: 男人, 好的: 是的
+        * 好: 好的,
+                好的: 1
+        * 好: 好的,
+                好的: 2
+
+另一个 你好, 一个, 二, 三, 四,
+        是的: 男人
+        好的: 是的
+
+另一个 你好, 一个, 二, 三, 四, 是的: 男人
+        好的: 是的
+
+阿贾克斯 地址,
+        (数据) ->
+                处理 数据,
+        (错误) ->
+                打印 错误
+
+-- 
+变量a += 3 - 5
+变量a *= 3 + 5
+变量a *= 3
+变量a >>= 3
+变量a <<= 3
+变量a /= 函数 "酷"
+
+---
+
+变量x.然后 = "你好"
+变量x.当.真 = "你好"
+变量x
+        .当
+        .真 = "你好"
+
+--
+
+变量x or= "你好"
+变量x and= "你好"
+
+--
+
+变量z = 变量a-变量b
+变量z = 变量a -变量b
+变量z = 变量a - 变量b
+变量z = 变量a- 变量b
+
+-- 酷
+
+字符串 = --[[
+这是一个多行注释。
+没问题。
+]] 字符串A \ -- 注释 1
+        .. 字符串B \ -- 注释 2
+        .. 字符串C
+
+函数 --[[端口]] 3000, --[[ip]] "192.168.1.1"
+
+f = ->
+        变量a,变量b, \
+        变量c,变量d, \
+        变量e,变量f
+
+f = ->
+        变量a,变量b \
+        ,变量c,变量d \
+        ,变量e,变量f
+
+with 对象
+        调用(
+                --[[参数1]] \函数!,
+                --[[参数2]] 123,
+                --[[参数3]] "abc"
+        )
+
+调用A(
+        调用B(
+                调用C 123
+        )
+)
+
+123
+        |> 调用C
+        |> 调用B
+        |> 调用A
+
+变量v = {
+        变量a -1
+        变量a(
+-1)
+        变量a \
+- 1
+        变量a-1
+        变量a - 1
+        变量a -
+1
+        变量a-
+1
+        变量a - --[[123]]1
+
+        变量a ~1
+        变量a(
+~1)
+        变量a \
+~ 1
+        变量a~1
+        变量a ~ 1
+        变量a ~
+1
+        变量a~
+1
+        变量a ~ --[[123]]1
+}
+
+do
+        变量a = 1 \
+        + 2 \
+        * 3 /
+        4
+
+        变量_1 = f1 -1 \
+                + 2 \
+                + 3
+
+        变量_2 = f1 - 1 \
+                + 2 \
+                + 3
+
+        f2 = (变量x)-> 打印 变量x \
+        +1
+
+        变量a = f2!
+        -1 |> f2
+
+        变量a = f2! \
+        - 1 |> f2
+
+        变量_1 \
+        ,变量_2 \
+        ,变量_3 \
+        ,变量_4 = 1 \
+                ,f 2 \
+                ,3 \
+                ,f 4, \
+                        4
+
+do
+        f = (
+                变量a -- 参数a
+                变量b -- 参数b
+        )-> 变量a + 变量b
+        f(
+                变量a -- 值a
+                变量b -- 值b
+        )
+        f !
+
+nil
+