Go 的 UTF 支持：一个有趣的限制

go 的 utf 支持：一个有趣的限制

我最近一直在探索 go 的 utf-8 支持，并且很好奇它在代码中处理非拉丁脚本的效果如何。

使用 utf-8

go 源文件默认采用 utf-8 编码。这意味着理论上您可以在变量名称、函数名称等中使用 unicode 字符。

例如，在官方的 go playground 样板代码中，你可能会遇到这样的代码：

package main

import "fmt"

func main() {
    消息 := "hello, world!"
    fmt.println(消息)
}

这里的“消息”是中文“消息”的意思。由于其 unicode 支持，go 可以毫无问题地处理这个问题。这种功能是 go 在中国和日本等国家流行的原因之一——开发人员可以使用对自己语言有意义的标识符来编写代码。你可能不会相信，但用母语编写代码在中国非常受欢迎，我喜欢它。

尝试使用泰米尔语标识符

当然，我想用我的母语泰米尔语尝试一下。

这是我写的一个简单示例：

package main

import "fmt"

func main() {
    எண்ணிக்கை := 42 // "எண்ணிக்கை" means "number"
    fmt.println("value:", எண்ணிக்கை)
}

乍一看，这似乎很简单，可以运行而不会出现任何错误。

但是，当我尝试编译代码时，我遇到了错误

./prog.go:6:11: invalid character U+0BCD '்' in identifier
./prog.go:6:17: invalid character U+0BBF 'ி' in identifier
./prog.go:6:23: invalid character U+0BCD '்' in identifier
./prog.go:6:29: invalid character U+0BC8 'ை' in identifier
./prog.go:7:33: invalid character U+0BCD '்' in identifier
./prog.go:7:39: invalid character U+0BBF 'ி' in identifier
./prog.go:7:45: invalid character U+0BCD '்' in identifier
./prog.go:7:51: invalid character U+0BC8 'ை' in identifier

了解泰米尔语组合标记的问题

要了解发生了什么，有必要了解一些泰米尔语脚本的工作原理。

泰米尔语是一种abugida——一种将每个辅音-元音序列写成一个单元的书写系统。在 unicode 中，这通常涉及将基本辅音字符与表示元音或其他修饰符的一个或多个组合标记组合起来。

例如：

泰米尔语字母க (u+0b95) 代表辅音“ka”
要表示“ki”，您可以将 க 与元音符号 ி (u+0bbf) 组合起来，得到 கி。
元音符号 ி 是一个组合标记，在 unicode 中被明确归类为“非空格标记”。

这就是问题出现的地方。

go 的语言规范允许在标识符中使用 unicode 字母，但排除组合标记。具体来说，标识符可以包含分类为“字母”的字符（类别 lu、ll、lt、lm、lo 或 nl）和数字，但不能包含组合标记（类别 mn、mc、me）。

泰米尔语组合标记示例

让我们看看泰米尔语字符是如何形成的：

独立辅音：க (u+0b95) - go 标识符中允许使用。
辅音+元音符号：கா (u+0b95 u+0bbe) - 不允许，因为ா (u+0bbe) 是组合标记 (mc)。
辅音 + 元音符号：கி (u+0b95 u+0bbf) - 不允许，因为 ி (u+0bbf) 是组合标记 (mn)。
辅音 + 元音符号：கூ (u+0b95 u+0bc2) - 不允许，因为 ூ (u+0bc2) 是组合标记 (mc)。

标识符எண்ணிக்கை（“数字”）中，字符包含组合标记：

எ (u+0b8e) - 字母，允许。
ண் (u+0ba3 u+0bcd) - 由ண (u+0ba3) 和 virama ் (u+0bcd) 组成，组合标记 (mn)。
ண (u+0ba3) - 字母，允许。
ிக்கை - 包含组合标记，如 ி (u+0bbf) 和 ை (u+0bc8)。

由于 go 标识符中不允许使用这些组合标记，因此编译器在遇到它们时会抛出错误。

为什么汉字可以用而泰米尔语不行

汉字在 unicode 中通常被归类为“字母、其他”(lo) 类别。它们是独立的符号，不需要组合标记来形成完整的字符。这就是为什么像消息这样的标识符在 go 中完美工作的原因。

实际意义

无法在标识符中使用组合标记对于泰米尔语等脚本具有重大影响：

表达能力有限：如果不组合标记，几乎不可能用泰米尔语编写有意义的标识符。
教育障碍：使用本机脚本可以使学习编码变得更容易，但这些限制阻碍了这种可能性，特别是对于遵循基于 abugida 的书写系统的语言。
包容性挑战：虽然 go 的目标是通过 utf-8 支持实现包容性，但组合标记的限制排除了许多依赖它们的语言。

总结

go 的 utf-8 支持是朝着使编程更具包容性迈出的一大步。然而，在标识符中排除组合标记对泰米尔语、印地语和阿拉伯语等语言造成了障碍，在这些语言中，组合标记是脚本的组成部分。

作为一名来自泰米尔纳德邦、主要从事 go 工作的开发人员，这个发现既令人兴奋又有点令人失望。它强调了编程语言真正国际化的复杂性。

谁用母语编码来构建软件产品！？！！！！

绝对！与东亚地区不同，那里不遵循基于“abugida”的书写系统。

而且，显然，go 的创建者一开始就不会打算将 utf-8 合规性用于“本地语言编码”。原因更多是为了提供更好的 ascii 处理、与现代 web 标准保持一致、一致的字符串处理以及迈向互操作性的一步。

这次尝试只是我的好奇心，想了解我们能在 go 中实现 utf-8 合规性到什么程度。作为致力于用 go 构建可扩展的分布式金融科技系统的人，我发现了解这些细微差别至关重要。

就是这样。感谢您的阅读。

快乐编码:)愿代码与你同在。

以上就是Go 的 UTF 支持：一个有趣的限制的详细内容，更多请关注其它相关文章！