构建您自己的 JavaScript 兼容语言：掌握编译器设计

构建您自己的 javascript 兼容语言：掌握编译器设计

创建自己的可编译为 javascript 的编程语言是一段迷人的旅程。这个项目将把您的技能推向极限，并让您更深入地了解语言的底层工作原理。

让我们从基础开始。 javascript 的自定义语言编译器通常涉及三个主要阶段：词法分析、解析和代码生成。

词法分析是第一步。在这里，我们将源代码分解为令牌。这些是我们语言中最小的意义单位。例如，在语句“let x = 5;”中，我们有“let”、“x”、“=”、“5”和“;”的标记。

这是一个简单的 javascript 词法分析器：

function lexer(input) {
    let tokens = [];
    let current = 0;

    while (current < input.length) {
        let char = input[current];

        if (char === '=' || char === ';') {
            tokens.push({ type: 'operator', value: char });
            current++;
            continue;
        }

        if (/s/.test(char)) {
            current++;
            continue;
        }

        if (/[a-z]/i.test(char)) {
            let value = '';
            while (/[a-z]/i.test(char)) {
                value += char;
                char = input[++current];
            }
            tokens.push({ type: 'identifier', value });
            continue;
        }

        if (/d/.test(char)) {
            let value = '';
            while (/d/.test(char)) {
                value += char;
                char = input[++current];
            }
            tokens.push({ type: 'number', value });
            continue;
        }

        throw new error('unknown character: ' + char);
    }

    return tokens;
}

这个词法分析器可以处理简单的赋值，例如“let x = 5;”。它很基础，但它让您了解词法分析的工作原理。

接下来是解析。这是我们获取令牌流并构建抽象语法树（ast）的地方。 ast 代表了我们程序的结构。

这是我们语言的一个简单解析器：

function parser(tokens) {
    let current = 0;

    function walk() {
        let token = tokens[current];

        if (token.type === 'identifier' && token.value === 'let') {
            let node = {
                type: 'variabledeclaration',
                name: tokens[++current].value,
                value: null
            };

            current += 2; // skip the '='
            node.value = walk();

            return node;
        }

        if (token.type === 'number') {
            current++;
            return { type: 'numberliteral', value: token.value };
        }

        throw new typeerror(token.type);
    }

    let ast = {
        type: 'program',
        body: []
    };

    while (current < tokens.length) {
        ast.body.push(walk());
    }

    return ast;
}

这个解析器可以处理简单的变量声明。它不是很强大，但它说明了这个概念。

最后一步是代码生成。这是我们将 ast 转换为 javascript 代码的地方。这是一个简单的代码生成器：

function codegenerator(node) {
    switch (node.type) {
        case 'program':
            return node.body.map(codegenerator).join('
');

        case 'variabledeclaration':
            return 'let ' + node.name + ' = ' + codegenerator(node.value) + ';';

        case 'numberliteral':
            return node.value;

        default:
            throw new typeerror(node.type);
    }
}

现在我们可以把它们放在一起：

function compile(input) {
    let tokens = lexer(input);
    let ast = parser(tokens);
    let output = codegenerator(ast);
    return output;
}

console.log(compile('let x = 5;'));
// outputs: let x = 5;

这只是表面现象。真正的语言编译器需要处理更多内容：函数、控制结构、运算符等等。但这可以让您体验一下所涉及的内容。

随着我们扩展语言，我们需要向词法分析器添加更多标记类型，向解析器添加更多节点类型，向代码生成器添加更多案例。我们可能还想在解析和代码生成之间添加一个中间表示（ir）阶段，这可以使执行优化变得更容易。

让我们添加对简单算术表达式的支持：

// add to lexer
if (char === '+' || char === '-' || char === '*' || char === '/') {
    tokens.push({ type: 'operator', value: char });
    current++;
    continue;
}

// add to parser
if (token.type === 'number' || token.type === 'identifier') {
    let node = { type: token.type, value: token.value };
    current++;

    if (tokens[current] && tokens[current].type === 'operator') {
        node = {
            type: 'binaryexpression',
            operator: tokens[current].value,
            left: node,
            right: walk()
        };
        current++;
    }

    return node;
}

// add to code generator
case 'binaryexpression':
    return codegenerator(node.left) + ' ' + node.operator + ' ' + codegenerator(node.right);

case 'identifier':
    return node.value;

现在我们的编译器可以处理像“let x = 5 + 3;”这样的表达式。

随着我们继续构建我们的语言，我们将面临有趣的挑战。我们如何处理运算符优先级？我们如何实现 if 语句和循环等控制结构？我们如何处理函数和变量范围？

这些问题引导我们进入更高级的主题。我们可以实现一个符号表来跟踪变量及其范围。我们可以添加类型检查以在运行前捕获错误。我们甚至可以实现自己的运行时环境。

一个特别有趣的领域是优化。一旦我们有了 ast，我们就可以对其进行分析和转换，以使生成的代码更加高效。例如，我们可以实现常量折叠，在编译时评估常量表达式：

function optimize(node) {
    if (node.type === 'BinaryExpression' &&
        node.left.type === 'NumberLiteral' &&
        node.right.type === 'NumberLiteral') {
        let result;
        switch (node.operator) {
            case '+': result = Number(node.left.value) + Number(node.right.value); break;
            case '-': result = Number(node.left.value) - Number(node.right.value); break;
            case '*': result = Number(node.left.value) * Number(node.right.value); break;
            case '/': result = Number(node.left.value) / Number(node.right.value); break;
        }
        return { type: 'NumberLiteral', value: result.toString() };
    }
    return node;
}

我们可以在代码生成阶段在每个节点上调用此函数。

另一个高级主题是源映射生成。源映射允许调试器在生成的 javascript 和我们的原始源代码之间进行映射，从而使调试变得更加容易。

随着我们深入研究语言设计，我们开始理解其中的细微差别和权衡。我们的语言应该是强类型的还是动态类型的？我们如何平衡表现力和安全性？什么语法将使我们的语言直观且易于使用？

构建一种可编译为 javascript 的语言也让我们对 javascript 本身有了独特的视角。我们开始明白为什么做出某些设计决策，并且我们对语言的怪癖和功能有了更深入的了解。

此外，这个项目可以显着增强我们对其他语言和工具的理解。我们遇到的许多概念 - 词法作用域、类型系统、垃圾收集 - 都是编程语言设计和实现的基础。

值得注意的是，当我们编译为 javascript 时，其中许多原则也适用于其他目标语言。一旦了解了基础知识，您就可以调整编译器以输出 python、java 甚至机器代码。

当我们结束时，很明显构建一个语言转译器并不是一件容易的事。这是一个可以与您一起成长的项目，始终提供新的挑战和学习机会。无论您是想为特定问题创建特定于领域的语言，还是只是对语言的工作原理感到好奇，这个项目都是加深您的编程知识的绝佳方法。

请记住，目标不一定是创建下一个大型编程语言。真正的价值在于旅程——你获得的理解、你解决的问题以及你发展的新思维方式。因此，不要害怕尝试、犯错误，并突破你认为可能的界限。快乐编码！

我们的创作

一定要看看我们的创作：

我们在媒体上

以上就是构建您自己的 JavaScript 兼容语言：掌握编译器设计的详细内容，更多请关注硕下网其它相关文章！