Напишите мой собственный синтаксис highlighter

Question

Я пытаюсь написать свой собственный синтаксис синтаксиса кода, но моя единственная трудность - решить, как начать работать с кодом. Например, чтобы анализировать каждый токен, я должен делать это только с регулярным выражением? Или, может быть, я должен разделить код для каждого пространства? Или для каждой линии? Я знаю, что я должен уметь разделять слова, чтобы предотвратить двойное совпадение. Например, если я хочу найти все ключевые слова, такие как «это, var, in, return и т. Д.», очевидно, что в this.index соответствует индекс также.

Итак, на основе вашего опыта, каковы ваши мнения?

Answer 1

Я бы посоветовал вам взглянуть на существующие решения. Что касается меня - я очень впечатлен этим маркером - http://softwaremaniacs.org/soft/highlight/en/

Он использует плагины для разбора разных языков - у вас может быть хороший опыт в этом вопросе.

Answer 2

Это хороший вопрос. Я провел аналогичные исследования, когда разработал собственный язык программирования (только для доказательства концепции). Я исследовал реализацию JSLint и JSMin Дугласом Крокфордом. Я видел, что он символизирует код, читая исходный символ символом. Вы можете увидеть этот подход, например, here и here. На самом деле вам нужно только токенизацию, прежде чем выделять код, поэтому я думаю, что этот подход подойдет лучше всего. После этого вы создадите расширенный парсер, который будет содержать меньше ошибок. Вероятно, у вас также будет большее использование кода при создании маркеров для разных языков.