Zunächst muss die Struktur des Textes - die Grammatik - beschrieben werden. Viele hierfür nötige elementare Textmuster , wie. z.B. Zahlen, Worte, Anführungen etc., sind im TextTransformer-Programm als reguläre Ausdrücke bereits vordefiniert. So definierte Textmuster werden Token genannt. Die Definition neuer Token und die Kombination von Token zur vollständigen Grammatik geschieht mit nur wenigen Regeln.

Eine Folge von Ausdrücken, die im Text erwartet werden, wird durch die gleiche Folge in der Grammatik erkannt. Z.B.

"Hallo" "Welt"

würde im Text die aufeinander folgenden Worte "Hallo" und "Welt" erkennen.

Alternativen
werden mit einem '|' verbunden. Z.B. der Ausdruck

"alles" | "nichts"

würde im Text die Worte "alles" und "nichts" erkennen.

Optionen
werden mit einem '?' gekennzeichnet. Z.B.:

"vielleicht"?

würde das Wort "vielleicht" erkennen, wenn es im Text vorkommt.

Eine Wiederholung
wird durch das Zeichen '+' bezeichnet. Z.B.

Ziffer+

würde eine Zahl erkennen, die aus beliebig vielen, aber mindestens einer Ziffer besteht (Eine Ziffer kann als die Zeichmenge der Ziffern 0-9 definiert werden).

Eine optionale Wiederholung
wird durch Das Zeichen '*' bezeichnet. Z.B.

Ziffer*

würde die möglichen Nachkommastellen einer Zahl erkennen.

Assistenten helfen auch beim letzten Schritt, der für ein Transformations-Programm noch nötig ist: der Definition von Aktionen, durch die bestimmt wird was mit den bei der Analyse ekannten Textabschnitten angefangen werden soll.

Auf den jeweils zuletzt erkannten Abschnitt kann mit dem Ausdruck:

State.str()

zugegriffen werden. Der Textabschnitt kann entweder direkt in die Ausgabe geschrieben werden:

out << State.str();

oder z.B. in einer String-Variablen zwischengespeichert werden:

str s = State.str();

Das Funktionieren eines so erstellten Transformationsprogramms kann schließlich im integrierten Debugger schrittweise an Textbeispielen getestet werden.