Beispiele > Konvertierung eines Atari-Textes > Token
Um die nicht lesbaren Zeichen in lesbare zu übersetzen, müssen sie zunächst im Text gefunden werden. Die Textelemente bzw. Token, die das Übersetzungsprogramm zu suchen hat werden auf der zweiten Seite des TETRA-Programms definiert. Wenn sie mit der Maus den Token-Reiter des Registers anklicken, erscheint am linken Rand der Seite eine Liste von Namen der definierten Terminalsymbole.
Wird ein Name der Liste angeklickt, so erscheint im Textfenster die Definition des entsprechenden Symbols. Mit einer Ausnahme sind sämtliche Definitionen des Atari-Projekts einander ähnlich: ein Backslash '\' gefolgt von einem 'x' und zwei Ziffern. Wird z.B. das Symbol ue angeklickt, so erscheint im Textfenster der Ausdruck: \x81. Dieser Ausdruck ist eine Nummer in hexadezimaler Schreibweise, die dem Zeichen im ANSI-Zeichensatz zugeordnet ist. Statt dieses Ausdrucks könnte auch das leere Quadrat "", das an einer Stelle des Textes vorkommt, die durch ein 'ü' ersetzt werden soll im Textfenster stehen. Dann sähen die Textfenster für alle Umlaute jedoch gleich aus.
Der Ausdruck: "\x81", lässt sich leicht ermitteln, indem zur TETRA-Seite zurückgegangen wird und nach Platzierung des Textcursors links neben dem unbekannten Zeichen die rechte Maustaste gedrückt wird. Hier erscheint dann ein Popup-Menü in dem der Punkt Zeichen hexadezimal anzeigen betätigt wird.
Nun erscheint eine Dialogbox mit dem gesuchten Ausdruck. Zugleich wird der Ausdruck in die Zwischenablage kopiert, von wo aus es in den Text zur Definition eines Symbols eingefügt werden kann.
Eine Symboldefinitionen unterscheidet sich von den übrigen:
normal_text =
[^\x11\x12\x15\x16\x17\x18\x81\x84\x94\x99\x9E\x8E\x9A\x9C]+
Dieser Ausdruck definiert die Textabschnitte, die kein Sonderzeichen und kein Textattribut sind. Im inneren der eckigen Klammer befindet sich ein Negationszeichen '^' gefolgt von der Liste der einzelnen in den übrigen Symboldefinitionen vorkommenden Hexadezimalausdrücken. Die eckigen Klammern definieren eine Zeichenmenge; hier die Menge aller Zeichen, die kein Sonderzeichen und kein Textattribut sind, also z.B einen Buchstaben des Alphabets oder ein Satzzeichen. Das der eckigen Klammer folgende Pluszeichen bedeutet, dass Zeichen der vorangehenden Menge einmal oder beliebig oft aufeinander folgend auftreten.
normal_text schließt auch Zeilenumbruchszeichen, Tabulatoren und Leerzeichen mit ein. Standardmäßig werden diese Zeichen in TETRA-Projekten ignoriert. Für das Atari-Projekt wurde diese Standardeinstellung geändert. Im Menü unter "Einstellungen->Projektoptionen" sind daher die Markierungen für alle ignorierbaren Zeichen gelöscht.
