Hallo Wolfgang,
in der Vorschau ist es korrekt, weil die Punkte einer (hier ungeordneten) Liste standardmäßig untereinander dargestellt werden. Du könntest also auch in HTML den Quellcode ohne Umbrüche schreiben.

Dein Problem kannst du mit folgendem Code lösen:

insert('[ul]\n[li]Test1[/li]\n[li]Test2[/li]\n[li]Test3[/li]\n','[/ul]');
 

Backslash und n erzeugt einen Zeilenumbruch in Strings. Bei der Ausgabe von JavaScript in HTML funktioniert das eigentlich auch, aber dann stehen die Umbrüche eben nur im Quellcode und das wird bei der Darstellung später nicht berücksichtigt. Deswegen werden in HTML explizit BR-Tags benötigt. Der Inhalt einer Textarea wird in der Regel aber genau so dargestellt, wie er eingegeben wurde, d.h. also, die Umbrüche werden hier beachtet. Auch in Alert-Fenstern kannst du die Umbrüche so direkt einfügen.

So wie \n einen Umbruch erzeugt, kann \t Tabstopps einfügen, welche zwar wieder in Textareas, aber in HTML ebenso nicht mehr dargestellt werden. Eine weitere Ausnahme bilden noch die PRE-Tags, welche auch die Einrückungen und Umbrüche im Quellcode berücksichtigen bzw. ausgeben.

Ein Backslash ist also das Escape-Zeichen, um besondere Funktionen auszuführen. Um einen einfachen Backslash darzustellen, muss dieser selbst escaped werden, da ansonsten das folgende Zeichen als Sonderfunktion interpretiert werden würde.
Eine Auflistung von Steuerzeichen für JavaScript findest du z.B. unter Steuerzeichen bei Zeichenketten.