Ich bin den 330 mit 2.93, 3.23 und 3.38 gefahren. 3.23 wäre für mich das untere Limit. Der Unterschied zu 3.38 ist nochmal deutlich spürbar.
Dein Problem ist eher dass du nur den 5 Gang hast. Ich finde 3.38 mit 6 Gängen noch angenehm, aber wenn ich nur 5 Gänge hätte, wäre 3.23 eher mein oberes Limit.
Dein zweites Problem ist dass du den kleinen 323 hast, dann auch noch als Cabrio. Da brauchst du schon 3.46 oder 3.64, damit es gut passt. In der Tat, deshalb kommt der 323 als Cabrio mit 3.46 ab Werk.
(im US Modell)
Also kurz: Die Unterschiede sind sehr deutlich und es lohnt sich zu 100%. Ich würde nie mehr einen E46 mit Standard diff fahren. Aber umso kleiner der Motor und umso schwerer die Karosse, umso mehr Kompromisse muss man eingehen.