Die entsprechende Routine hatte einen bösen Fall von Shlemiel the Painter's algorithm [1]. Dadurch wurden Fileuploads mit mehr als 20k Zeilen extrem langsam. Binärdaten wie pdfs oder Bilder hat das nicht gestört, aber bei CSV Imports hat eine 80k Zeilen Datei dann auch mal 2-5min gebraucht, nur um den Request zu parsen.
Jetzt werden nur die Indizes geparst und hinterher direkt aus dem Request der substr gezogen. Ausserdem endlich einen Testfall dafür eingebaut.
Parsing von multipart/formdata beschleuningt.
Die entsprechende Routine hatte einen bösen Fall von Shlemiel the Painter's
algorithm [1]. Dadurch wurden Fileuploads mit mehr als 20k Zeilen extrem
langsam. Binärdaten wie pdfs oder Bilder hat das nicht gestört, aber bei CSV
Imports hat eine 80k Zeilen Datei dann auch mal 2-5min gebraucht, nur um den
Request zu parsen.
Jetzt werden nur die Indizes geparst und hinterher direkt aus dem Request der
substr gezogen. Ausserdem endlich einen Testfall dafür eingebaut.
[1] http://en.wikipedia.org/wiki/Schlemiel_the_Painter%27s_algorithm