Сделал буферизацию вершин в промежуточном буфере в памяти. Получилось стрёмно, если рисовать все время разные текстуры, однако при отрисовки однотипных текстур прирост до двух раз в скорости. Пришлось подшаманить и сделать более хитрый алгоритм отрисовки. В целом прирост раза в полтора получился в скорости.

Следующий шаг - удобное масштабирование. Шкала выбрана из расчета 1 = истинный размер, 0 - нулевой, 2 - удвоеный. Тип масштаба - float.