Schau doch mal, was bei dir in den Profileinstellungen (Siehe Anhang) unter JVM-Arguments steht (Irgendein Quatsch z.b. -gsajhgg=43585jhfsg).
Ich habe da nur folgendes stehen: "-Xmx4G". Das heißt, er darf 4 Gigabyte Arbeitsspeicher beanspruchen. Mehr darf da nicht stehen, es sei denn, du hast Mod's wie Optifine und co. dann gibt es dafür noch parameter damit die Grafik erkannt wird usw.