Tente usar a versão 64 bits do JAVA, as versões de 32 bits possui um limite de memória de 1 gb.
Aumente a capacidade de alocação da memória seguindo este tutorial:
Marque a caixinha do JVM Arguments
Apague o ''1'' e coloque o máximo de memória que seu PC possui.
Se o problema persistir, tenta trocar de modpack.