/dev/shm è un device virtuale (ed infatti si trova nella cartella dev!) che rappresenta la memoria condivisa del sistema (shm sta per SHared Memory).
La memoria necessaria a qemu non può essere presa da quella condivisa con altre risorse di sistema, quindi non ti resta che smontare la periferica (liberando di conseguenza) la memoria della tua macchina "prenotata" in avvio dal tuo linux e di rimontarne una quantità inferiore.
A questo punto avrai più memoria completamante libera a disposizione dell'emulatore.

Non ho capito in merito a che cosa cercavi una guida, ma per quanto riguarda Qemu dai un occhiata sul sito alla pagina delle faq, è una di quelle rare risorse ben fatte con una marea di info utili.