Só pra completar Eriadan e Meneldur, que já explicaram bastante:
A Terra-média é uma pré-formação dos atuais continentes Europa, Ásia e África, ou seja, é um continente gigantesco, que ocupava a maior parte do planeta. É mais ou menos como se fosse esses 3 continentes já citados, porém sem o Mar Mediterrâneo que os separa.
O trecho do mapa que é apresentado no fim dos livros é apenas um pedaço relativamente referente à Europa e ao norte da África, então, realmente não é lá muito grande. Mas existem muito mais extensões de terra ao sul e ao leste daquilo que é apresentado (vide o mapa postado pelo Menel).
Outros continentes de Arda são Aman (a terra dos Valar, onde fica Valinor), Númenor (que pode ser considerada uma ilha) e as duas grandes porções de terra ao extremo leste da TM. Dizem que estas duas, mais tarde, após a retirada de Aman dos Círculos do Mundo, teriam dado origem ao continente americano como o conhecemos hoje.
E Arda, como já explicou o Menel, passou a ser considerada o sistema solar, pois englobava o sol e a lua. De acordo com a mitologia de Tolkien, Sol e Lua nasceram na Terra e giram em torno do planeta, bem como as estrelas. Isso, então, torna Terra o centro do sistema solar, o que faz de Arda o nome do sistema todo. Tendo Ambar como planeta central.
Edit.: artigo interessante sobre a configuração dos continentes:
http://www.valinor.com.br/6784/
É curtinho, dá pra ler de boa!