Porter le lait à ébullition. Le verser sur la semoule, mélanger, couvrir et laisser refroidir 30 minutes. Laver soigneusement les oranges à l'eau bouillante. Râper le zeste et presser le jus. Réserver.
Séparer le blanc des jaunes d’œufs. Mixer les jaunes avec le sucre jusqu'à l'obtention d'une mousse blanche et léger. Incorporer les amandes, la semoule, la purée d'amandes, la poudre à lever et le zeste d'oranges. Bien mélanger.
Battre les blancs avec une pincée de sel en neige très ferme. Incorporer délicatement au reste de la pâte.
Verser le tout dans le moule beurré et saupoudré de farine. Faire cuire dans un four préchauffé à 170°C pendant 40 minutes environ.
Pendant ce temps, préparer le sirop. Mélanger le sucre avec le jus d'orange, le jus de citron et les grains de cardamome fendus. Faire cuire jusqu'à ce que la moitié s'évapore et que le sirop commence à coller à la cuillère.
Sortir le gâteau du four, le piquer à l'aide d'un cure-dent et l'imbiber de sirop chaud. Laisser refroidir complètement. Servir avec les rondelles d'oranges et/ou de la Chantilly.