Un paralytique mène une vie recluse au rez-de-chaussée d'un grand immeuble. Le monde se limite pour lui à ce qu'il peut voir de sa fenêtre et à ce qu'il peut entendre, l'oreille collée à la cloison des voisins. Ces voisins que l'on ne voit jamais, dont on ignore les noms, forment en fait l'intrigue du roman. Ils nous donnent la notion du temps qui passe et sont le contrepoint aux propres « aventures » de l'infirme, aventures surtout intérieures, faites de rêves, de visions étranges, de cauchemars, d'obsessions sexuelles, de maniaqueries accentuées encore par le personnage de la mère qui revient chaque soir avec les nouvelles de la journée. Une grande place est donnée aux détails sordides (toutes ces petites choses qui prennent hélas dans la vie quotidienne une place obsédante, lancinante) et surtout aux bruits.
Michel Ragon a repris dans LE JEU DE DAMES, en les amplifiant, les recherches techniques qu'il avait abordées dans son précédent roman : LES AMÉRICAINS. Critique d'art, il a pensé que quelques-unes des techniques que ses amis peintres emploient déjà depuis quelques lustres, pouvaient être appliquées au roman.
LE JEU DE DAMES est un livre étrange, où Michel Ragon s'est laissé aller à son humour, un livre d'une grande originalité, contrastant d'ailleurs singulièrement avec les précédents romans « exotiques » de l'auteur, puisqu'il s'agit là, en fait, d'une sorte de « voyage autour de ma chambre ».