Un universitaire français, vivant depuis de nombreuses années au Japon, devient le secrétaire du célèbre Agakawa, écrivain à succès soudain frappé par la maladie. Ce dernier a toujours été soupçonné, dans le milieu littéraire, de devoir une part importante de sa renommée aux scandales privés qui, de manière répétée et organisée, l’ont porté sur le devant de la scène médiatique, lui et sa turbulente épouse Keiko Shimozaki, fille d’un acteur mythique de kabuki.
À la mort de l’écrivain, le narrateur se trouve chargé de la publication de textes inédits et doit se rendre, pour les récupérer, dans une résidence d’été si éloignée qu’elle paraît hors de l’espace et du temps.
L’accueil qu’on lui réserve est pour le moins étrange: la femme du Maître, qu’il n’a jamais rencontrée, ressemble davantage à une ombre sortie du Japon ancien, à un fantôme du théâtre traditionnel qu’à un être réel.
Que s’est-il passé dans cette maison ? Qui est Kikuko, cette jeune fille enfermée depuis sa naissance au fond de la Propriété ? Que cherche-t-on à lui cacher ? Pourquoi la femme de l’écrivain craint-elle à ce point la publication de ces textes ?
Bien des années après les faits, le narrateur cherche à se souvenir, prétend ne rapporter que la stricte vérité mais avoue parfois ne plus très bien savoir distinguer la réalité du rêve.