Jistý pan Grant Munro odvypráví Holmesovi svůj příběh, kdy byl podveden svou vlastní ženou Effie. Ta byla dříve provdána za jiného muže v Americe, se kterým měla i dítě. Oba ovšem zemřeli na žlutou zimnici a ona se stala vdovou. Poté se vrátila do Anglie a znovu se provdala za Granta. Jejich manželství bylo téměř dokonalé. Vše se zlomí ve chvíli, kdy Effie svého muže poprosí o 100 liber, ale odmítne říci za jakým účelem. Proč si vypůjčila peníze, ale odmítla říci k čemu? Kdo je muž se žlutou tváří v sousedním domě?