Hubert Durieux, banquier dans une petite ville de province, consacre le peu de temps libre que lui laisse son travail à son ex-épouse, Brigitte, qui est toujours amoureuse de lui, à sa fille, Florence, qui a fait de lui son confident, et à sa maîtresse, Elsa, qui le poursuit nuit et jour.
