В основу фильма легла биография бывшего чекиста Владимира Петроченкова. Под псевдонимом Владимир Востоков он написал книгу воспоминаний, которую затем превратил в сценарий.
Соавтором писателя со шпионским прошлым стал Олег Шмелёв, он же — генерал-лейтенант советской контрразведки Олег Грибанов.
Съёмки шпионского детектива неожиданно доверили режиссёру Вениамину Дорману.
Когда началась работа над «Ошибкой резидента», он уже был широко известен как комедиограф — снял спортивную комедию «Штрафной удар» и ленту про спекулянтов «Лёгкая жизнь».
Однако его последняя комедия «Приезжайте на Байкал» успеха не имела, поэтому Дорман задумался о смене жанра. А после грандиозного успеха «Ошибки резидента» полностью переквалифицировался в режиссёра детективов.
На роль резидента западной разведки Михаила Тульева был приглашён Георгий Жжёнов. К началу съёмок актёр отбыл два срока в тюрьме по ложному обвинению в шпионаже.
Посадили его по доносу коллеги, который сообщил о мнимой дружбе Жжёнова с агентами ЦРУ. В сталинских лагерях прошли 17 лет жизни будущего народного артиста СССР.
Когда за роль в «Ошибке резидента» актёру вручали премию КГБ, он произнёс со сцену горькую шутку: «Если снова меня посадите, теперь надеюсь на тёплую камеру…».
Сотрудника КГБ Павла Синицина сыграл бард и диссидент Михаил Ножкин — перед съёмками его как раз уволили из Москонцерта за недостаточно патриотичный репертуар.
В фильме прозвучали его песни — «Образованные просто одолели» и «А на кладбище так спокойненько».
На роль супруги Тульева режиссёр пригласил Элеонору Шашкову. Она и сама в прошлом была напрямую связана с разведкой.
После школы будущая актриса три года служила на Дальнем Востоке, была машинисткой в отделе разведки штаба пограничных войск КГБ и, как и все сотрудники, давала подписку о неразглашении государственной тайны.
Шашковой было суждено стать женой двух самых известных разведчиков советского кино — Тульева и Штирлица. Впоследствии она сыграла с Вячеславом Тихоновым в телефильме «Семнадцать мгновений весны».
Съёмки фильма проходили в обстановке строжайшей секретности, так как вызывали большой интерес зарубежных разведок.
Во время работы случился инцидент, который мог лишить зрителей фильма. Водитель арендованной машины привлёк к себе внимание тем, что постоянно что-то записывал.
Его пригласили сначала в Госкино, а затем и на Лубянку, где выяснилось, что он — сотрудник британской разведки.
Для кинематографистов открыли самые секретные объекты страны — они побывали даже на атомной электростанции.
Часть съёмок проходила в городе Светлогорске под Калининградом, а также на бывшей базе подводных лодок в Балтийске.
Агенты советских спецслужб постоянно находились в составе съёмочной группы и направляли её работу. А после выхода «Ошибки резидента» в титрах советского кино впервые появилась строка «консультант».
