Режиссёр фильма Григорий Чухрай и сценарист Валентин Ежов прошли войну, поэтому сразу нашли общий язык. Оба хотели сделать рассказ об обыкновенном солдате, который не совершил никакого подвига, но при этом сделал так много, сколько не каждому удаётся… Сценарий бывшие фронтовики писали вместе — делили большие сцены на эпизоды, писали, что кому больше нравится, а потом отдавали друг другу текст на правку.
Сначала большую часть сценария занимало описание тыла и работающих на производстве женщин и детей, на титрах звучала песня о комсомольской юности, а героиня Шура погибала в бомбежке. Этот вариант на «Мосфильме» отвергли. Тогда Валентин Ежов убрал тыл и тяжелый труд на заводах, оставил в живых Шурку и понес правки на киностудию. Сценарий опять развернули с пометкой «проконсультироваться у Г. Н. Чухрая». Григорий Чухрай переписывать ничего не хотел и просто поменял местами несколько сцен. Это киностудию вполне устроило, и фильм подписали в производство.
Работа началась. На главные роли были утверждены Олег Стриженов и Лилия Алешникова, но на третий день съёмок Чухрай попал под машину и его увезли в больницу с переломом ноги и ключицы. Переломы были тяжелыми, и лечение заняло несколько месяцев. За это время Чухрай решил, что главные роли должны играть неизвестные молодые актёры, да и Стриженову было уже 30 лет, а его герою не исполнилось и двадцати… По выходу из больницы режиссёр начал искать новые кандидатуры.
Поиски дебютантов были настолько трудными, что потом Чухрай признавался, что хотел вообще всё бросить и заняться чем-то другим. Он не мог остановиться ни на одной кандидатуре — актёры или не дотягивали до режиссёрского идеала, или плохо смотрелись в паре. На режиссёра уже начали жаловаться коллеги — он опять срывал запуск в производство. В конце концов он утвердил на главную мужскую роль второкурсника ВГИКа Владимира Ивашова. Осталось дело за партнёршей…
Первокурсница Школы-студии МХАТа Жанна Прохоренко тогда провалила пробы на эпизод в другом фильме и решила зайти попробоваться в массовку к Чухраю. Режиссёр заметил её и утвердил на роль Шуры. Он искал собирательный образ, лицо «из народа», хотел, чтобы у актрисы была незапоминающаяся внешность, но при этом она была индивидуальна. Именно для того, чтобы сохранить индивидуальность, Чухрай оставил Жанне её тяжелую пышную косу. Сначала он сказал ассистентам подстричь актрису, так как в 40-е многие девушки состригали косы и делали укладки вслед за модными актрисами того времени… Из-за съёмок в фильме Прохоренко отчислили из МХАТа, и Чухрай помог ей перевестись во ВГИК.
Если главные роли играли дебютанты, то на второстепенных были настоящие звёзды. Режиссёр сильно сомневался, что знаменитый Евгений Урбанский согласится на маленькую роль инвалида, но актёр только попросил не проводить проб. Небольшую роль генерала сыграл Николай Крючков, которому его мудрый, усталый герой стал особенно дорог. В эпизодах «Баллады о солдате» появлялись Георгий Юматов, Евгений Евстигнеев, Лев Борисов, Эльза Леждей, Нина Меньшикова, Раднэр Муратов, Всеволод Санаев, Екатерина Савинова, Любовь Соколова и многие другие актёры, которые уже тогда были известны или стали очень популярны чуть позже.
В фильме были некоторые исторические неточности, но Чухрай пошёл на них сознательно. В начале войны отпуска солдатам не давали, но без этого не было бы фильма… Погоны солдаты в то время не носили, но режиссёр думал о том, что фильм будут показывать за рубежом, где все знают форму русского солдата-освободителя. Он хотел, чтобы в этом юноше все видели собирательный образ тех, кто прошёл через войну и принёс миру победу. Так что, несмотря на то, что события происходят в 1942 году, одет Алёша в форму конца войны.
Во время съёмок приходилось то и дело останавливаться. Режиссёру катастрофически не везло — выйдя из больницы после переломов, он почти сразу же заболел брюшным тифом. Потом киностудия засомневалась в сценарии — его начали считать мелким, пессимистическим, не героическим и даже подрывающим авторитет Советской армии, мол, зачем солдат Алёша бьёт по лицу человека? Потом остановили из-за сцены с неверной солдатской женой — решали, надо ли такое показывать зрителям. Чуть позже хотели изменить финал… Словом, стремились сделать такое кино про войну, которое очень не хотел Чухрай. Он как раз снимал фильм не о герое, а об одном человеке из целого поколения, которое оказалось подкошено войной.
Поначалу «Баллада о солдате» появилась в ограниченном прокате, но зрительский успех заставил пересмотреть прокатную категорию, и фильм пошёл повсеместно. Успех был ошеломляющий: только в СССР ленту посмотрели больше 30 миллионов человек, а был же ещё мировой прокат! «Баллада о солдате» стала абсолютным чемпионом по наградам среди советских фильмов — драма и её создатели получили более 100 международных премий, в том числе и два специальных приза жюри Каннского фестиваля.
В США, Японии и Греции «Баллада о солдате» была признана лучшим фильмом по итогам 1960−1961 года, фотографии актёров, постеры и афиши печатали в западной прессе, среди поклонников драмы были режиссёр Паоло Пазолини и актриса Лайза Минелли. Международная слава фильма привела его на «Оскар» — он был номинирован за лучший оригинальный сценарий. Выиграть не удалось, но это был единственный раз, когда отечественный фильм был представлен в этой номинации!