Анатолий Иванович Грибков родился 23 марта 1919 года в деревне Духовое, ныне Лискинского района Воронежской области в семье крестьян Ивана Васильевича и Серафимы Кузьминичны Грибковых. Имел 6 братьев и 3 сестёр. За рождение и воспитание десятерых детей мать была впоследствии удостоена почётного звания и награждена орденом "Мать-героиня". В 1936 году окончил семь классов школы крестьянской молодёжи. В 1938 году окончил Тамбовский техникум механизации сельского хозяйства. Работал в колхозе, затем механиком машинно-тракторной станции.

В Красной Армии с 1938 года. Окончил Харьковское бронетанковое училище имени И. В. Сталина в декабре 1939 году, причём был выпущен из училища досрочно, как отличник, и сразу направлен в действующую армию на фронт советско-финской войны. Командовал танковым взводом в составе пяти танков Т-26. Воевал в районе Кандалакши. В одном из боев танк А. Грибкова был подбит, машину с контуженным экипажем эвакуировали из-под огня сослуживцы.

После подписания перемирия с Финляндией в 1940 году переведён помощником начальника штаба отдельного танкового батальона по разведке в Прибалтийский военный округ, служил в Латвии.

С первых дней Великой Отечественной войны в боях с гитлеровцами на Западном фронте, участвовал в трагическом оборонительном сражении в Белоруссии и в не менее драматическом Смоленском сражении, командовал танковой ротой. в составе 127-й танковой бригады участвовал в боях в Белоруссии и Смоленской области. По личному приказу командующего войсками 16-й армии генерал-майора К. К. Рокоссовского в сентябре 1941 года направлен на учёбу для прохождения ускоренного курса Военной академии имени М. В. Фрунзе, который окончил в мае 1942 года. При этом во время учёбы Грибкову пришлось принять участие в боях - в октябре 1941 года при прорыве врагом советского фронта его назначили командиром расчёта противотанкового орудия, сформированного из необученных московских ополченцев. Он обучил свой расчёт и почти месяц оборонял Москву от вражеских танков.

По окончании академии в мае 1942 года назначен в корпус офицеров - представителей Генерального штаба в войсках. Офицеры этого корпуса направлялись в армии, а также в действовавшие на особо важных направлениях корпуса и дивизии, они были независимы от командующих, при которых находились, имели право беспрепятственно пользоваться всеми средствами связи и передвижения и обязаны были докладывать в Генеральный штаб истинную обстановку, положение и состояние войск. Грибков служил представителем в 1-м танковом корпусе генерала М. Е. Катукова на Брянском фронте. С октября 1942 года - представитель в 1-м механизированном корпусе генерала М. Д. Соломатина на Калининском фронте. Прошёл вместе с корпусом всю кровопролитную операцию «Марс», сначала при прорыве немецкой обороны, затем в многодневных боях в окружении и при обратном прорыве из окружения. Когда план прорыва был подготовлен, Грибков попросил назначить его командиром танка взамен погибшего офицера, и возглавил ночную атаку на прорыв. В бою танк был подбит, но Грибков вновь отделался контузией.

Затем в том же качестве участвовал в Севской операции в январе 1943 года, в Курской битве, в Донбасской наступательной операции, в битве за Правобережную Украину, в Крымской операции. Отличные качества Грибкова как штабного работника были замечены Маршалом Советского Союза А. М. Василевским, который включил Грибкова в свою рабочую группу представителя Ставки Верховного Главнокомандования, а в мае 1944 года перевёл в Оперативное управление Генерального штаба на должность офицера-оператора прибалтийского направления.

Первые годы после Победы служил в Генеральном штабе. В порядке исключения по личному указанию А. М. Василевского направлен на учёбу в Академию Генерального штаба СССР имени К. Е. Ворошилова, которую окончил в 1951 году с золотой медалью. С марта 1952 года служил начальником отдела оперативной подготовки штаба Ленинградского военного округа, с января 1956 года - начальник оперативного управления штаба Ленинградского военного округа. Генерал-майор (1958 г.). С декабря 1959 года - начальник оперативного управления штаба Киевского военного округа.

С ноября 1960 года - вновь в Генеральном штабе, заместитель начальника и начальник оперативного управления Главного Оперативного управления. В период Карибского кризиса с октября по ноябрь 1962 года находился на Кубе в качестве представителя Министра обороны СССР во главе оперативной группы советских генералов и адмиралов. Имел задачу организовать отражение агрессии со стороны США силами группировки советских войск (42 тысячи человек) и кубинской армии. После урегулирования кризиса некоторое время занимался подготовкой работников кубинского Генерального штаба. Считался знатоком кубинских вопросов, затем также неоднократно направлялся на Кубу в различные командировки. Лично знаком с Фиделем Кастро.

С 1964 года - заместитель начальника Главного оперативного управления Генерального штаба. С июня 1965 года - командующий войсками 7-й гвардейской армии Закавказского военного округа, которая дислоцировалась в Армянской ССР. С 1969 года - первый заместитель командующего войсками Ленинградского военного округа, генерал-полковник (1972). В январе 1973 года назначен командующим войсками Ленинградского военного округа. В 1975 и в 1978 годах окончил Высшие академические курсы при Военной академии Генерального штаба ВС СССР. С октября 1976 по 1988 годы был начальником штаба Объединённых Вооружённых сил государств - участников Варшавского договора. Воинское звание генерал армии присвоено 29 октября 1976 года.

С 1988 года - в Группе Генеральных инспекторов Министерства обороны СССР. С 1992 года - в отставке. Жил в Москве. После ухода с военной службы написал несколько книг мемуарного жанра: «На службе Советского Союза», «Судьба Варшавского договора», «Операция "Анадырь"», «Исповедь лейтенанта». Выделяется его книга очерков «Встречи с полководцами», содержащая яркие очерки об общении автора с высшими военачальниками, с их позитивными и негативными характеристиками. Кроме того, автор более ста журнальных публикаций. Скончался 12 февраля 2008 года в Москве. Похоронен на Троекуровском кладбище.

Состоял в КПСС с 1941 года (был кандидатом с 1940 года). С 1976 года - кандидат в члены ЦК КПСС, с 1981 по 1989 годы - член ЦК КПСС. Депутат Верховного Совета СССР 8, 9, 10 и 11-го созывов (1973—1989).