Родился 3 мая 1923 года в городе Нахичевани. Перед войной закончил десятилетку и поступил в Московский институт транспорта на факультет строительства железных дорог. После начала Великой Отечественной войны, одновременно с учебой работал кузнецом на заводе цветных металлов.
Осенью 1941 года институт был эвакуирован в Тбилиси. В конце декабря 1941 года Г.Касумбеков поступил в Каспийское высшее военно-морское училище. По окончании училища в конце февраля 1945 года лейтенант Касумбеков был направлен на Черноморский флот. По прибытию к месту службы он был был зачислен в команду для приемки новых кораблей построенных в США.
В начале мая 1945 года в составе команды Касумбеков направлен на Тихоокеанский флот во Владивосток. После выполнения задания командования по приемке кораблей из США был назначен штурманом на тральщик. В августе-сентябре 1945 года принимал участие в боевых действиях с Японией. Служил на тральщиках корабельной группы по прикрытию Южного Сахалина и Курильских островов. Участвовал в обеспечении противоминной защиты Курильских островов и Порт-Артура, тралении акваторий Охотского и Японского морей, проливов Лаперуза и Татарского. Весной 1949 года старший лейтенант Касумбеков назначается командовать отрядом десантных кораблей и катеров.
В конце 1949 года получил назначение на Балтийский флот командиром тральщика. Позднее капитан-лейтенант Касумбеков назначается командиром дивизиона тральщиков военно-морской базы Балтийск. В начале января 1957 года капитан второго ранга Касумбеков Г. Г. назначается в на должность начальника штаба бригады охраны водного района военно-морской базы Свиноустье (Польская Народная Республика).
В начале 1963 года капитан первого ранга Касумбеков назначается командиром бригады десантных кораблей военно-морской базы Балтийск. Ему первому довелось испытывать на Балтике поступавшие на флот новые десантные корабли, катера, а также суда на воздушной подушке типа «Джейран», «Скат», «Кальмар». В июле 1970 года Касумбеков Г. Г. назначается начальником штаба — заместителем командира военно-морской базы Балтийск и, с этого же времени, по приказу главнокомандующего ВМФ вступает во временное командование базой и гарнизоном Балтийска. В 1971 году Касумбеков производится в контр-адмиралы, а в январе 1973 года назначается командиром военно-морской базы Балтийск и начальником гарнизона.
В 1976 году Г. Г. Касумбеков был произведен в вице-адмиралы, а в июне 1977 года назначен командующим Краснознаменной Каспийской флотилией. 9 июля 1984 года приказом МО СССР вице-адмирал Касумбеков Г. Г. уволен в отставку.
Награжден орденом Отечественной войны I степени, двумя орденами Красной Звезды, орденами Трудового Красного Знамени, «За службу Родине в Вооруженных Силах СССР» III степени, более чем 30 медалями, а также наградами Польши, Германии, других стран. В 1973 году приказом Главнокомандующего ВМФ СССР награжден Почетным оружием (кортиком). Вице-адмирал Касумбеков Г. Г. скончался 22 апреля 2005 года в Баку. Великие Азербайджанцы, Азербайджанцы, Азербайджан
