Филипп Рубахо родился 13 января 1923 года в городе Аксай Ростовской области. Ещё в юности он удостоился нагрудного знака "Ворошиловский стрелок" за успешное участие в больших стрелковых состязаниях.
Летом 1941 года Филипп Рубахо был уже в строю морских пехотинцев Черноморского флота. В составе 3-го морского полка, а затем 7-й бригады морской пехоты он участвует во многих боях, но в одном из них получил тяжёлое ранение и почти на год вышел из строя.
В марте 1943 года старшина 1-й статьи Филипп Рубахо попросился на передовую. Его назначили командиром снайперской команды в отряд особого назначения Новороссийской военно-морской базы. Он опять на передовой. Его группу бросают на самые горячие точки боёв под Новороссийском.
В июле 1943 года вражеские снайперы стали особенно беспокоить наших бойцов в районе высоты Сахарная Голова. Командование перебросило группу Рубахо на этот участок фронта. Снайперы быстро уничтожили гитлеровцев, сам командир группы снял 3-х вражеских снайперов.
А на соседнем участке немцы построили трёх - амбразурный дот, хорошо замаскировали его. Огнём из дота противник часто обстреливал наши передовые позиции. Рубахо добровольно вызвался разведать подступы к этой огневой точке. В течение 2-х дней он следил за дотом, изучал поведение его гарнизона, пробирался к нему по горным тропам. А 7 июля проник ночью к доту и взорвал его вместе со всем гарнизоном. За этот подвиг старшина 1-й статьи Филипп Рубахо был награждён орденом Красного Знамени.
В боях на Малой земле он довёл боевой счёт убитых врагов до 276.
В ходе Новороссийской операции группа Ф. Я. Рубахо вошла в 393-й отдельный батальон морской пехоты Новороссийской военно-морской базы Черноморского флота капитан - лейтенанта В. А. Ботылева, которому было приказано ворваться в Новороссийский порт с моря.
В ночь на 10 сентября 1943 года наши корабли прорвались в Новороссийский порт и начали высадку десанта. Первыми прорвались в порт разведчики батальона. В этой группе был и снайпер Рубахо. Затем сквозь огненную стену фашистских снарядов и мин высадились в порт основные силы морской пехоты.
На причале и на набережной Рубахо уничтожил 2 пулемётных расчёта. Потом его группа схватилась с фашистами врукопашную. Решительно действуя штыком и гранатами, Рубахо прокладывал путь себе и товарищам, отвоевывая у врага позицию за позицией. К рассвету десантники заняли причалы порта и прилегающие к нему здания. Укрываясь в развалинах, Филипп успешно истреблял неприятеля.
Особенно жаркий бой разгорелся за здание клуба моряков: 28 атак отбили десантники. Без пищи, без воды, в горевшем здании стойко держались моряки. Они поражали вражеские танки гранатами и огнём из противотанковых ружей, пулемётным и ружейным огнём косили цепи атакующих.
Ещё во время штурма клуба, Рубахо заставил замолчать огневую точку, а внутри здания сразил 3 гитлеровцев. Получив ранение, отважный воин остался в строю. Когда морские пехотинцы овладели клубом моряков, по ним начал бить пулемёт из соседнего здания, а ещё дальше наблюдатели засекли шестиствольный миномёт. Командир батальона приказал снайперу пробраться в тыл фашистским пулемётчикам и миномётчикам и уничтожить их. Рубахо отправился на задание. Вскоре и пулемёт, и миномёт замолкли, но снайпер долго не возвращался. Все решили, что он погиб. Только через 2 часа он появился и доложил о результатах дерзкой вылазки.
14 сентября, в бою за клуб - ключевую позицию - Филипп Рубахо был ранен в обе ноги, но остался в боевом строю. Он попросил товарищей поднять его на 2-й этаж занятого десантниками дома, чтобы лучше видеть цели для стрельбы.
Разъярённый враг обрушил на здание клуба моряков огонь артиллерии. Прямые попадания снарядов следовали одно за другим. Не было сомнений, что где - то поблизости появились немецкие корректировщики. Вскоре Рубахо обнаружил их на крыше соседнего здания и сразил двумя выстрелами. Эффективность артиллерийского огня противника сразу же снизилась. Затем, меткими выстрелами он стал уничтожать фашистов, атаковавших морских пехотинцев. Моряк временами терял сознание, а очнувшись, продолжал вести огонь. Так раненый снайпер уничтожил 20 врагов.
При очередном артиллерийском обстреле бесстрашный снайпер был ранен в 3-й раз - в голову. Старшину удалось эвакуировать в госпиталь, но рана оказалась смертельной...
К тому времени, метким огнём из снайперской винтовки он уничтожил 346 солдат и офицеров противника (по другим источникам - 323), подорвал 8 дзотов, танк, миномёт, подготовил 72 снайпера.
На следующий день, 16 сентября 1943 года, Новороссийск был полностью освобождён от фашистских захватчиков.
22 января 1944 года за мужество и воинскую доблесть, проявленные в боях с врагами, Президиум Верховного Совета СССР посмертно присвоил старшине 1-й статьи Филиппу Яковлевичу Рубахо высокое звание Героя Советского Союза. Награждён орденами Ленина, Красного Знамени.
Похоронен в городе Сочи. В 1950 году он навечно зачислен в списки воинской части Краснознамённого Черноморского Флота. На родине именем Героя названа улица.
Его имя носит одна из улиц города-курорта Геленджик.