魏知古进士及第，历任著作郎、凤阁
舍人、卫尉少卿、
吏部侍郎、
晋州刺史、
黄门侍郎、右散骑常侍。他上疏劝谏
李旦，反对修建道观，被拜为宰相，担任
户部尚书、
平章事。
李隆基继位后，魏知古又升任侍中，进封梁国公。
开元二年（714年），魏知古因与
姚崇不睦，遭其谗害，被罢为工部尚书。开元三年（715年），卒，终年69岁。《
旧唐书·经籍志》《
新唐书·艺文志》著录文集20卷，《旧唐书》本传作7卷，但原本久佚。《
全唐诗》卷91存诗5首。《
全唐文》卷237载文4篇。
魏知古为人正直，二十岁便考中进士，历任著作郎、凤阁
舍人、卫尉少卿，参与
编修国史，又兼任检校相王府
司马。
当时，唐睿宗为女儿
金仙公主、
玉真公主修建道观。魏知古上疏进谏道：“安养百姓是治政之本。为公主修建道观，是要树功德来祈求福佑，但却占用民宅，使百姓无处安身，这既背人事，也有违天时，
皇帝为人父母，怎能安心。君主言行都要记载在史书中，因此非礼勿言，非礼勿动。臣有谏诤之责，又负责修史，如记下陛下不合常理的举动，后人会怎么看？臣认为盛暑修观非常不妥。请陛下体察民意、罢去劳役，造福于民。”
李旦不听。
不久，魏知古又进谏道：“臣听说百姓以君为天，君以百姓为本。陛下登基后，百姓都以为朝廷会施新政，但如今却风教衰败，府库空虚，人力凋敝，劳役不止，官员日增。为二位公主修建道观，并非急务，臣此前请求停止这一劳役，但仍未停止。今年水旱成灾，五谷不熟，若到明年春天，一定会发生饥荒。
皇帝为人父母，想用什么方法来拯救呢？突厥为患，为时已久，如今又遣使来朝，请求和亲。他们乘
中原地区饥虚，在和亲之际，倘若窥测侵犯，国家应怎么提防呢？”
李旦认为他言辞恳切，任命他为同
中书门下平章事，兼任太子左庶子。
先天元年（712年），魏知古担任
户部尚书、
同中书门下三品。八月太子
李隆基继位，是为唐玄宗，尊父亲唐睿宗为太上皇。魏知古又被拜为侍中。不久，魏知古随唐玄宗到渭川打猎，赋诗讽谏。唐玄宗下诏褒扬魏知古，对他大加赏赐。
开元元年（713年），魏知古进封梁国公。当时，
太平公主与宰相
窦怀贞等人意欲作乱，密谋废立。魏知古向唐玄宗告发，唐玄宗遂抢先发动
政变，诛杀太平公主等人。政变成功后，魏知古获赐实封三百户。
魏知古早年曾得到
姚崇的引荐，后与姚崇并列相位，受到姚崇的轻视。姚崇奏知皇帝，任命魏知古为吏部尚书，让他到
洛阳市主持选官，魏知古非常不满。姚崇之子认为父亲对魏知古有恩，便趁机请托于他。开元二年（714年），魏知古从洛阳回京，将此事告知
李隆基。
不久，玄宗假意问姚崇道：“你儿子才能如何？现在何处？”姚崇揣知玄宗的心意，便答道：“臣有两个儿子在洛阳任职，欲望很多但不谨慎。臣早年曾有恩于魏知古，他们一定是借此请托于魏知古。”唐玄宗认为
姚崇公正无私，而魏知古却有负于姚崇，便欲罢免他的官职。姚崇道：“臣的儿子行为失检，扰乱法纪，
皇帝却罢免魏知古，天下人一定会以为陛下偏私于臣。”唐玄宗最终还是在同年五月将魏知古罢为工部尚书。
《
全唐文》收录其文四篇：《答张九龄贺西幸延期表》《谏造金仙玉真观疏》《又谏营道观疏》《报吐番宰相达延书》。
《
全唐诗》收录其诗五首：《春夜寓直凤阁怀群公》《奉和春日途中喜雨应诏》《从猎渭川献诗》《玄元观寻李先生不遇》。
刘昫：魏知古、
卢怀慎、
源乾曜、
李元纮、
杜暹、
韩休、
裴耀卿，悉蕴器能，咸居宰辅。或心存启沃，或志在荐贤，或出爱子为外官，或止屯田于关辅，或不受蕃人之赂，或坚劾伯献之奸，或广漕渠以充国用：此皆立事立功，有足嘉尚者也。
宋祁：夫志满则忽其所谋，意骄则乐软熟、憎鲠切，较力虽多，课所效不及姚、宋远矣。终之胡雏乱华，身播边，非曰天运，亦人事有致而然。若知古等皆宰相选，使当天宝时，庸能有救哉。
赵元僖：
李世民有魏玄成、
房玄龄、
杜如晦，明皇有
姚崇、魏知古，皆任以辅弼，委之心，财成帝道，康济九区，宗祀延洪，史策昭焕，良由登用得其人也。