ヤコブは漁師ゼベダイの子で、ヨハネの兄弟です。アルファイの子ヤコブ（小ヤコブ）と区別するために大ヤコブとも言われています。ペトロ、アンデレ、ヨハネと共に、ゲネサレト湖でイエスと出会い、イエスの弟子となりました。そして、イエスの12弟子の一人となり、兄弟ヨハネと共にボアネルゲス「雷の子ら」という名を付けられました（マルコ3：17）。イエスと弟子たちがサマリアの村を訪れ、彼らが歓迎されなかった時、ヤコブとヨハネはイエスに「主よ、お望みなら、天から火を降らせて、彼らを焼き滅ぼしましょうか」（ルカ9：54）と言い、そのエピソードが「雷の子ら」と言われた彼らの性格をよく表しています。このように弟子たちの中でも一際目立つ存在であるヤコブは兄弟ヨハネとリーダー格のペトロと共に、イエスの12弟子の中心人物でした。イエスの変容の出来事（マルコ9：2～8）を目の当たりにしたのも、この3人の弟子たちだけで、彼らは特にイエスから信頼されていました。
イエスが三度目の死と復活を弟子たちに予告された時、ヤコブとヨハネはイエスに願い出て「栄光をお受けになるとき、わたしどもの一人をあなたの右に、もう一人を左に座らせてください。」（マルコ10：37）と言います。イエスは「あなたがたは、自分が何を願っているか、分かっていない。このわたしが飲む杯を飲み、このわたしが受ける洗礼を受けることができるか。」 と言われ、イエスが飲む杯とは殉教の死を意味していましたが、彼らはそのことをわかっていませんでした。しかしそれでも彼らが「できます」と答えると、イエスは「確かに、あなたがたはわたしが飲む杯を飲み、わたしが受ける洗礼を受けることになる。」（マルコ10：39）と言われ、紀元44年頃、ヤコブはユダヤの王ヘロデ・アグリッパの手によって殺され（使徒12：2）、殉教の「杯」を飲みました。
伝承によると、彼は殉教する前に、スペインを訪れて福音を伝え、殉教した後はスペインに遺体が運ばれ、サンチャアゴ・デ・コンポステラに埋葬されたと言われています。9世紀にスペインで起きたムスリムとの戦いに勝利した際、彼はムスリムからスペインを守ってくれた守護聖人として人々から崇められるようになり、15世紀頃まで、中世ヨーロッパにおける最大の巡礼地として、多くの巡礼者が訪れました。ヤコブの標章は帆立貝で、中世の巡礼者たちは帆立貝の殻をお守りとして衣服に縫い込んだと言われています。ヤコブの祝祭日は7月25日で、守護聖人として知られるようになった9世紀頃からその日に祝われるようになったと言います。