かつての第一勧業銀行、富士銀行、日本興業銀行およびその関連企業を合併・再編したことによって2000年に発足したみずほホールディングス（現・みずほフィナンシャルストラテジー）の子会社として2003年1月に発足し、同年3月に親子関係を逆転して、みずほグループの統括企業となった（同時に、現在のみずほ信託銀行が合併により発足している）。

また、同社を親会社とするみずほ銀行、みずほ信託銀行、みずほ証券の金融関係の企業からなる企業グループのことも指す。グループ全体によるブランドスローガンは2013年から、「One MIZUHO」が設定されている。各事業子会社を通じて銀行・信託・証券・資産運用・クレジットカードなどの業務を提供しており、法人融資先は10万社超、個人預金口座数は2,600万口座に上り、総資産154兆円を抱える。

三菱UFJフィナンシャル・グループ (MUFG)、三井住友フィナンシャルグループ (SMFG) とともに、3大メガバンクの一角を占める。2007年現在、総資産・預金量・時価総額などの点で、SMFGに次ぐ日本第3位の金融グループであり、世界的な銀行の中では、総資産・時価総額で第10位にランクインしている。フォーブス世界企業総合番付2007 (Forbes Global 2000) では、トヨタ自動車、MUFG、NTTに次ぐ日本第4位（世界59位）となった。

2013年7月1日、傘下行である『みずほコーポレート銀行』がみずほ銀行を吸収合併し、行名をみずほ銀行に改称した。

2017年11月13日、2017年度中間決算の際、収益力向上に向けて、2024年度末までに店舗数を現在の500店舗から100店舗削減し、2026年度末までに人工知能などを使った業務効率化により、グループの従業員数を現在の約7万9000人から6万人に減らす構造改革案を公表した。

2019年5月15日、2019年度の連結決算の際、当初計画から3割増やし約130店舗削減を行うと発表。銀行を取り巻く環境が大きく変化する中で、更に経営改善・構造改革を進めるのが狙い。