1973年、日本ビクターを退社した宮崎県出身の山田昇が個人商店（ナショナルショップ）「ヤマダ電化センター」（群馬県前橋市）として創業。1983年に株式会社ヤマダ電機設立。現在の法人は、1978年設立の休眠会社・日本電線工業株式会社と株式額面変更のために1987年5月21日に合併して、商号を株式会社ヤマダ電機に変更したものである。

群馬県を地盤とした郊外型家電量販チェーンとしてスタートし、1980年代からは北関東各県の同業である、コジマ（栃木県）、ケーズデンキ（茨城県）などと、互いの商圏への進出と価格競争で激しく競い合い規模を拡大した。一時期コジマに対して売上高で劣勢に立たされたが、大型店舗出店の規制緩和にあわせて他社に先駆けて店舗を大型化する戦略に切り替えた。1999年には京都府八幡市に関西第1号店の京都八幡店を開店させ、この店舗から全国展開に本腰を入れ、翌2000年の東京証券取引所第一部上場以降は、既存店の建替・移転を進めるとともに、各地の地元量販店との提携や買収によって全国展開を加速した。

2002年に当時トップだったコジマを抜いて家電量販店国内最大手となり、2005年2月には、専門量販店としては日本で初めて売上高1兆円を達成している。2005年7月29日、最後まで未出店だった徳島県で徳島藍住店を開店させ、家電量販店で初の全都道府県進出を果たした。2006年度には、家電量販業界内売上規模の2割を占めている。2008年3月にコジマが島根県に出店するまでは全都道府県に出店している唯一の家電量販店チェーンだった。（しかし、その後コジマはビックカメラに買収されたためコジマは不採算店舗を次々と閉店。結局2018年現在家電量販店としては唯一の全都道府県に進出している。）

さらなる業様拡大のため、小商圏や駅前への進出も目指している。2004年6月、都市型店舗の試験をかねて、広島市中心部に広島中央本店を開店。そのノウハウを元にして、2006年には大阪市浪速区に「LABI1 なんば」を開店し、以降は「LABI」を駅前型量販店業態の統一ブランド名として各地に出店しており、ビックカメラやヨドバシカメラなどの都市型量販店と激突する格好となっている。また、2006年9月29日、携帯電話や携帯オーディオなどのモバイル機器を専門に扱う小型店舗の新業態「テックサイト」を東京都の中野駅前に出店、これも以降各地に展開する。さらに2006年9月、関西および北海道エリアで「ヤマダTVショッピング」を放送開始。2007年1月4日からは地上波とBSで全国展開し、TVショッピング分野への本格進出を狙う。

2011年には住宅メーカーのエス・バイ・エル（現・ヤマダホームズ）を傘下に収め、「S×L by YAMADA」のブランド名で太陽光発電・オール電化などを備えた「スマートハウス」の販売促進に力を注ぎ、2012年には住宅機器メーカーのハウステックを傘下に収めるなど、家電以外の業態拡大も視野に入れている。

2013年3月までに、全国約700の直営店のうち、国内約300か店の屋上に太陽光パネルを設置して太陽光発電を行う予定である。