Gegründet wurde die HAKOAH am 26. September 1909 als Folge des gestiegenen Selbstbewusstseins liberaler Juden und der veränderten Einstellung zur Körperkultur. Ein zweiter wichtiger Grund war die Ausgrenzung der Juden von anderen Sportvereinen durch Arierparagraphen. Erster Präsident war Fritz Löhner-Beda.

Nachdem die jüdischen Bürger in Wien zu jener Zeit eine große Gemeinschaft waren (180.000), erfreute sich die HAKOAH schnell regen Zustroms. In der Folge wurden verschiedene Sektionen wie Fechten, Fußball, Hockey, Leichtathletik, Ringen und Schwimmen gegründet. Sehr erfolgreich waren die Schwimmerinnen Fritzi Löwy, Lucie Goldner, Hedy Bienenfeld-Wertheimer mit ihrem Trainer Zsigo Wertheimer.

Nach dem Ersten Weltkrieg wurde der Sportbetrieb - trotz der schwierigen wirtschaftlichen Situation - ausgebaut und es kamen weitere Sektionen wie Eishockey, Handball, Schach, Ski-Touristik, Tennis, Tischtennis und Wasserball dazu. Damit wurde die HAKOAH zu einem der mitgliederstärksten Sportvereine Österreichs. Der HAKOAH Platz im Wiener Prater avancierte sogar zum gesellschaftlichen Zentrum vieler Wiener Juden. Das Stadion der HAKOAH fasste im Jahr 1922 3.500 Sitzgelegenheiten und 25.000 Stehplätze. Ein tadelloses Fußballfeld, Laufbahn und Sprungplatz für die vielen Leichtathleten des Klubs.

Der Enthusiasmus der Hakoahner der Zwischenkriegszeit wurde mit zahlreichen nationalen und internationalen Titeln (auch bei den Olympischen Spielen) belohnt. Legendär sind vor allem die Erfolge der Fußball- und Wasserballmannschaft, der Ringer und der Schwimmer. Ab 1933 verschärfte sich die politische Situation und der reguläre Sportbetrieb wurde immer stärker eingeschränkt. Viele Hakoahner verließen im Laufe dieser Jahre Wien und ihre geliebte HAKOAH. 1938 wurden die Vereinsstätten der HAKOAH beschlagnahmt. Das Fußball- und Sportstadion in der Krieau von der Gemeinde Wien der SA-Standarte 90 in Pacht gegeben. 1941 wurde der Name HAKOAH in Wien offiziell ausradiert, es folgte die systematische Vernichtung der jüdischen Bevölkerung.

Aber nur kurz nach dem Zweiten Weltkrieg wurde der HAKOAH von einigen wenigen Überlebenden und Rückkehrern (etwa 6000) neues Leben eingehaucht. Mit viel Begeisterung und persönlichen Einsatz gelang es einige Sektionen wieder aufzubauen - obwohl die beschlagnahmten Sportstätten nicht rückerstattet wurden. Den Anfang machten die Sportarten Schwimmen und Leichtathletik, im Laufe der Zeit kamen Basketball, Bridge, Fußball, Judo, Karate, Tennis, Tischtennis, und Wasserball dazu. Leider konnten nicht alle diese Sektionen aufrechterhalten werden. Obwohl die Zahl der jüdischen Sportler in Wien nach dem Holocaust dramatisch gesunken war, errangen diese etliche nationale und internationale Titel. Vor allem bei den Maccabi-Spielen (den jüdischen Olympischen Spielen) konnten Hakoahner einige Medaillen gewinnen.