Van oorsprong twee onafhankelijke banketfabrieken te Zaandam en Westzaan; vanaf 1956 samengevoegd tot één bedrijf, aanvankelijk onder de naam Swart & Zn bv, na de fusie met Enkhuizer banket bv in 1986 onder de huidige naam.
In 1904 startte Thijs Swart een banketbakkerij in de Prinsenstraat. In 1919 ging hij samen met zijn neef een vennootschap onder firma (vof) aan, bakkerij ‘De Twee Trommels’. De naamgeving was afgeleid van de wijze waarop in die jaren de koek werd verkocht. Men ventte de koek langs de deur uit met een houten juk, aan beide zijden voorzien van een koekblik. De vof werd in 1934 omgezet in een nv. In de oorlogsjaren overleden de stichter en zijn zoon.
Het voortbestaan van het bedrijf kwam in gevaar, daar de kleinzonen te jong waren om de zaak over te nemen. Voor de leiding werd een procuratiehouder benoemd. De bevriende familie Schoemaker/Roem stak geld in het bedrijf en kwam in het bezit van het totale aandelenpakket. Het bedrijf beschikte in deze periode over 3 staalbandovens en produceerde zo’n 40 soorten koekjes.
Bij het in 1905 gestarte Westzaanse bedrijf Vicomte, gespecialiseerd in ijs- en gevulde (onder andere frou-frou en mokka) wafels en in eigendom van de families Hildering en Oostbree, deed zich een vergelijkbare ontwikkeling voor. In 1956 kwam de familie Schoemaker ook hier in het bezit van alle aandelen en benoemde de heer Heineman als directeur voor beide bedrijven. In de jaren '60 kwamen de ijsfabrieken in ontwikkeling. Als gevolg hiervan verdwenen de ijskarretjes en verminderde het gebruik en de verkoop van ijswafels. Swart ging zich specialiseren in een produktielijn voor lange vingers.
In 1974 verwoestte een grote brand de koekfabriek van Swart. Bij de herbouw vond een reorganisatie plaats. Vicomte bv werd gesloten. Swart startte met 'Melba’-toast, maar wegens onvoldoende resultaat werd de produktie in 1983 gestaakt. In hetzelfde jaar nam de zittende directie het bedrijf van Schoemaker over. De naam Swart Vicomte bleef wegens bekendheid gehandhaafd.
In 1986 fuseerde het bedrijf met dat van Enkhuizer banket, dat als bekendste produkt de jodekoek en cake-produkten met creme-vulling en marsepein coating produceerde Beide bedrijven bleven onder eigen naam voortbestaan. Thans (1990) zijn management, verkoop en produktie van lange vingers in Zaandam en overige produktie in Enkhuizen geconcentreerd. De jaarlijkse produktie lange vingers wordt voor 45% in Nederland afgezet aan het grootwinkelbedrijf, het vrijwillig filiaalbedrijf en aan inkoopverenigingen. De voornaamste exportlanden zijn Engeland, België en Duitsland.
Bij het bedrijf waren in 1990 55 medewerkers in dienst.
