Panettone stammer opprinnelig fra Milano, derom enes de fleste. Det er imidlertid meget omdiskutert hvordan Italias verdensberømte julekake har fått sitt navn.
Noen mener "Panettone" rett og slett bare betyr "stort brød".
En mer romantisk forklaring på navnet kommer fra legenden om den fattige bakeren Antonio. Antonio var ansatt ved hoffet til Milanos hertug Ludovico il Moro Sforza. Legenden sier at kaken ble til da ridderen Ughetto degli Antellani forelsket seg i Antonios vakre datter, Adalgisa. For å nærme seg sin elskede, presenterte Ughetto seg for Antonio som bakerlærling og komponerte så denne mektige, luksuriøse hvetekaken, fylt med egg, smør, rosiner og kandiserte sitrusfrukter. Kaken stekte han i en høy blomsterpotte. Både Adalgisa og faren ble mektig imponerte, og det samme ble hertugen da han også fikk smake kaken. Ughetto lot selvfølgelig Antonio få all ære; alt han brydde seg om var å få Adalgisa. Dermed ble baker Antonio rik og berømt og Ughetto kunne gifte seg med sin utkårede. Et storslått bryllup ble arrangert av hertugen selv, som mente at kaken måtte hete etter sin baker: "Pan de Toni".
Se også Mini-Panettone, som er basert på samme oppskrift, men stekt i mindre former.