Det antas at Holset gård ble ryddet for omkring 1500 år, men ble liggende brakk etter svartedauen. Den ble bygget opp igjen på slutten av 1500-tallet. Da byen ble etablert i 1849, ble 200 mål ble skilt ut fra Storhamar og fra Holset til bygrunn. Halvor Holset var da eier av Holset. Han bygget brygge i Gammelhusbukta, hvor Jernbarden, som den første dampbåten, ankom i 1841. Grensen mellom Storhamar og Holset gikk i Bekkegata. Holset avga grunn til Hamar kirkegård i 1859, som da lå utenfor bygrensa.
Biskop Halvor Folkestad og stadslege Mathias Sigward Greve har bodd på Holset. Nå er eiendommen i privat eie.
