Slutet på den Elzvikska epoken
Erik Elzvik med familj hade bott kvar på herrgården efter bolagsbildningen och åtnjutit ansenliga privilegier, som dock inskränktes efter hand. Vid bolagsstämman år 1851 beslutades att Elzviks årliga del i silververkets vinst skulle utgå med 5% mot tidigare 10%.

Åtskilliga tecken tyder på att samarbetet med bolaget inte var det bästa. I ett brev från Inspektor Hjalmar Arpi från den 27 maj 1850 beklagar han sig inför en brukspatron, troligen disponenten vid bolaget, Selim Hejkensköld, över herrskapet Elzviks bitterhet:

"Välborne Herr brukspatron Fru Elzvik har de senare dagarna visat sig i sin rätta natur, ... att hon på mig utösa sin galla och då detta icke varit nog har hon sökt rätt på fröken hvilken äfven fått sin beskärda del, och emotser jag med verkeligt bekymmer den stundande sommaren huru vi här skola taga oss fram med herrskapet Elzvik, om deras bitterhet komma att fortsätta. Jag skall åtminstone så mycket som möjligt söka undvika dem.   Hjalmar Arpi"

Bolagsstämman år 1855 torde ha varit en ganska känslosvallande tillställning. Redan i paragraf 1 tas en skrivelse från Erik Elzvik upp. Den visar att det sannolikt varit mycket osämja i bolaget. I paragraf 1 beskrivs följande:

"Herr Elzvik ingaf ett memorial innehållande uti 8 serskilta punkter åtskilliga anmärkningar och klander mot förvaltningen, affattade uti ett högst bittert och insidiöst språk, hvilket af bolaget på det högsta ogillades och upmanade Hr Elzvik att detsamma återtaga på de anförde besvär, samt att med värma och eftertryck återvisat de skymfliga tillmälena; Till följd hvaraf Hr Elzvik också återtog den ingifna skriften".

I paragraf 2 beslutade bolagsstämman att gilla den genom disponenten verkställda uppsägningen: "Hvarigenom Hr Elzvik den 1 November kommer att lämna sin befattning vid silververket". Dock beslöt bolaget i paragraf 3 att med avseende på att herr Elzvik grundlagt silververket att åt honom anslå en summa av 600 riksdaler årligen, "till dess Bolaget af förekommande omständigheter finner skäl att annorlunda besluta".

Den 22 oktober 1855 beklagar sig återigen Hjalmar Arpi, denna gång över Fru Elzviks tilltag i samband med flyttningen till Lindesberg:

"Guldsmedshyttan 22 Oktober 1855. Välborne Herr Brukspatron. Elzvik hava nu i 2ne veckor hållit på med flyttning av sina saker landsvägen till Linde men tänker sjelva icke flytta förr än den 3 November enligt fru Elzviks eget utlåtande. Hon söka nu göra all möjlig förargelse hon kan bland annat har hennes kor över en vecka gått i trädgården och efter ån samt der nedtrampat allt möjligt utom mycket annat som ej kan omtalas.  Hjalmar Arpi"

Redan i 1856 års bolagsstämma ifrågasattes om Herr Elzvik gjort sig förtjänt av att bibehålla den gratifikation av 600 riksdaler per år, som beslutades vid föregående (1855) års bolagsstämma. Dessutom hade Elzvik insänt åtskilliga räkningar på kostnader i samband med flytten, som han menade att bolaget skulle betala. Som en eftergift denna gång lämnades bifall till betalande av dessa krav. Dock uttryckte herr Stenberg oro över att: "Hr Elzvik sannolikt skulle och framgent besvära bolaget med dylika påståenden".

Elzvik bodde de sista åren på en gård han hade köpt i Lindesberg. [59] Erik Elzvik avled år 1862. Enligt bouppteckningen var han en förmögen man. Han är begravd på Cederborghska kyrkogården i Lindesberg. [60]