Ursprungligen var Byagården ett Missionshus. På initiativ av pastor Uno Dahlblom från Kvevlax startade bygget av huset och det stod klart år 1934. Den lilla församlingen i Toby hörde under Fria Misionsförbundet i Kvevlax. Bland de aktiva i församlingen fanns Albert Smeds, Oskar Sand, Albert Beijar, Hilma Paro, Ester Paro samt Elsa och Torsten Björklund.Vid byggandet av huset deltog inte bara de som hörde till församlingen utan många andra Tobybor hjälpte också till på olika sätt.
Församlingen hade ingen egen pastor utan mötena sköttes av pastorer från närliggande större församlingar, främst från Kvevlax. Ibland kom pastorerna med cykel och om de kom längre ifrån kunde de komma med tåg. Solveig Rabb, som är dotter till Elsa och Torsten Björklund skriver i en av sina böcker om att långväga pastorer kunde övernatta i deras hem, som låg nära missionshuset.
Under vinterkriget 1940 fick huset en liten annan uppgift. Många barn från Finland evakuerades till Sverige och många av dem kom med tåg till Toby station för att sedan resa vidare med flyg. Barnen togs emot vid stationen och fördes till missionshuset med häst, där de senare fick varm kött eller korvsoppa. Ibland var de tvungna att övernatta eftersom flyget inte kunde starta å grund av dimma. Många frivilliga var med och hjälpte till med den här verksamheten.
Verksamheten i missionshuset fortgick ände till någon gång i början på 1960-talet, men avtog så småningom och huset stod därefter oanvänt i många år.
Aktiva persone i Toby hade i en tid i örjan på 1980-talet börjat ha tankar om att det gamla missionshuset skulle kunna bli en samlingslokal i Byn.Man förde förhandligar med Fria Missionsgörbundet i Kvevlax som ägde huset och tomten. Tony Skifteslag var mycket aktivt med i förhandlingarna och tanken var att skifteslaget skulle ta över huset eftersom marken intill ägdes av skifteslaget. Detta var inte möjligt, utan enda möjligheten var att man skulle bilda en förening som sedan skulle kunna överta huset. Denna förening bildades 1985 och fick namnet Byagårdsföreninen i Toby r.f.Efter övertagandet renoverades huset dels med talkokrafter och dels med bidrag från Toby Skifteslag.Kring år 2000 upptäcktes strålsvamp under golvet och man var tvungna att göra en ny renovering där det gamla trägolvet ersattes med grus och betong. I samband med den renoveringen byttes också ytterväggarnas panel.