前言
具有改革性質的無所知黨趁排外主義情緒高漲、選民對老牌政黨厭煩之際，在政治上擷取了令人矚目的成功。
但他們的衰敗和他們的起的速度一樣快。這離不開無所知黨内部因奴隸制問題産生的巨大分歧。
同時，因煽動排外主義情緒提高得票率，無所知黨人參與或引發了一系列暴力事件，如1855 年芝加哥啤酒暴動:1856年總統選舉日前後巴爾的摩暴動等，都使許多選民對排外主義産生反感，進而放棄支援無所知黨。
1856年2月，各州無所知黨代表們在費城召開總統候選人提名會議。讨論總統候選人的提名。
由于奴隸制問題成為美國人民主要關心的問題，反天主教反移民問題被降至次要地位。
同時，無所知黨的代表們在奴隸制問題上出現了嚴重分歧，當政黨上司人試圖通過包含默許《堪薩斯-内布拉斯加法案》的綱領來安撫南方無所知黨人，來自俄亥俄州、賓夕法尼亞州、伊利諾伊州、艾奧瓦和新英格蘭地區的多數代表離開了會場以示抗議。
此外，該會議宣布提名前總統米勒德·菲爾莫爾成為該黨的總統候選人。
然而菲爾莫爾本人并不支援反天主教綱領，一定意義上将無所知黨從一個排外主義組織變成了一個反民主黨的全國性的政黨。
無所知黨人在1856年的政治選舉中試圖通過維護國家統一，促進國家和諧發展的綱領而吸引選民，結果徹底失敗。民主黨人布坎南成功競選總統。
在整個自由州,米勒德·菲爾莫爾獲得的選票不到總選票的 14%,僅赢得了馬裡蘭一州。
相比之下，共和黨候選人弗裡蒙特獲得了自由州 45%的選票。1856 年選舉失敗後，該黨就從全國性的政治舞台消失了。
奴隸制問題的加劇
無所知黨在 19 世紀 50 年代中葉後逐漸衰落,主要原因是奴隸制問題成為主要問題，人們認為奴隸主對美國的威脅比移民更大。
南部各州的生活方式充斥着白人至上的古老傳統,而主要的農業經濟依靠廉價的奴隸作為勞動力，是以南部各州将奴隸制視為其生存必不可少的條件。
北部州制定廢奴主義法律并放棄了奴隸制。北方的經濟更多地依靠工業而不是農業，源源不斷的歐洲移民提供了北方發展工業所需勞動力。
而 19 世紀 40 年代和 50年代因馬鈴薯饑荒而定居美國的貧困難民,甚至會接受更低的薪資。
在南部各州，作物較長的生長季節和肥沃的土壤建立了以農業為基礎的經濟,白人擁有的種植園是其農業經濟的主要部分，這些種植園依靠奴隸履行各種職責。
無所知黨在計劃發展成全國性政黨後，為了迎合南方和北方選民，将維護國家統一和諧作為最主要目标，甚至在其召開的大會上接納了路易斯安納州的天主教地區的代表。
其崛起吸引的選民不僅有反天主教反愛爾蘭移民人士，也有北方州的反奴隸制人士、南方州的反對分裂國家的選民以及部分前輝格黨和民主黨的政治投機主義者，他們出于無所知黨日益強大而選擇加入。
因為奴隸制問題，黨内的分歧逐漸加劇。
為了安撫南方各州，無所知黨對奴隸制的态度變得溫和，在1855年的全國代表大會上，無所知黨上司對奴隸制問題含糊其辭，緻使持反奴隸制立場的代表和多數北方選民放棄了該組織，加入了新成立的共和黨。
如持反奴隸制立場的加利福尼亞州舊金山的參議員威爾遜·弗林特(Wilson G.Flint)本是無所知黨人，但在1856年1月加州選舉美國國會參議員過程中，無所知黨推選的候選人是支援奴隸制的南方人亨利·福特(HenrySFoote)。
弗林特為了不讓福特當選，一直給無所知黨的對手民主黨候選人投票最終使無所知黨人在此次競選中失敗,而弗林特幾個月後就加入了反奴隸制的共和黨，直到去世。
整體而言，無所知黨的權力基礎在東北部，就結果來看，該黨對奴隸制問題的立場，加速了其衰落。
而無所知黨在總統候選人提名的決策失誤，也是緻命的。在1856年2月的無所知黨總統提名大會上，當時米勒德·菲爾莫爾被選為總統候選人。
無所知黨上司層之是以選擇菲爾莫爾,是想用一個溫和的候選人來調節南北無所知黨因奴隸制問題産生的沖突，也想利用米勒德·菲爾莫爾前總統的身份獲得更多投票。
但菲爾莫爾與奴隸制共存的意願,使許多認為無所知黨是支援反奴隸制的北方人離開了該黨，北方的無所知黨成員起草聲明，就無所知黨不堅持反奴隸制以及同意路易斯安納州的天主教代表入場提出質疑,并要求6月12日在紐約重新開會，提名新的總統候選人。
另外，菲爾莫爾的無所知黨人身份值得懷疑。最初菲爾莫爾自己對于是否要接受無所知黨的提名都有所猶豫，當被提名時他身在歐洲，與迅速變化的政治形勢脫節。
無所知黨内部問題
無所知黨是一個年輕的政黨，雖然既神秘又充滿活力，是以也吸引了不少新成員。
但其在政治經驗方面積累不足，黨内又缺乏德高望重的核心上司人，加上組織本身的問題，發展速度過快以及成員立場不堅定等皆導緻其最終走向衰落就組織本身問題而言，因為無所知黨起源于秘密兄弟會，是以沒有中央委員會來協調競選活動。
其主席詹姆斯·巴克(James Barker)任命了各地區的代表在各地開展竟選活動，但卻沒有統一的方案。
另外，如上文提到，無所知黨不收會費，營運所需資金來源于成員自願捐款。
但這也正使他們缺乏資金來資助全國性的競選。主席巴克請求各個分會捐款的請求被忽視，候選人有時也拒絕自掏腰包。同時，因資金不足，他們也缺乏報紙的支援。
托馬斯·R·惠特尼來自紐約，他是“美國人聯合社團”(the Order ofUnitedAmericans)最重要的上司人之一，也是“無所知黨”的創始人和發言人之一。
惠特尼在排外主義者中裡很有影響力，即使如此，他無法将自己的觀點強加給那些被吸引到這個新政黨的年輕人。
加上部分加入無所知黨政客隻是順勢而為，隻是想把無所知黨作為一個驿站，積累政治經驗，是以立場并不堅定，容易被其他政黨拉攏。
一旦無所知黨失勢，便立刻樹倒狲散。不僅如此，無所知黨在選擇上司人方面也顯得操之過急。
如無所知黨選擇前輝格黨成員亨利·加德納(HenryGardner)來上司馬薩諸塞州無所知黨分會，因為他豐富的從政經驗(曾在波士頓公共委員會、馬薩諸塞州議會、輝格黨中央委員會任職)。
但在之後的競選中加德納為保證自己連任馬塞諸薩州州長，立刻選擇放棄無所知黨。
此外，無所知黨政治經驗不足，在竟選中作出承諾的并未能兌現。如未能通過 10個小時的工作日或無記名投票，失去部分勞工階級支援。
盡管該黨反對腐敗，禁止有A錢或賄賂行為的人擔任公職。規定公職人員應具有“虔誠、公正、溫和、節制、勤奮和節儉”的道德特征”。
但無所知黨掌權馬薩諸塞州之後，立法要求公立學校的學生每天閱讀新教《聖經》，希望借此促使天主教徒兒童信奉新教，也查禁了愛爾蘭人的民兵組織，罷免州一級公職人員中的天主教徒，以新教徒取而代之。
新立法設立了一個委員會去調查天主教修道院，企圖證明修道院是罪惡淵薮。
報界很快發現，該委員會的主要推動者竟然A錢公款去娼。等于知法犯法，該黨在人民心中的地位也一落千丈。
下一次選舉結果出來之後，“無所知黨”議員與其他黨議員的比例與之前相比完全颠倒了。
再者，無所知黨擔任公職的成員經驗不足,如擔任馬薩諸塞州三百多名議員的無所知黨人中隻有不到十分之一有從政經驗，其所制定的政策不切實際，過于激進，部分改革未能控制好預算。
如限制酒措施過于嚴厲，對酗酒者懲罰有些極端，包括監禁，要求解雇飲酒的獄警，禁止酗酒者在鐵路行業工作。
在公共衛生和教育支出方面大刀闊斧的改革計劃，更是導緻州政府預算飙升。
1855 年無所知黨控制的馬塞諸塞州，州支出在比去年增加了 45%，福利方面的投入在一年内增加了 40%，城鎮年稅收增加了 50%。
對公立學校的支出創下紀錄，這引起嗜酒者，保守人士以及納稅人的強烈不滿,無所知黨的聲望也是以不斷下降,加之政治對手的負面宣傳,該黨逐漸失去民心，難以連任。