二十世紀之初，俄國人科茲洛夫、英國探險家斯坦因發現並盯上了這座古城，分別於1908年和1914年進行了發掘考察，科茲洛夫從中獲得極其珍貴的宋代《劉知遠諸宮調》殘本42頁和其他文物，斯坦因勞而無獲。黑水國遺址周圍遍佈無數古墓群，也成為盜墓者垂涎的寶藏福地。1938年，屯守河西的國民黨軍閥馬步芳部的旅長韓起功，因傳說「黑水國地下有金月亮」，便打著修築公路的旗號，興師動眾開挖這座古城，掘開周邊無數古墓，獲得不少珍貴文物，僅陶器就裝了數卡車，掘墓挖出的「子母磚」及厚重的青磚用來鋪路，竟然鋪砌了30餘公里，如今在南城中仍能看到韓起功部大肆掠奪遺留下的零星墓磚。

　　1944年春，考古學家夏鼐先生率領的西北科學考察團歷史考古組赴河西考古發掘，黑水國是列入張掖的唯一發掘目標。參與了這次考古的閻文儒先生寫成《河西考古雜記》一文，於1980年發表於《社會科學戰線》。他們認為，黑水國南古城為元、明後所築，而北古城最晚起於漢代，其中對北古城記述如下：「北古城在南古城北，中間距離近1公里，南北長約230米，東西長近270米，有南門，門上有漢子母磚及較小之五銖錢，小銅扁針，繩紋陶片，青瓷片，黑釉瓷片等。又於其南隅碎石陶片處得王莽圓形泉貨錢一枚，唐開元通寶半枚，五銖錢五枚。以城中遺物言之，此城之築，最晚應起於漢，直至唐時仍未廢。又於附近拾得仰韶馬廠式陶片及新石器數件，則此於史前期已有人跡，非自漢時始也。」這是學界首次對黑水國遺址作出的界定。而到了1988年，北京大學歷史地理系教授王北辰考察黑水國古城後，撰寫了《甘肅黑水國古城考》，卻推出黑水國南城的修建早在漢代，與閻文儒先生所提「為元明後所築」大相逕庭。1995年，長期致力於絲綢之路研究的西北師大李並成教授所著的《河西走廊歷史地理》一書，對該遺址的歷史變遷也作過判斷，認為黑水國遺址是一個漢代的城市，也是漢代張掖郡所在地。

　　曾任黑水國遺址研究所所長的吳正科先生研究認為，黑水國經歷過三起三落，最早開發黑水國的是史前部落，大約在新石器時代，距今約3500-4000年左右，首批先民在此生活了約500年後離去，黑水城開始了第一次衰落。春秋、戰國至秦漢之交，黑水國為遊牧民族所據，月氏、匈奴先後在這裡生活過，史載霍去病追擊匈奴「揚武於觻(音lu)得」，可能就在這裡。漢朝取得河西並設張掖郡後，郡治也可能設在黑水國。東漢以後，由於環境惡化，黑水國經歷了第二次衰落。魏晉時期，張掖郡與觻得縣遷至今張掖市區，「觻得」之名不再使用，黑水國一帶淪為墓葬區，今日在黑水國周邊發現的墓群就是東漢-五涼時期留下的。到了唐代，黑水國第三次啟用，設立了鞏肇驛。後來，鞏肇驛被西夏和元朝沿用，民間稱之「西城驛」。明在張掖設陝西行都指揮使司後，在元西城驛舊址設小沙河驛，又在黑水國北城建常樂堡。黑水國被徹底廢棄是在清代，很大可能是黑河改道、生態環境惡化所致。

　　敦煌研究院民族宗教文化宗教研究所所長楊富學研究員曾提出過這樣一個觀點：根據蒙古語和突厥語乃至原始突厥語，這裡所謂的「黑」，只不過是突厥語「哈喇」「合黎」的基本意，而在用於山脈、城市名稱時，其詞意是「大、雄渾」，而非「黑」意。所謂的「黑河」，突厥語原意是大河，黑山就是大山，黑匈奴就是大匈奴。同樣的解釋也聽內蒙古額濟納旗研究蒙古文化的地方學者李靖先生講過。他說「合黎山」在蒙古語或者匈奴語中是青色的、黑色的山，而「黑」是雄渾、壯觀的意思。沿著這個思路來考證「黑水國」，就有點別樣意思了。

　　新的黑水國考古已經斷定屬於馬廠文化類型，而匈奴人所盤踞的黑水國也有史可考。《甘州府志》在張掖縣古跡部分中有條目「觻得古城」，《漢書》也載：「元狩二年，霍去病出隴西，涉鈞耆，濟居延，遂征小月氏，攻祁連山，揚武觻得。」這裡的「觻得」語出匈奴，其意已不可考。地方志又載，匈奴佔據河西後，曾將黑河北岸的昭武城設為對外貿易區，在當時的黑河南岸新築一城，作為渾邪王屬下的觻得王王城，由觻得王統領黑河以南。西漢元鼎二年(前115年)，河西首置酒泉郡，黑河邊的這座城池沿用匈奴名號稱為觻得縣，後分置張掖郡，屬張掖郡下轄十縣之一。由此，基本可以斷定，黑水國北城遺址曾是匈奴觻得王駐地，恰好與東面的屋蘭古城、南面的祁連古城遙相對應，形成了一個「品」字形佈局，控扼著祁連山下的萬里疆場，盡享水草豐美的黑河綠洲。
黑水國古城遺址在張掖市甘州城區西北17公里處，分南、北二城，對稱分佈在312國道兩側，相距約3公里。兩個城池造型基本一致，平面為方形，方圓都不足半平方公里，像舊時屯莊或族人城堡。城牆為黃土夯築，四角築有方形角墩，古城已經頹廢得不成樣子，城郭內、城牆上，枯黃的野草隨風搖曳，而新生的野草正在春天裡生機煥發。

　　關於這個城池的來歷，當地有三種流行的說法：一是因黑河而得名。很早以前，黑河繞古城而過，因傍依黑河，故得名「黑水國」。目前，北城外圍還有黑河的一段河道。二是當地方言訛傳。黑水國古城周邊地勢低窪，積水成潭，當地老百姓稱為「黑水窩」，「窩」和「鍋」讀音混淆，久而久之，稱為了「黑水國」。三是因「黑匈」而得名。民間傳說匈奴人膚色黑，稱作「黑匈」，後來人們把他們建立的這個古城稱為「黑水國」。

　　黑水國究竟是怎麼來的，又是什麼人所建，史無記載，眾說紛紜。1941年9月，於右任先生同考古學家衛聚賢等人赴莫高窟考察，途經張掖，聽說有一座黑水國古城，便欣然前往，卻尋無所果，他在《黑水國》一詩中稱「沙草迷離黑水邊，何王建國史無傳」。詩前一段小記記述考察情況：「甘州西黑水河岸古址，佔地10餘里，土人稱為黑水國，掘者發現中原灶具甚多，遺骸脛骨皆長。余撿得大吉磚，並發現草隸數字。」

　　黑水國就是這樣一座充滿猜想的古城，令許多考古學家想解開這個千古之謎。