啟發式算法算是機器學習的五大門派之一, 但是比較散漫, 沒有統一的理論基礎, 所以啟發式算法是一種技術，這種技術使得在可接受的計算成本內去搜尋最好的解，但不一定能保證所得的可行解和最優解，甚至在多數情況下，無法闡述所得解同最優解的近似程度。啟發式算法的計算量都比較大，所以啟發式算法伴隨著計算機技術的發展，取得了巨大的成就。

Holland 模擬地球上生物進化規律提出了遺傳算法（Genetic Algorithm），它的與眾不同的搜索機制引起了人們再次引發了人們研究啟發式算法的興趣，從而掀起了研究啟發式算法的熱潮。模擬退火算法（Simulated Annealing Algorithm）, 禁忌搜索（Tabu Search）, 演化算法（Evolutionary Algorithm）, 蟻群算法（Ant Algorithms）， 擬人擬物算法，量子算法等油相繼興起，掀起了研究啟發式算法的高潮。

優勝劣汰是大自然的普遍規律，它主要通過選擇和變異來實現。選擇是優化的基本思想，變異（多樣化）是隨機搜索或非確定搜索的基本思想。「優勝劣汰」是算法搜索的核心，根據「優勝劣汰」策略的不同，可以獲得不同的超啟發式算法。超啟發式算法的主要思想來自於人類經過長期對物理、生物、社會的自然現象仔細的觀察和實踐，以及對這些自然現象的深刻理解，逐步向大自然學習，模仿其中的自然現象的運行機制而得到的。

這幾種超啟發式算法都有一個共同的特點：從隨機的可行初始解出發，才用迭代改進的策略，去逼近問題的最優解。