BERT、ELMO和GPT都是自然語言處理方面的預訓練模型，它們的共同點是都采用了深度學習的方法來提取語言特征，都能夠用于諸如文本分類、命名實體識别、機器翻譯等任務。
但是，它們在具體實作和應用上存在一些差別：
1. BERT（Bidirectional Encoder Representations from Transformers）是由Google團隊提出的預訓練模型。它采用transformer模型作為基礎，使用雙向的預訓練方式，即利用上下文資訊來預測缺失的單詞，進而獲得更準确的上下文表示。BERT在多項自然語言處理任務中都取得了優異的表現。
2. ELMO（Embeddings from Language Models）是由斯坦福大學提出的預訓練模型。它采用了雙向的LSTM（長短時記憶網絡）模型作為基礎，可以根據上下文資訊生成不同的詞向量表示。ELMO的主要優勢在于能夠對不同層次的語義資訊進行模組化，進而在詞義相似性判斷、問答系統等任務中有較好的表現。
3. GPT（Generative Pre-training Transformer）是由OpenAI提出的預訓練模型。它采用transformer模型作為基礎，使用單向的預訓練方式，即利用前面的單詞來預測後面的單詞，進而獲得更準确的上下文表示。GPT主要用于生成型任務，如文本生成、對話系統等。
總之，BERT、ELMO和GPT都是一些優秀的預訓練模型，它們在不同的任務和場景中都有各自的優勢。
