tensorflow學習 損失函數與優化器

損失函數 loss

損失函數有sigmoid,softmax,softmoid和mse

sigmoid

一般應用于二分類場景

在tf中的寫法是:binart_crossentropy

softmax

一般應用于多分類場景

在tf中的寫法是:categorical_crossentropy

softmoid

一般應用于多标簽

在tf中的寫法是:binary_crossentropy

mse

無損失，一般應用于線性回歸場景

在tf中的寫法是:mse

優化器optimizer

優化器用于定位權重，選擇恰當的優化器可以大幅提升性能和準确率。

梯度下降sgd

經常使用的sgd

adam

最新提出的優化器，性能很好。一般場景都推薦使用

rmsprop

介紹損失函數loss

• 二分類問題: 最後一層激活函數是 sogmoid,損失函數是binart_crossentropy
• 多分類問題：最後一層激活函數是 softmax,損失函數是categorical_crossentropy
• 多标簽問題：最後一層激活函數是 softmoid,損失函數是binary_crossentropy
• 回歸問題 ：最後一層沒有激活函數,損失函數是 mse （均方差）