Temperature sering tersedia sebagai satu parameter generasi, tetapi efeknya lebih sempit daripada kendali umum atas kualitas output. Untuk sebuah vektor logit finite yang tetap, temperature positif mengubah skala selisih sebelum softmax. Probabilitas hasilnya berubah tanpa mengubah relasi logit mana yang lebih besar.
Perbedaan ini relevan ketika serving layer menggabungkan temperature dengan greedy selection, top-k filtering, top-p filtering, penalty, atau penanganan khusus untuk temperature nol. Nilai numerik yang sama dapat berada dalam pipeline decoding yang berbeda meski operasi scaling dasarnya sederhana.
Temperature positif mempertahankan urutan logit
Untuk logit (z_i) dan temperature (T > 0), distribusi setelah scaling adalah
[ p_i(T) = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)}. ]
Untuk dua logit finite (z_a) dan (z_b), pembagian dengan nilai positif yang sama mempertahankan urutannya:
[ z_a > z_b \quad \Longrightarrow \quad z_a/T > z_b/T. ]
Softmax bersifat monoton terhadap setiap scaled logit ketika nilai lain tetap, sehingga token dengan logit finite terbesar tetap memiliki probabilitas terbesar setelah temperature scaling positif. Logit yang bernilai sama juga tetap memiliki nilai yang sama setelah operasi ini.
Rasio probabilitas menunjukkan bagian yang berubah:
[ \frac{p_a(T)}{p_b(T)} = \exp\left(\frac{z_a-z_b}{T}\right). ]
Nilai (T) positif yang lebih kecil memperbesar efek selisih logit tetap pada rasio tersebut. Nilai (T) yang lebih besar memperkecilnya. Jadi, temperature mengubah konsentrasi probabilitas, bukan peringkat yang dibentuk oleh logit awal.
Kasus batas memiliki semantik berbeda
Saat (T) mendekati nol dari sisi positif, massa probabilitas terkonsentrasi pada himpunan logit maksimum. Jika hanya ada satu maksimum, distribusi limit menempatkan seluruh massa pada token tersebut. Jika beberapa logit maksimum bernilai sama, limit matematis membagi massa di antara token-token itu dan tidak memilih satu token melalui aturan pemecah tie.
Limit tersebut tidak membuat pembagian literal dengan nol menjadi valid. API inference yang menerima temperature = 0 harus menentukan perilakunya sendiri. Sebagian sistem dapat memakai nilai itu sebagai sinyal untuk decoding deterministik, sedangkan sistem lain dapat menolaknya atau memakai code path terpisah. Perilaku tersebut merupakan bagian dari kontrak implementasi, bukan konsekuensi langsung dari formula softmax di atas.
Pada sisi lain, ketika (T) membesar tanpa batas, scaled logit yang finite mendekati nol. Jika softmax diterapkan pada candidate set finite yang tetap tanpa perubahan masking atau filtering lain, distribusinya mendekati uniform pada set tersebut. Pipeline decoding nyata dapat mengubah candidate set sebelum sampling, sehingga pernyataan limit ini hanya berlaku untuk urutan operasi yang dinyatakan.
Greedy decoding tidak memperoleh variasi dari temperature
Jika decoder menerapkan temperature scaling positif lalu langsung memilih argmax, token yang terpilih tidak berubah karena scaling positif mempertahankan urutan logit. Temperature hanya mengubah probabilitas yang dapat dipakai oleh operasi sampling atau pemrosesan berikutnya yang bergantung pada nilai probabilitas tersebut.
Batas ini relevan dalam desain API. Sebuah parameter dapat diterima secara sintaksis tetapi tidak memengaruhi pemilihan token pada jalur greedy murni. Menganggap temperature selalu menghasilkan sifat stokastik mencampuradukkan transformasi probabilitas dengan aturan keputusan yang memakai nilai hasil transformasi.
Perbedaan yang sama berlaku pada reproducibility. Sampling dari distribusi yang sudah diubah oleh temperature melibatkan pengambilan sampel acak kecuali implementasinya deterministik karena state tertentu. Greedy argmax tidak melakukan pengambilan sampel tersebut. Nilai temperature saja tidak menentukan jalur mana yang aktif.
Urutan filtering dapat mengubah candidate set
Top-k filtering bergantung pada peringkat. Karena temperature scaling positif mempertahankan peringkat, menerapkan temperature sebelum atau sesudah memilih (k) logit teratas menghasilkan keanggotaan yang sama jika tie ditangani secara konsisten. Probabilitas di dalam set yang dipertahankan tetap bergantung pada temperature.
Top-p filtering berbeda karena cutoff-nya bergantung pada probabilitas kumulatif. Temperature mengubah probabilitas tersebut, sehingga penerapan temperature sebelum top-p dapat mengubah jumlah token di dalam massa probabilitas yang dipertahankan. Membalik urutan kedua operasi itu tidak secara umum ekuivalen.
Penalty dan logit bias menambah perbedaan lain. Jika implementasi memodifikasi logit sebelum temperature scaling, selisih yang sudah dimodifikasi akan dibagi dengan (T). Jika transformasi diterapkan setelah scaling, besar efek relatif terhadap logit awal dapat berbeda. Nama parameter saja tidak cukup untuk menyatakan dua serving stack ekuivalen; urutan operasi merupakan bagian dari semantik decoding.
Implementasi numerik tetap memerlukan softmax stabil
Temperature tidak menghilangkan persoalan numerik yang umum pada eksponensiasi. Implementasi stabil lazimnya mengurangi scaled logit dengan nilai maksimum sebelum eksponensiasi:
[ p_i = \frac{\exp(z_i/T - m)}{\sum_j \exp(z_j/T - m)}, \qquad m = \max_j(z_j/T). ]
Mengurangi semua scaled logit dengan (m) yang sama tidak mengubah distribusi softmax dan mengurangi risiko overflow. Temperature positif yang sangat kecil dapat menghasilkan selisih scaled logit yang besar, sehingga finite precision dan special value tetap memerlukan penanganan eksplisit pada kode produksi.
Masked logit, infinity, NaN, quantized kernel, dan fused decoding operator dapat menghasilkan perilaku di luar derivasi logit finite sederhana. Kasus tersebut perlu mengikuti kontrak numerik runtime yang terdokumentasi, bukan diasumsikan dari formula ideal.
Batas praktisnya ringkas: temperature positif adalah rescaling monoton terhadap logit finite sebelum softmax. Operasi ini dapat mengubah probabilitas sampling secara besar tanpa mengubah peringkat logit. Perubahan lain—candidate filtering, perilaku deterministik pada temperature nol, penalty, atau pemilihan token—berasal dari pipeline decoding di sekelilingnya.