Token sayacı

Metninizi yazın ya da yapıştırın; bir dil modelinin yaklaşık kaç token olarak göreceğini tahmin edin. Bu bir tahmindir: gerçek sayı kullandığınız modelin kendi ayrıştırıcısına göre değişir.

Karakter
0
Kelime
0
Tahmini token
0

Yöntem: kelimeler yaklaşık dört karakterlik parçalara bölünür; Türkçe gibi ekli dillerde gerçek sayı çoğunlukla bundan yüksektir. Kesin sayı için kullandığınız modelin sayacına bakın. Token nedir?