chatgptで、2000000トークンとは、おおよそ漢字とひらがながまざった文なら文字数はいくらく

chatgptで、2000000トークンとは、おおよそ漢字とひらがながまざった文なら文字数はいくらくらいでしょうか

No.1 ベストアンサー 回答者： ピクセル7 回答日時： 2024/06/22 09:49

「 おおまかには1単語が1トークンとされています。

しかし、日本語の場合は必ずしも1単語が1トークンではなく、漢字は1文字1〜3トークン、ひらがな・カタカナは1文字1トークンほどのカウントなので注意しましょう。」
だそうです。