تعریف توکن: هر توکن می‌تونه معادل یک کلمه، بخشی از یک کلمه یا حتی یک کاراکتر باشه. به طور متوسط، هر ۱۰۰ کلمهٔ انگلیسی حدود ۷۵ توکن مصرف می‌کنه. اما این مقدار بسته به زبان و پیچیدگی متن می‌تونه متفاوت باشه. مثلاً "Hello" یک توکن حساب می‌شه، ولی "ChatGPT" دو توکنه. در زبان‌هایی مثل فارسی و عربی، چون کلمات ممکنه طولانی‌تر باشند، تعداد توکن‌ها نسبت به تعداد کلمات می‌تونه بیشتر باشه.
تاریخچه مکالمه: تاریخچه مکالمه مجموعه پیام‌هایی است که بین کاربر و هوش مصنوعی در یک چت رد و بدل می‌شود و برای حفظ زمینه گفتگو و تولید پاسخ‌های مناسب استفاده می‌شود.
افزایش توکن‌ها با ادامه مکالمه: با هر پیام جدید، تاریخچه مکالمه بزرگ‌تر می‌شود، و تعداد توکن‌های ورودی افزایش می‌یابد. این امر می‌تواند هزینه‌ها را به صورت تصاعدی بالا ببرد، زیرا هر درخواست جدید شامل تمام تاریخچه قبلی است.
شمارش توکن ورودی: تعداد توکن‌های ورودی، مجموع توکن‌های تاریخچه مکالمه و پیام جدید کاربر است. برای مثال، اگر تاریخچه شامل "سلام" (۱ توکن) و پاسخ "سلام! چطور می‌توانم کمک کنم؟" (۸ توکن) باشد، و کاربر پیام جدید "می‌خواهم آب و هوای نیویورک را بدانم" (۹ توکن) بفرستد، تعداد توکن‌های ورودی ۱۸ خواهد بود.
شمارش توکن خروجی: تعداد توکن‌های خروجی برابر با تعداد توکن‌های پاسخ دستیار است. در مثال بالا، اگر پاسخ "بذارید بررسی کنم" باشد و ۶ توکن داشته باشد، خروجی ۶ توکن خواهد بود.