Salesforceから商用利用可能な7BサイズのLLMが登場

概要

• https://huggingface.co/Salesforce/xgen-7b-8k-base?ref=blog.salesforceairesearch.com

• https://blog.salesforceairesearch.com/xgen/

• token sizeが8kまで使える

• 日本語wikipediaでも学習されていて多言語対応している

• tokenizerはtiktoken
• tiktokenについて：https://note.com/npaka/n/ncb4864df31c9
• 余談だが日本語tokenizerはUniGramがいいってrinnaの人が言ってた