• No model graph compilation step
• Metal support for local execution on Macs
• Small docker images and fast boot times. Get ready for true serverless!
• Token based dynamic batching
• Optimized transformers code for inference using Flash Attention, Candle and cuBLASLt
• Safetensors weight loading
• Production ready (distributed tracing with Open Telemetry, Prometheus metrics)

GPUアーキテクチャが FlashAttention-2 対応以降なら、推論速度も python の transformers ライブラリで動かすよりも約1.5~2倍弱の速さ

Ampere, Ada, or Hopper GPUs (e.g., A100, RTX 3090, RTX 4090, H100). Support for Turing GPUs (T4, RTX 2080) is coming soon, please use FlashAttention 1.x for Turing GPUs for now.

• 適当にその辺りから拾ったもので問題なし

• 自作で作成

• 以下のように叩く

from transformers import AutoTokenizer
import requests
import numpy as np

tokenizer = AutoTokenizer.from_pretrained("hotchpotch/ruri-base-dummy-fast-tokenizer-for-tei", use_fast=False)

sentences = [
    "クエリ: 瑠璃色はどんな色？",
    "文章: 瑠璃色（るりいろ）は、紫みを帯びた濃い青。名は、半貴石の瑠璃（ラピスラズリ、英: lapis lazuli）による。JIS慣用色名では「こい紫みの青」（略号 dp-pB）と定義している[1][2]。",
    "クエリ: ワシやタカのように、鋭いくちばしと爪を持った大型の鳥類を総称して「何類」というでしょう?",
    "文章: ワシ、タカ、ハゲワシ、ハヤブサ、コンドル、フクロウが代表的である。これらの猛禽類はリンネ前後の時代(17~18世紀)には鷲類・鷹類・隼類及び梟類に分類された。ちなみにリンネは狩りをする鳥を単一の目(もく)にまとめ、vultur(コンドル、ハゲワシ)、falco(ワシ、タカ、ハヤブサなど)、strix(フクロウ)、lanius(モズ)の4属を含めている。",
]

token_ids = tokenizer(sentences, padding=False, truncation=False, return_tensors="np")["input_ids"]
token_ids = [t.tolist() for t in token_ids]

url = "http://127.0.0.1:8080/embed"
payload = {"inputs": token_ids, "normalize": False, "truncate": True}
headers = {"Content-Type": "application/json"}

response = requests.post(url, json=payload, headers=headers)
embeddings_data = response.json()
embeddings = np.array(embeddings_data)
print(embeddings.shape)

# calc cosine similarity
normalized_embeddings = embeddings / np.linalg.norm(embeddings, axis=1, keepdims=True)
similarities = np.dot(normalized_embeddings, normalized_embeddings.T)

print(similarities)
Python

from vertexai.language_models import TextEmbeddingInput, TextEmbeddingModel

model = TextEmbeddingModel.from_pretrained("text-embedding-004")
input = TextEmbeddingInput("Why is the sky blue?", "QUESTION_ANSWERING")
embeddings = model.get_embeddings([input])
print(embeddings[0].values)
SQL

• not received
• partially received
• fully received

• 請求書が購入注文書（PO）と商品受領書に照合されると、請求書の各品目行に直接受領ステータスが表示される。
• 請求書に記載されている品目数が全て受領されている場合、緑色のアラートが表示され支払いプロセスを進めることが可能。
• 受領した商品の量の記入は手動の模様

1. ファシリテーターを中心にダッシュボードを見て、先週から ±N％ 以上の変化率か、グラフの形状が大きく変わったかを確認
2. 大きな変化がある場合、祝日、イベント、障害が発生していないか等原因を調査
3. 時間内に原因解明が出来なかった場合は、ファシリテーターが問題をチケット化し調査タスクをバックログへ積む

今後の方向性 (1) 現在の知識蒸留アプローチは主に、クローズドソースLLMによって生成されたラベルと説明を使用して、単純な教師あり微調整を通じて学習モデルを訓練することに重点を置いています。しかし、学習モデルの出力に対するフィードバックや特徴知識を含む、教師モデルから転移される知識の範囲を拡大することで、追加の利点を提供できる可能性があります。 (2) LLM知識蒸留の取り組みは、主にLLMからの様々なスキルの転移に焦点を当てており、有用性、誠実さ、無害性などの信頼性に対する注目は比較的限られています。

今後の方向性 (1) 現在、クローズドソースのLLMはオープンソースの対応物よりも強力です。しかし、データ合成にクローズドソースモデルを使用すると、特に患者データを含む医療シナリオなどの機密性の高い文脈でプライバシーとセキュリティの懸念が生じる可能性があります。このプロセス中にデータのプライバシーをどのように保護するかを解決することは重要な懸念事項です。 (2) 大規模モデルを使用して訓練データを生成するのはコストがかかるため、高品質のデータを生産しながらも経費を削減する方法を探ることが不可欠です。例えば、最近の研究では、より小規模で性能の低いモデルが時として優れた訓練データポイントを生成できることが示唆されています。