UnionAI

UnionAIの特徴・使用用途とは？

・迅速なコード開発とデプロイメント：パイプラインコストを最大90%削減
・Union PanderaおよびUnionML：データ品質の保護と機械学習マイクロサービスの構築・デプロイメントを容易に
・効率化されたワークフロー：キャッシングやタスク認識リソースを活用してリソースの最適化を推進

UnionAIが向いている人・団体とは？

・AIやデータ分析の効率化を望む開発者やデータサイエンティスト
・リソースの最適配分や運用コストの低減を目指す企業
・ハイブリッドおよびマルチクラウド環境を活用している企業

UnionAIの使い方とは？

1.UnionAIのウェブサービスを利用するには、まずFlytekitライブラリをインストールする必要があります。ターミナルで次のコマンドを入力してください。$ pip install flytekit
2.最初のサンプルコードとして、以下のPythonスクリプトを作成します。これはハローワールドのタスクとワークフローを定義するものです。
from flytekit import task, workflow

@task
def say_hello() -> str:
return "Hello, World!"

@workflow
def wf() -> str:
return say_hello()

3.後のサンプルコードを参考にして、自身のデータやモデルに合わせたタスクを設計してください。具体的なデータの取得やモデルのトレーニングを行うタスクを定義し、それらを実行するワークフローを作成します。
4.Pythonコードを書いた後、リモートのKubernetesクラスター上でタスクやワークフローを実行するためには、pyflyte runコマンドを使用します。たとえば、次のコマンドを使ってローカルのトレーニングタスクを実行することができます。
$ pyflyte run llm_training.py train \
--model_id EleutherAI/pythia-70m \
--dataset_id togethercomputer/RedPajama-Data-V2 \
--dataset_name sample

5.リモートで実行する際には、--remoteオプションを追加したpyflyte runコマンドを利用します。実行が完了すると、進行状況を確認できるリンクがコンソールに表示されます。
$ pyflyte run --remote llm_training.py train_and_deploy \
--model_id meta-llama/Llama-2-7b-hf \
--dataset_id togethercomputer/RedPajama-Data-V2 \
--dataset_name default \
--repo_id unionai/Llama-2-7b-hf-finetuned